Разработка парсеров / парсинг сайтов

Парсер - это программа, которая позволяет автоматизировать сбор и обработку большого количества информации в сети интернет. Парсеры применяются в интернет-магазинах, агентствах недвижимости, рекламных агентствах, при продаже автозапчастей и во многих других сферах.

Вот лишь некоторые из задач, которые решаются с помощью таких программ:

1. Загрузка каталога товаров в интернет-магазин. При этом не важно, в каком формате получены исходные данные. Это может быть сайт поставщика, может быть файл XLS, XML или CSV... Возможно это ссылка на файл, которую предоставляет поставщик - программа сама скачает файл по этой ссылке и загрузит информацию на ваш сайт. В случае, когда поставщик присылает файл на почту - программа тоже сама авторизуется на вашем почтовом сервере, найдет нужное письмо, скачает файл - и загрузит на сайт. Причем все это выполняется автоматически и регулярно - без участия человека. Процесс полностью автоматизируется.

2. Мониторинг цен конкурентов. Почти у каждого современного покупателя, как правило, есть доступ в интернет. И перед тем как сделать покупку многие сперва сравнивают цены. Чаще всего это оправдано, так как один и тот же товар можно купить намного дешевле, если поискать... Поэтому многие интернет-магазины стараются проанализировать цены конкурентов и выстроить ценовую политику таким образом, чтобы покупателям было интересно приобретать товар именно у них. Эту задачу отлично решают парсеры.

3. База данных объектов для агентств недвижимости. Агентства недвижимости регулярно обновляют и увеличивают базу данных объектов. С помощью программы-парсера эта работа практически полностью автоматизируется.

4. Мониторинг рекомендуемых розничных цен. Многие крупные поставщики стараются следить за тем, чтобы их контрагенты не демпинговали и продавали товары и услуги по соответствующим ценам. С этим тоже успешно справляются парсеры.

И многое другое...

Даже поисковый робот Яндекса - это тоже парсер, который бродит по просторам интернета и добавляет информацию о сайтах в свою базу данных. А затем при поиске показывает пользователям сайты, которые содержат нужную информацию.

Ниже небольшой обзор парсера, который разработали для одного из клиентов...

Денис Потемкин, Генеральный директор, opt6.ru