Парсер Яндекс.Карты (maps.yandex.ru): Портфолио фрилансера Алексей Васин 14.08.2010, работа №9 - FL.RU
К списку работ
Алексей Васин
Алексей Васин

Парсер Яндекс.Карты (maps.yandex.ru)

image
Парсер Яндекс.Карты (maps.yandex.ru, yandex.ru, yandex maps). Сохраняет всю открытую информацию об организациях, опубликованных на сайте maps.yandex.ru. Программа работает в 2 этапа: 1. Вы вводите несколько запросов и либо сбор данных по одному месту, либо по нескольким местам, указанным в файле.Программа скачивает данные о компаниях и сохраняет всю информацию (id, название, город, индекс, адрес, категории, телефоны, факсы, сайты, мыло, географ.координаты) в XLSX-файл в отдельную папку. Этот этап повторяется нужно число раз, в зависимости от мест и запросов. 2. На втором этапе можно объединить все созданные ранее XLSX-файлы в один большой. Выдача Яндекса ограничена 200 компаниями по 1 запросу. Отсюда, в программе встроены костыли: для крупных городов она ищет не только по городу, но и по районам. В регионах в результаты выдачи частенько попадают данные из Народной карты. Плюс, могут попадаться компании, которые Яндекс включает в выдачу не из-за совпадения рубрики, а из-за того, что на сайте компании найден текст, схожий с запросом (в выдаче по запросу Туризм вполне может оказаться бюро похоронных услуг). Все эти ситуации обрабатываются программой + выходной файл имеет нужные пометки.