Парсер avito.ru: Портфолио фрилансера Алексей Васин 25.03.2012, работа №7 - FL.RU
К списку работ
Алексей Васин
Алексей Васин

Парсер avito.ru

image
Многопоточный парсер объявлений avito.ru. Программа скачивает данные обо всех объявлениях во внутреннюю базу данных. Работа проходит только с использованием прокси. При каждом последующем запуске обрабатываются только новые объявления. Картинки с телефонами автоматически распознаются и заносятся в базу как текст. В любой момент можно экспортировать данные, полученные в определенный период, в XLSX-файлы. Некоторые тех.данные: на 340 потоках все объявления (6.2 млн) в первый запуск были обработаны за 2 с лишним суток. В итоге в базе были сохранены 1.8 млн уникальных телефонных номеров в формате 8XXX1234567