Бесплатно зарегистрируйся и получай уведомления о новых проектах по работе
Парсер Google и Yandex (Python, Selenium, SQL)
Заказчик
Отзывы фрилансеров:
+ 6
- 0
Зарегистрирован на сайте 14 лет
Бюджет:
по договоренности
Добрый день! Нужно сделать скрипт для парсинга выдачи Google и Яндекс (только первая страница).
Основные функции:
1) Python + Selenium (+Grid) + MySQL (поднять на Google Cloud: Compute Engine + Cloud SQL)
2) Поддержка прокси (IPv4 и IPv6)
3) Работа через Selenium Grid
4) Обработка большого количества запросов «за раз» до 100.
5) Selenium: работа через PhantomJS и FireFox
6) Парсинг результатов выдачи (реклама + поиск) и запись результатов в СУБД
7) Обработка ошибок и логгирование
8) Краткие инструкции для воспроизведения «установки»
В первую очередь ищу человеку уже имевшего опыт работы с Selenium и Google Cloud (это позволит сэкономить время на чтении документации и т.п.)
Денюжка обсуждается, так что предлагайте.
Платформа не обсуждается (т.е. только python, google cloud, selenium).
Никаких интерфейсов, просто скрипт выполняющий свою работу (выдал прокси, сделал запрос, спарсил, положил в БД), собственно единственная сложность: настроить Selenium Grid и правильно обрабатывать ошибки.
Более подробное описание внутри.
Разделы:
Опубликован:
29.04.2017 | 14:09 [последние изменения: 29.04.2017 | 14:18]
Теги: требуется qa тестирование сайтов, провести тестирование, проверить ошибки сайта, протестировать сайт, тестирование qa, тестировщик удаленная работа, тестировщик приложений