Бесплатно зарегистрируйся и получай уведомления о новых проектах по работе

Парсер Google и Yandex (Python, Selenium, SQL)

S
Заказчик
Отзывы фрилансеров: + 6 - 0
Зарегистрирован на сайте 14 лет
Бюджет: по договоренности
Исполнитель определен: Сергей Кузьмин  
Добрый день! Нужно сделать скрипт для парсинга выдачи Google и Яндекс (только первая страница).
Основные функции:

1) Python + Selenium (+Grid) + MySQL (поднять на Google Cloud: Compute Engine + Cloud SQL)
2) Поддержка прокси (IPv4 и IPv6)
3) Работа через Selenium Grid
4) Обработка большого количества запросов «за раз» – до 100.
5) Selenium: работа через PhantomJS и FireFox
6) Парсинг результатов выдачи (реклама + поиск) и запись результатов в СУБД
7) Обработка ошибок и логгирование
8) Краткие инструкции для воспроизведения «установки»

В первую очередь ищу человеку уже имевшего опыт работы с Selenium и Google Cloud (это позволит сэкономить время на чтении документации и т.п.)

Денюжка обсуждается, так что предлагайте.

Платформа не обсуждается (т.е. только python, google cloud, selenium).

Никаких интерфейсов, просто скрипт выполняющий свою работу (выдал прокси, сделал запрос, спарсил, положил в БД), собственно единственная сложность: настроить Selenium Grid и правильно обрабатывать ошибки.

Более подробное описание внутри.
Разделы:
Опубликован:
29.04.2017 | 14:09 [последние изменения: 29.04.2017 | 14:18]

Теги: требуется qa тестирование сайтов, провести тестирование, проверить ошибки сайта, протестировать сайт, тестирование qa, тестировщик удаленная работа, тестировщик приложений

Сведения об ООО «Ваан» внесены в реестр аккредитованных организаций, осуществляющих деятельность в области информационных технологий. ООО «Ваан» осуществляет деятельность, связанную с использованием информационных технологий, по разработке компьютерного программного обеспечения, предоставлению доступа к программе для ЭВМ и является правообладателем программы для ЭВМ «Платформа FL.ru (версия 2.0)».