Александр Азаров

Требуется бысто и качественно написать парсер.



На входе: текстовый файл с листингом доменов.

На выходе: CSV.



Для парсинга можно выбирать один или несколько параметров из списка:



1. PR

2. тИЦ

3. Кол-во проиндексированных страниц в Яндекс (всего и за последние n дней)

4. Кол-во проиндексированных страниц в Google

5. Наличие в Яндекс.каталоге.



Важно:



- Многопоточность;

- Работа с прокси (как с фиксированными ИП во много потоков, так и с листингами; HTTP, SOCKS);

- Защита IP для каждого потока: рандомные тайм-ауты (указывается мин и макс), рандомные User-Agent-ы (список брать из файла).



Особо важно:



- Скорость;

- Возможность работы с большими листингами без потери производительности (скажем, на 10 тысяч доменов).



В предложениях называйте реальные для вас сроки.