Парсинг поисковой выдачи Google, Yandex по ключевым словам

Здравствуйте. Отлично и более удобно стало искать информацию по работе CD после обновления юзабилити вашего сайта системы помощи. Ссылки недоступны для гостей Лайк)
У меня такой вопрос: Есть список ключевых запросов по которым необходимо спарсить первую страницу выдачи поиска Google или Yandex на предмет ссылок на статьи. Есть сайты с которых необходимо спарсить весь контент и структурировать в отдельные документы конкретного сайта. Подскажите какую конкретно учить информацию? Благодарю!

 

CD для этого подходит весьма условно, т.к. замучаетесь обходить капчу.

 

Насколько я знаю, Google и Яндекс без проблем парсятся через анонимные прокси.

 

Но весьма недолго 5-10 запросов и здравствуй капча, т.е. чтоб прокси успевал "остыть" их нужно много - а это недешево. Вот относительно недоровгой вариант
Ссылки недоступны для гостей

 

Используйте мобильные прокси для парсинга таких сайтов, они меняют свой внешний ip адрес по этому не могут быть заблокированы. Мне хватало пары штук таких чтобы распарсить сайт на 12млн. организаций, где через каждые 20 запросов встречается капча.

 

Я думаю 7000 соксов это явно не паблик, ну и мобильные прокси тоже на дороге не валяются, только переключение IP в моем случае занимало секунд 10 и Пром я парсил довольно долго в 1 поток.

 

А зачем в один поток?! Закидываете пару мобильных прокси, ставите повторную загрузку документов, количество попыток побольше, 50 потоков и все ок.