Как правильно парсить белмету?

Почему, когда я пытаюсь спарсить заголовки вакансий и зарплат со всех 96 страниц сразу, в выдачу подмешиваются не те заголовки вакансий и зарплат? А когда паршу партиями по 10 страниц то не подмешиваются.

 

В проекте нет ссылок для тестирования.

 

Вам нужно нажать на кнопку сгенерировать ссылки для того, чтобы они сгенерировались.

 

Об этом сразу нужно говорить, я же не знаю тонкости.

С виду ничего подозрительного не заметил, глубоким анализом проблемы парсинга этого сайта заниматься нет желания.

Скорее всего сайт видит частые запросы с одного IP и подменяет данные намеренно.

Либо подберите паузу между запросами (чтобы замедлить парсинг и сайт относился более лояльно), либо используйте список прокси, чтобы сайт не видел шквал запросов с одного вашего IP.

 

Подскажите пожалуйста, какие прокси и в каком количестве мне будут нужны в данном случае и где мне их лучше купить?

 

Какой объем страниц в сутки планируется парсить?

 

до 5000 страниц.

 

Мобильных пару хватит (50 рублей в сутки за штуку). Это самые баноустойчивые прокси, так как сайты к ним лояльно относятся и IP меняется через установленный интервал времени.

Обычные прокси стоят гораздо дешевле, но я не могу сказать, сколько нужно их именно для этого сайта, нужно тестировать (на разных сайтах разные алгоритмы защиты).

Ночью напишу статью по нюансам использования прокси для парсинга.

 

Если такой маленький объем в сутки, то я бы порекомендовал вообще отказаться от прокси (в целях экономии). Настроить парсинг через браузер WBAppCEF3 (максимально приближенные условия к реальному серфингу сайта человеком) с задержками, например, открывать страницу раз в 3 секунды. Включили парсинг и пусть работает в фоне, сколько нужно.

Через браузер WBAppCEF3 с некоторыми хитрыми маниуляциями с Куки (сброс куки после каждой загрузки WEB страницы) удается парсить многие крупные сайты с хорошей защитой без прокси.

 

А где её можно будет прочесть?

 

Ссылки недоступны для гостей

 

Изучил вашу статью, подскажите пожалуйста, а на каких сайтах можно купить нужные прокси? Включая мобильные.

 

Отправил в ЛС.

 

Здравствуйте. А можно мне в лс тоже?

 

Здравствуйте, напишите пожалуйста и мне в лс, буду очень благодарен.