Парсинг с Ozon.ru

При попытке парсинга с сайта ozon.ru программа пишет Additional security check is required content downloader, контент не отображается. Это как-то можно решить?

 

Там стоят проверки на автоматические запросы.

Если через браузер парсить, все нормально должно быть.

 

Заработало, спасибо

 

Аналогичная проблема. Перед началом парсинга всегда нужно пройти security check во вкладке "Авторизация (ctrl+k)" в связи с чем не могу использовать планировщик.

Включаю "контент" - security не запрашивает, но парсит не то, что требуется - парсит один продукт с одной страницы выдачи (их всегда больше одного), к тому же парсит всего несколько границ парсинга (их больше в проекте). Пример парсинга с включенным "контент":

'/category/konfety-30695/?page=2', '', '', '', '54','62', ', offers:2'
'/category/konfety-30695/?page=2', '', '', '', '465', '321', ''

Прошу подсказать как решить.

 

извиняюсь (с одной страницы - по одному товару):
'/category/konfety-30695/?page=2', '', '', '', '54','62', ', offers:2'
'/category/konfety-30695/?page=3', '', '', '', '465', '321',

 

Потому, что при использовании движка браузера для построения WEB-страницы, код ее будет видоизменяться. Соответственно, нужно будет перезадать границы парсинга под новый вид кода WEB-страницы.

 

PS: Также попробовал использовать библиотеку WIN (включается в окне ctrl+h). Загрузил для теста пару страниц - проблем не выявил.

 

Поправил, этот вопрос решен.

Но при использовании опции "Контент" возникает большая проблема - программа зацикливается. Т. е. с каждым последующим web документом, программа загружает все предыдущие. Например: на каждой странице (web документе) содержится по 28 товаров, после парсинга каждой последующей должно быть:

/?page=1 - 28 товаров
/?page=2 - 56 товаров
/?page=3 - 84 товаров

В реальности получается прогрессивное нарастание:

/?page=1 - 28 товаров
/?page=2 - 82 товаров
/?page=3- 168 товаров

Задача - поставить проект на планировщик. Прошу подсказать возможно есть другие решения изначально поставленного вопроса "Additional security check"?

 

Решение (при необходимости парсить с использованием опции "Контент"):

При генерации ссылок таким образом на каждой странице выдает по 280 товаров:

/?page=10
/?page=20
/?page=30

* Недостатки (в сравнении парсинга без "Контент"):
- собирает много дубликатов (~20% от общего количества), может озон так выдает (не анализировал);
- собирает меньше товаров ( ~20% от общего количества), или озон их не выдает (не анализировал).
- при экспорте данных в MYSQL возникают проблемы при использовании "DUPIGNORE" , подробнее тут: Ссылки недоступны для гостей

 

При попытке парсинга с ozon.ru постоянно выдаёт капчу, какое решение проблемы?

 

юзать прокси

 

Как обычно - в момент показа капчи - смена прокси + удаление кэша браузера + получение куки и запись их, добавление закапченного юрл в конец списка парсинга ADDURL

 

Может есть инструкция?

 

Ссылки недоступны для гостей

 

Инструкции нет, это творческий процесс и нужно хорошо понять подход к алгоритму, можете взять обучение у Ссылки недоступны для гостей , он точно умеет это делать правильно.

 

Получение куки и запись их:

[DOITATFIRSTDOC][WBAPP(cookies.wbapp|Ссылки недоступны для гостей

* в файле cookies.wbapp - [GETCOOKIES_EX]




Варианты решения: парсить через "контент" (лучше через Ссылки недоступны для гостей) или использовать WAITFORME (при парсинге НЕ через "контент", у меня практически всегда капчу запрашивает):

[CHECKENTRY(_Incapsula_Resource)][DOCSOURCE][THENTEXT][WAITFORME][RELOADDOCUMENT][ELSETEXT]▒ если капча, тормозим процесс, вводим и передаем куки через "ключик" программы
[CHECKENTRY([ANYTEXT])]<CD_GRAN_10!>[THENTEXT]▒
ок:<CD_DOCURL!>▒ сохраняем инфу в файл отчета
[ELSETEXT][RELOADDOCUMENT]▒перегружаем если CD_GRAN_10 не найдена
[/CHECKENTRY]▒
[/CHECKENTRY]▒

 

Не знаю, я данные из их поисковой выдачи собираю - всего около 100 страниц. Ввожу один раз (с начала), и больше не запрашивает.

А озоновскую Incapsula можно через антигейт разрешить или тоже не справиться парсер?

 

Всем спасибо за информацию, вроде как разобрался. Но теперь стоит такой вопрос, при парсинге картинок с ozon, если их несколько, то первое изображение подгружается в большом формате, а все остальные только в малом.

 

прилаживай проект парсинга - доделаем