Парсинг POST-запросом с параметрами

Добрый день! Подскажите как парсить такой ресурс? Ссылки недоступны для гостей
Столкнулся с несколькими проблемами
1. Необходимо выбрать фильтр
2. Одинаковые классы в таблице
3. Парсить начальную таблицу и заставить парсер гулять по ссылке и другим вкладкам на следующей странице, забирая от туда информацию.
Буду благодарен за любую помощь заранее спасибо!

 

Нужна помощь, посмотрел видео, поставил плагин в firefox при пиганации Ссылки недоступны для гостей выдает 2 результата. Нажимаю на 1 из них такая картинка Ссылки недоступны для гостей. Правильно я понимаю что подставлять надо ссылку Ссылки недоступны для гостей и параметры page":3, подставлять PARAM
{"size":10,"page":3,"filter":{"status":[],"idDeclType":[2,4],"idCertObjectType":[],"idProductType":[],"idGroupRU":[],"idGroupEEU":[],"idTechReg":[],"idApplicantType":[],"regDate":{"minDate":null,"maxDate":null},"endDate":{"minDate":null,"maxDate":null},"columnsSearch":[],"idProductEEU":[],"idProductRU":[],"idDeclScheme":[],"awaitForApprove":null,"editApp":null,"violationSendDate":null},"columnsSort":[{"column":"declDate","sort":"DESC"}]}

Очень прошу помочь, заранее благодарен.

 

Рекомендую ознакомится с fiddler и ему подобным софтом.
Мониторьте запросы при обращении к сайту, смотрите в каких запросах возвращаются нужные вам данные.
Меняйте/подставляйте данные - анализируйте резкльтат

 

Сложновато для меня. Тaм как я понимаю json.

 

Правильно.

Также для этого сайта нужно в окне ctrl+h выбрать библиотеку Clever Internet Suite и, насколько я понял, вставить нужные HTTP-заголовки от запроса из плагина Firefox (в ctrl+h -> поле custom headers), чтобы не было ошибки 403

 

Спасибо, уже близко к победе что то получается не могу понять как получить теперь список Ссылки недоступны для гостей и какая все таки ссылка выдергивает базу и как ее получить для парсинга? По ссылке Ссылки недоступны для гостей ? Пришлось еще задействовать WBapp подгрузка 1 пигонации занимает около 25 сек.

 

1. Первые 2 фильтра. Ссылки недоступны для гостей
2 достаточно получать выделенную информацию Ссылки недоступны для гостей там есть все необходимые поля. Нужен статус. дата начала, окончания, информация о продукции, компания и информация о лабораториях.
3 в виде csv

 

Сергей, добрый день! Я знаю вы можете помочь с данным вопросом. Подскажите как Ссылки недоступны для гостей вывести все это дело в парсер? И указать границы парсинга. Заранее благодарен.

 

Ссылки недоступны для гостей

 

Аналогичная задача. Для начала нужно просто получить список URL со страницы Ссылки недоступны для гостей Ссылки недоступны для гостей. Почитал форум, посмотрел видео про пост запросы. Подходит 1е видео, там тоже пост запросы в json формате и говорится, что их нужно преобразовать и каждый с новой строки, но в нашем примере json имеет вложенность

Code:

{"size":10,"page":1,"filter":{"status":[],"idDeclType":[],"idCertObjectType":[],"idProductType":[],"idGroupRU":[],"idGroupEEU":[],"idTechReg":[],"idApplicantType":[],"regDate":{"minDate":"2008-12-26","maxDate":null},"endDate":{"minDate":null,"maxDate":null},"columnsSearch":[{"name":"number","search":"","type":0,"translated":false}],"idProductOrigin":[],"idProductEEU":[],"idProductRU":[],"idDeclScheme":[],"awaitForApprove":null,"editApp":null,"violationSendDate":null},"columnsSort":[{"column":"declDate","sort":"DESC"}]}

Данныйе грузятся по запросу к этой странице
Ссылки недоступны для гостей
Если обратится напрямую то получим ошибку 403. Скопировал все заголовки которые передаются, уже лучше, получаю ошибку 500, что "Документ, который вы пытаетесь загрузить, пуст (HTTP/1.1 500 )"

Логично остается решить проблем у с правильным пост запросом, как его правильно записать? Если просто вставить Ссылки недоступны для гостей то выдает такуюже ошибку "Документ, который вы пытаетесь загрузить, пуст (HTTP/1.1 500 )".
Для загрузки использую Clever Internet Suite, также пробовал INDY с ним выдает "Документ, который вы пытаетесь загрузить, пуст (Socket Error # 0 )"

 

Здравствуйте.

Данный сайт имеет некую защиту, смысл работы которой для меня пока не понятен (передача HTTP заголовков вопрос пока не решила).

Парсите данный сайт с помощью
Ссылки недоступны для гостей