Помогите советом!

Парсю Ссылки недоступны для гостей, делаю все как в мануале Ссылки недоступны для гостей, проблема в том что при сборе ссылок выдачи гугла парсяться не все ссылки со страницы, не парситься выдача вообще, в фильтрах ссылок все поля пустые кроме глубины ссылок от 2 до 100, не могу понять в чем проблема, в браузере ссылки открываются правильно, а программа видеть выдачу не хочет т.е. не подтягивает весь необходимый контент

 

программа видит страницу Ссылки недоступны для гостей как просто Ссылки недоступны для гостей и показывает то что есть на Ссылки недоступны для гостей, а не на нужной Ссылки недоступны для гостей

 

Показанный проект, возможно уже устаревший, но, даже если нет, то пример показан для РУССКОГО языка, русскоязычного запроса. Проверьте настройки вашего браузера,- язык, страна и так далее, и создайте себе новый проект с нужными именно вам настройками, вязв свежую ссылку из браузера.

Следуя показанному примеру это будет несложно сделать

 

Проект не устаревший, в настройках браузера стоит английский язык, и отображается все на английском в браузере, запрос на английском, например в браузере Ссылки недоступны для гостей, эта ссылка отображается правильно, все что мне нужно видно, а программа видит эту страницу как Ссылки недоступны для гостей, при передаче куков страница в программе тоже грузитcя правильно, если использовать прокси эффекта тоже нет, в браузере ссылка работает, а прога показывает Ссылки недоступны для гостей

 

Что-то неправильное в ваших настройках. Телепортацией не владею, что там у вас могу лишь предположить. Покажите проект, разберёмся.

 

вот файл проекта View attachment GOOGLE.cdp , на начальном этапе мне нужны ссылки имеющие =reviews, страницы типа Ссылки недоступны для гостей в браузере отображаются правильно и провально показывают наличие ссылок с =reviews, но программа выбирает одни и те же ссылки на одни и те же товары Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
получается куча дублей, даже если на странице ссылок с =reviews нет, то показывает выше приведенные ссылки

 

Да, тяжело жить без пистолета. Может быть вы постучитесь в скэйп, чтобы не затягивать на века наши дискусси?

Ваш проект, извините, никакой, составлен неправильно. Количество запросов которые вы ввели (980) просто астрономическое. Гугле, после 1300 спарсенных ссылок, без прокси, просто банит, требует вводить каптчу. Но главный вопрос в том, что мне непонятно чего же вы всё-таки хотите получить? Сгенерировать ссылки, или же получить выдачу Гугле?

Ссылки сгенерировать несложно, я настроил выдачу, но ваши требования о том, что надо получить только ссылки с "&os=reviews" на конце не совсем понятен, так как можно получить в выдаче гораздо большее количество ссылок, если запросить "telephone+reviews". Получается то же самое, что хотели вы + ещё процентов 50 дополнительных запросов. Но, может быть я что-то не так понял?

Два файла, разницу смотрите в "фильтрах" и нажав двойной клин по ссылке, в том и в другом случае

 

хорошо, 980 запросов с этим согласен, я же сказал что мне нужны ссылки с =reviews, а не запрос+reviews, вот этот первый этап моего проэкта, который пока неосуществим и проблема я повторюсь (все ссылки с Вашего проэтка GOOGLE_01.cdp ) на этих страницах
Ссылки недоступны для гостей

Ссылки недоступны для гостей

показаны разные товары у некоторого товара есть ссылка с =reviews у некоторых нет, вот мне для дальней работы нужны эти ссылки, а программа собирает ссылки на 9 постоянно повторяющихся товаров, а не на разные вот то что отфильтровало из вашего шаблона
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей

это все один товар, из вашего шаблона получилось 88 сылок, должно быть 88 товаров, а фактически товаров 8 и ссылки на них повторяются, т.е. программа не видит остальные

 

У нас разговор слепого с глухим получается. Я что-то не вижу однотипных ссылок. Вот случайные 5 ссылок, взяты подряд, ни на одной товар не повторяется.

PHP:

http://www.google.com/products/catalog?hl=en&as_epq=&as_oq=reviews&as_eq=&safe=active&q=telephone+reviews&um=1&ie=UTF-8&tbm=shop&cid=5689293838840907031&sa=X&ei=kQMEUIz7GuiQiQfmh7ynBQ&ved=0CJ8BEPQCMAM&os=reviews
http://www.google.com/products/catalog?hl=en&as_epq=&as_oq=reviews&as_eq=&safe=active&q=telephone+reviews&um=1&ie=UTF-8&tbm=shop&cid=5966302106741038852&sa=X&ei=kQMEUIz7GuiQiQfmh7ynBQ&ved=0CK8BEPQCMAQ&os=reviews
http://www.google.com/products/catalog?hl=en&as_epq=&as_oq=reviews&as_eq=&safe=active&q=telephone+reviews&um=1&ie=UTF-8&tbm=shop&cid=16730626338307153906&sa=X&ei=kQMEUIz7GuiQiQfmh7ynBQ&ved=0CLsBEPQCMAU&os=reviews
http://www.google.com/products/catalog?hl=en&as_epq=&as_oq=reviews&as_eq=&safe=active&q=telephone+reviews&um=1&ie=UTF-8&tbm=shop&cid=11365437798019917186&sa=X&ei=kQMEUIz7GuiQiQfmh7ynBQ&ved=0CMMBEPQCMAY&os=reviews
http://www.google.com/products/catalog?hl=en&as_epq=&as_oq=reviews&as_eq=&safe=active&q=telephone+reviews&um=1&ie=UTF-8&tbm=shop&cid=4462728509653186061&sa=X&ei=kQMEUIz7GuiQiQfmh7ynBQ&ved=0CMwBEPQCMAc&os=reviews

В данном запросе варианты с "&os=reviews".

Боюсь, что вы не совсем до конца урок о парсинге Гугля посмотрели . Проект , который я вам дал, в том виде, в котором он есть, требует ПОЛУЧЕНИЕ ССЫЛОК. Нажмите на F5 или "Пуск", получите ссылки выдачи Гугля, и вот их уже смотрите. Будет 88 ссылок GOOGLE_01.cdp.

 

Ссылки не одинаковые, но товары к которым они привязаны одинаковые, если взять результат проекта GOOGLE_01.cdp, 1 ссылка будет на тот же товар что и 9, 2 -10, 3-11 и тд. в этом суть мне не нужны 88 ссылок которые фактически на 8 товаров, на самом деле в выдаче гула все по другому, почему-то программа не видит ссылки с элементом =reviews на другие товары, показывает ссылки на товары с первой страницы выдачи и привязывает их к каждой последующей странице в очереди парсинга

 

в проекте GOOGLE_01.cdp у нас участвуют 10 страниц выдачи, я уменьшил кол-во страниц до двух Ссылки недоступны для гостей
Ссылки недоступны для гостей

в итоге получилось 16 ссылок с =reviews, а на самом деле их на двух страницах 14 и они относятся к 14 товаром, а не к 8

 

Может быть что-то лишнее

В моём браузере 10 ссылок на странице, в программе 8, в вашем браузере 14. Все претензии к Гугле, либо меняйте user agent в программе до тех пор, пока не получите нужное вам количество ссылок на странице. Чтобы получить нужное количество товаров, просто надо спарсить соответствующее количество страниц Гугля, помножив их на количество выдаваемых на странице ссылок. Всего-то делов. Я вам показал пример, в каком направлении двигаться. Вникать во все тонкости того, что и как вам нужно получить, не могу, телепатией не владею.

Это что один и тот же товар?

 

вы как будто меня не слышите!!
вы читаете что я пишу???:
"Ссылки не одинаковые, но товары к которым они привязаны одинаковые, если взять результат проекта GOOGLE_01.cdp, 1 ссылка будет на тот же товар что и 9, 2 -10, 3-11 и тд. в этом суть мне не нужны 88 ссылок которые фактически на 8 товаров, на самом деле в выдаче гула все по другому, почему-то программа не видит ссылки с элементом =reviews на другие товары, показывает ссылки на товары с первой страницы выдачи и привязывает их к каждой последующей странице в очереди парсинга "
или пишите много разного текста не по теме:
"-телепатией не владею
-У нас разговор слепого с глухим получается
-Да, тяжело жить без пистолета"
я столкнулся с проблемой в работе программы, которые меня не устраивают и прошу совета глубоко описав эту проблему, а не бреда типа: "Все претензии к Гугле, либо меняйте user agent в программе до тех пор, пока не получите нужное вам количество ссылок на странице. Чтобы получить нужное количество товаров, просто надо спарсить соответствующее количество страниц Гугля, помножив их на количество выдаваемых на странице ссылок. Всего-то делов. Я вам показал пример, в каком направлении двигаться. Вникать во все тонкости того, что и как вам нужно получить, не могу, телепатией не владею."

 

Вам что больше негде хамить? Если вам кажется, что из того, что вы пишете, кто-то способен понять то, о чём вы думаете, я должен разубедить вас в этом. В обязанности Гугля, или Content Downloader-а не входит думать за вас.



Из всех картинок выдачи, только несколько ссылок на странице содержат в себе =reviews. Будете ли вы получать ссылки с "=reviews", без или и те и другие, зависит от настроек. Как настраивается вам показали. Как и что вам нужно получить на выходе только вы знаете, программа выдаёт только то, что вы настроите, не больше, не меньше.

 

Разная. Чтобы получить чистую выдачу надо использовать прокси нужной страны и перенастраивать браузер под язык и страну.

 

Если нужна американская выдача (одинаковая) - парсите search.Aol.com

 

Спасибо. Недавно запустили yandex.com, настроенный якобы на зарубежные сайты. Кое-что выдаёт чище, чем обычный яндекс и даже гугле, но стран, которые он обслуживает очень мало.

 

Я и не собирался хамить, просто с вашей стороны было много слов не по теме, но эту историю развивать не стоит. Что касается решения моей задачи то выход я нашел подобрав правильный линк для парсинга странницы выдачи гугла, приведенные выше линки не подходят т.к. программа видит вместо выдачи или просто google.com или только первую страницу парсинга.
Всем большое спасибо!