помогите собрать ссылки.

Добрый день всем!
никак не могу одолеть задачку. есть сайт -донор

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

категория карты памяти, если скролить вправо то кол-во страниц доходит до 100 - это по 6 наименований на стр. = 600 шт.
моя задача собрать все ссылки на товар. каким образом лучше в этом примере сделать? настраивал разными способами собираю не больше 300 остальные теряются:headbang:
.. кто знает как, посоветуйте.

 

Здравствуйте =)

Посмотрите вот эту ссылку:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Где page=3 - номер страницы.
Генерируете Ссылки недоступны для гостей и вперед во вкладку контент повторяющимися границами парсить ссылки...

А как, навскидку, изучая код

Видим там Slug, это, походу и есть часть ссылки.

 

спасибо большое!
идея отличная. но, но...
настроил, в результатирующем файле все-равно половина дублей вылазит(((
есть идеи почему?

 

А удалить дубли из списка ссылок через правый клик перед парсингом вас не устроит?)

 

да
я понимаю как удаляются дубли..
я об этом и писал

где остальные ссылки на товар? вот непонятно.:wtf:

WBapp - хорошо.
но имею лицензию 10.9928 start...
так категории абсолютно не важны, важно собрать все ссылки на товар в опр категории (с напр. категории "флешки" для дальнейшего парсига хар-к и т.д)
вот так.

 

Собираем ссылки на товары со 100 страниц

 

Удаляем дубли ссылок и их остается 304.
Делаем вывод, что выдача магазина содержит 304 разных флешки (51 уникальная страница по 6 товаров (последняя содержит 4 товара)).
Некоторые магазины делают бесконечное количество псевдо-страниц для того, чтобы казалось, что у них море товаров, на самом деле товары могут повторяться.

 

Может я ошибаюсь, но к этому выводу я пришел и дальше идти в этом направлении не собираюсь =)