Как спарсить полный список ссылок всех страниц каждой из topic?(Vkontakte)

Тема в разделе "Решение различных задач по парсингу", создана пользователем Domain, 25 дек 2011.

  1. Domain

    Domain New Member Пользователи

    Регистрация:
    25 дек 2011
    Сообщения:
    10
    Как спарсить полный список ссылок всех страниц каждой из topic?
    сайт: Vkontakte.ru
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Например:
    Ссылки недоступны для гостей - первая страница
    Ссылки недоступны для гостей - вторая страница
    Ссылки недоступны для гостей - третья страница
    ...
     
  3. Domain

    Domain New Member Пользователи

    Регистрация:
    25 дек 2011
    Сообщения:
    10
    Я имею ввиду вот есть ссылка на топик Ссылки недоступны для гостей, как в автоматическом режиме зделать, чтоб спарселись все страницы:
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей

    <== Вот этого промежутка нехватает. Я понимаю что можно задать начальную и конечную цифру и шаг в данном случае... А как зделать чтоб это определялось автоматически в случае когда таких топиков тысячи...

    Ссылки недоступны для гостей

    Заранее спасибо.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вставить в сканер сайтов (на панели инструментов) все ваши ссылки (кнопка в сканере "редактировать/добавить ссылки"). Поставить потоки = 1, пауза = 1100, включить "добавлять в очередь только ссылки с" и прописать туда "?offset=" (без ковычек).
    Нажать кнопку "фильтры ссылок", туда в шаблон прописать "?offset=" (без ковычек).
    Затем нажать "начать/продолжить сканирование".
     
  5. Domain

    Domain New Member Пользователи

    Регистрация:
    25 дек 2011
    Сообщения:
    10
    Спасибо большое, буду дома попробую.
     

Поделиться этой страницей