Парсим avito

Тема в разделе "Разное", создана пользователем neosvc, 17 июл 2012.

  1. neosvc

    neosvc New Member Пользователи

    Регистрация:
    17 июл 2012
    Сообщения:
    2
    Всем привет.
    Помогите с решением проблемы. Необходимо настроить сбор инфы с авито, с определенного раздела. Например: Ссылки недоступны для гостей.
    Парсить нужно переодически: раз в день с утра, соответственно ссылки будут меняться, поэтому вручную их проставлять нереально.
    Вроде бы функция сканер сайтов должна помочь - но никак не найду возможность отключить сбор ссылок со всего сайта, мне нужно, чтобы брались ссылки только с указанной мной страницы раздела... Это можно реализовать? :)
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Можно, достаточно проставить диапазон ссылок на страницы со списком обьявлений
    http://www.avito.ru/catalog/kvartiry-24/rostov-na-donu-652000/params.201_1060/page{num} и собрать с них.

    1. Вкладка ссылки - указать границы тоесть в какой области соберет ссылки, а также настроить фильтр. После как собрали ссылки, переходим обратно во вкладку контент
    2. Подключить "файл загруженных элементов" и парсите без опасения что попадуться дубликаты.

    п.с. Сканирование не разумно использовать когда можно быстрее собрать ссылки по диапазону.
     

Поделиться этой страницей