Парсер merlion

Тема в разделе "Разное", создана пользователем Vororobey, 13 апр 2013.

  1. Vororobey

    Vororobey New Member Пользователи

    Регистрация:
    13 апр 2013
    Сообщения:
    3
    Уважаемые форумчане.
    Поставщик merlion.ru насчитывает более 27000 наименований товара и все это необходимо спарсить. Но проблема не в том,что долго, а в том,чтобы оптимизировать данный процесс, т.к. база постоянно пополняется.
    Описание в каждой категории разное и совершенно не повторяется в предыдущей. Разумеется 20 границ парсинга не хватает, чтобы охватить весь ассортимент. От сюда вопрос...Возможно ли или увеличить кол-во границ? Или может есть другие методы, которыми можно в один присест все спарсить, разумеется, заранее настроив.
    Заранее благодарен.
     
    Vororobey, 13 апр 2013
    #1
  2. DiPSti

    DiPSti New Member Пользователи

    Регистрация:
    23 мар 2013
    Сообщения:
    8
    GETMORECONTENT
    GETMORECYCLECONTENT
    Примеры использования >>> Ссылки недоступны для гостей
     
    DiPSti, 13 апр 2013
    #2
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    +еще вариант распарсить используя простые и повторяющиеся границы.
    Укажите цыклам поля характеристик и в настройках повт.границ уже привести к желательному формату.
    Такое решение менее трудозатратно, но зависит от движка магазина который принимает импорт файл (этот мерлион настраивал давненько для Opencart используя "повт. границы")
     
    kagorec, 13 апр 2013
    #3
  4. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Еще вариант: парсить один блок(можно даже весь код страницы), а потом регуляркой вырезать от туда все что угодно и сколько угодно раз в какой угодно последовательности. Тут даже границы не понадобятся :)
    Так будет быстрее чем куча GETMORECONTENT.
     
    alamina.moon, 17 апр 2013
    #4
Similar Threads
  1. neudmark

    Помогите настроить парсер

    neudmark, 14 сен 2012, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    2
    Просмотров:
    2.106
    neudmark
    14 сен 2012
  2. Дима

    Парсер как он работает

    Дима, 26 окт 2012, в разделе: Функции и интерфейс программы
    Ответов:
    1
    Просмотров:
    2.013
    kagorec
    26 окт 2012
  3. evgenyforever

    парсер статей

    evgenyforever, 17 май 2014, в разделе: Решение проблем с использованием программы
    Ответов:
    2
    Просмотров:
    1.127
    Root
    17 май 2014
  4. Albert

    Парсер картинок для isolux_ru

    Albert, 9 дек 2015, в разделе: Скачивание картинок и файлов
    Ответов:
    2
    Просмотров:
    1.050
    Albert
    10 дек 2015
  5. leonid

    Парсер Amazon

    leonid, 27 дек 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    2
    Просмотров:
    1.995
    Root
    27 дек 2015
Загрузка...

Поделиться этой страницей