Как спарсить весь сайт (любой)?

Тема в разделе "Решение различных задач по парсингу", создана пользователем consam, 12 дек 2013.

  1. consam

    consam New Member Пользователи

    Регистрация:
    12 сен 2012
    Сообщения:
    7
    Приветствую!
    Иногда стоит задача скопировать (клонировать) какой-либо сайт. Есть конечно WebZip, Teleport и др., но так как являюсь обладателем CD, то мне кажется, что для этих задач лучше использовать его.
    Итак, допустим надо выкачать site.ru ( контент, картинки, файлы css) и чтобы скачанные файлы имели такие же имена как и на сайте оригинале. Также нужно, чтобы все ссылки вида site.ru/page1 переименовывались в /page1 (чтобы при клике не перекидывало на сайт-донор). В общем задача - на выходе получить клон сайта, который будет работать на любом домене, чтобы осталось только логотип заменить на свой и всё.
    Подскажите как реализовать такое и реально ли оно вообще? Может кто-то проект подкинет?
    Заранее благодарю!
     
  2. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    вам неправильно кажется. CD предназначен для целевого извлечения контента из сайта, и его структурирования согласно вашему замыслу. заметьте - целевого извлечения контента СО СТРАНИЦЫ и создания на его базе новой СТРАНИЦЫ. и этот принцип сохраняется всегда - обрабатываете вы одну страницу или 1000.
    для клонирования сайтов CD не предназначен. для этого существуют Teleport и др.

    применять для этих целей CD - все равно что забивать гвозди плоскогубцами. результат достигается через мучения. впрочем, как и всегда, когда некий инструмент используется не по прямому назначению.
     
    Последнее редактирование: 12 дек 2013
  3. consam

    consam New Member Пользователи

    Регистрация:
    12 сен 2012
    Сообщения:
    7
    т.е. CD это не под силу?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Господин Nikolas очень верно сказал! :yes:
    Иными словами: Для портирования сайтов не очень, для парсинга определенных данных (статьи, картинки, товары) в один или в отдельные htm, txt, CSV с заданной структурой - очень!
     

Поделиться этой страницей