Парсинг сайта stihi.ru

Парсинг сайта stihi.ru производился в несколько этапов:

1) Использовался готовый каталог БСЭ - Сводный том - Кириллица

Hidden Content:

**Hidden Content: To see this hidden content your post count must be 1 or greater.**

для получения ссылок на страницы каталога на определенные буквы каталога

2) По ссылкам из сводного тома получить ссылки на страницы авторов по каждой букве сводного тома
приложенный файл проекта stihi_ru_ссылки на авторов.cdp
ссылки вида

Hidden Content:

**Hidden Content: To see this hidden content your post count must be 1 or greater.**

3) Загрузка фото авторов стихов с авторских страниц
приложенный файл проекта stihi_ru_загрузка фото авторов.cdp
загружаются фото при их наличии

Hidden Content:

**Hidden Content: To see this hidden content your post count must be 1 or greater.**

4) Загрузка описаний авторских страниц и списка сформированных авторами книг и расположение описаний в индивидуальных папках для каждого автора
приложенный файл проекта stihi_ru_загрузка описания автора и списка книг.cdp
ссылки, полученные на страницы авторов из пункта 2 пришлось модифицировать, добавив к ним в конце &book=10000 для получения полного списка книг и количества элементов в каждой из книг
ссылки получились вида

Hidden Content:

**Hidden Content: To see this hidden content your post count must be 1 or greater.**

5) Получение ссылок на элементы книг для каждой книги автора и сохранение их в файлы с номерами книг в индивидуальных папках для каждого автора
пока не готово
для книг, с количеством элементов более 50 включаются пагинаторы со ссылками на каждые следующие 50 элементов книги, которые необходимо отрабатывать
ссылки на элементы книг при наличии пагинатора имеют вид

Hidden Content:

**Hidden Content: To see this hidden content your post count must be 1 or greater.**

при наличии 147 элементов

6) Обработка файлов со списками элементов книг, сбор книг каждую в свой файл
пока не готово

Необходима помощь по последним двум пунктам.

 

Здравствуйте.

Прикрепленный мною файл проекта (меню - файл - загрузить проект) показывает, как собирать ссылки со страниц "пагинации авторов".

Откройте сканер сайтов (ctrl+7), нажмите кнопку "редактировать/добавить ссылки", вставьте туда ссылки на страницы авторов
для примера вставьте:

Hidden Content:

**Hidden Content: To see this hidden content your post count must be 1 or greater.**

и нажмите кнопку "закончить редактирование". После этого нажимайте кнопку "начать/продолжить". В итоге будут собраны ссылки на все стихи авторов.

С уважением к вам, Сергей...

 

Root, спасибо за отклик!

Вы предложили полуавтоматический путь, но для каждой книги известно количество элементов книг, поэтому генерацию ссылок с пагинаторами можно автоматизировать с помощью php скрипта.
Для решения вопроса 4) Загрузка описаний авторских страниц и списка сформированных авторами книг и расположение описаний в индивидуальных папках для каждого автора был написан простенький скрипт paginator.php.
приложенный файл paginator.php и файл проекта stihi_ru_загрузка описания автора и списка книг.cdp

В скрипт передается логин автора, номер книги и количество элементов в книге, а возвращается список ссылок на страницы с элементами. Также скрипт сохраняет все полученные ссылки в общий файл.
Полученный файл всех ссылок далее будет использован для этапа 5) Получение ссылок на элементы книг для каждой книги автора и сохранение их в файлы с номерами книг в индивидуальных папках для каждого автора

 

Здравствуйте. Пожалуйста.

Сканер сайтов САМ пройдет по всей пагинации для каждой ссылки! Так что, думаю, зря вы не приняли мое рабочее решение.

 

До конца отработаны все этапы парсинга сайта в автоматическом режиме.

Парсинг сайта stihi.ru в автоматическом режиме
----------------------------------------------

Парсинг сайта stihi.ru производился в несколько этапов:

Исходная страница
Использовался готовый каталог БСЭ - Сводный том - Кириллица

Hidden Content:

**Hidden Content: To see this hidden content your post count must be 1 or greater.**

5) Получение ссылок на элементы книг для каждой книги автора и сохранение сбор книг каждую в свой файл с номерами книг в индивидуальных папках для каждого автора. В качестве списка ссылок используется файл ссылок links.txt, полученный на этапе 4.


Для каждого описанного выше этапа подготовлены проект для Content Downloader.

 

Hidden Content:

**Hidden Content: To see this hidden content your post count must be 1 or greater.**

 

/