Парсинг многостраничного документа

Доброго времени суток!
Возникла проблема. Например, нужно спарсить книги, много книг Ссылки недоступны для гостей но они разбиты на сайте на много страниц, соответственно программа сольет их тоже в отдельный файл=каждой странице, а при добавлении в тотже вордпресс это получатся отдельные статьи, а нужно, чтобы как на сайте доноре..Есть ли какой-либо выход?

 

люди, хелп... прочитал тут, что нужно через макрос <GETMORECONTENT> добавлять страницы, чтобы писало в один документ...это получается каждую книгу отдельно настраивать? этож с ума сойти можно=) Нельзя ли сразу сгенерировать огромный код на все книги? и чтобы программа каждую книгу в отдельный док скачала?

 

Здравствуйте.

Еще не дошел до решения вашего вопроса. Кажется, придется делать специальный функционал для выполнения подобных задач.

Постараюсь сделать это на неделе.

С уважением к вам, Сергей.

 

Здравствуйте еще раз!

Обратите внимание на новый макрос шаблона вывода [GENERATE]

Ссылки недоступны для гостей

Проект настроек приложил.

С уважением к вам, Сергей...

 

спасибо!
Правильно ли я понимаю, что если использовать шаблон вида

[HTMTOTXT:h1,h2,h3,table,tr,td,tbody,p,br,b,li,ul,ol,strong,i]<CD_GRAN_3!>
[GENERATE][FROM]1[/FROM][TO]<CD_GRAN_2!>[/TO][INC]1[/INC][SEP]{br}[/SEP]<GETMORECONTENT><URL="http://knijky.ru/books/КНИГА1?page=[VARIABLE]"><START="<table><tr><td>"><STARTCOUNT="0"><END="</table>"><ENDCOUNT="0"><PARAMS=""></GETMORECONTENT>[/GENERATE][/HTMTOTXT]

[HTMTOTXT:h1,h2,h3,table,tr,td,tbody,p,br,b,li,ul,ol,strong,i]<CD_GRAN_3!>
[GENERATE][FROM]1[/FROM][TO]<CD_GRAN_2!>[/TO][INC]1[/INC][SEP]{br}[/SEP]<GETMORECONTENT><URL="http://knijky.ru/books/КНИГА2?page=[VARIABLE]"><START="<table><tr><td>"><STARTCOUNT="0"><END="</table>"><ENDCOUNT="0"><PARAMS=""></GETMORECONTENT>[/GENERATE][/HTMTOTXT]

то каждая будет в отдельный док сохранятся?

 

Пожалуйста.

Вам сделал проект, где каждая книга сохраняется в отдельный документ (как вы и хотели!). Что еще требуется, непонятно =)

 

огромное спасибо!

 

Пожалуйста. Обращайтесь...

 

потестил....в итоге схема все равно не получается
1. Парсим все книжки, получаем 10к ссылок формата сайт.ру/книга_такая-то
2. В итоге нужно под каждую книгу создавать отдельный проект в КД с шаблоном
[HTMTOTXT:h1,h2,h3,table,tr,td,tbody,p,br,b,li,ul,o l,strong,i]<CD_GRAN_3!>
[GENERATE][FROM]1[/FROM][TO]<CD_GRAN_2!>[/TO][INC]1[/INC][SEP]{br}[/SEP]<GETMORECONTENT><URL="http://knijky.ru/books/КНИГА1?page=[VARIABLE]"><START="<table><tr><td>"><STARTCOUNT="0"><EN D="</table>"><ENDCOUNT="0"><PARAMS=""></GETMORECONTENT>[/GENERATE][/HTMTOTXT]

каждую ссылку парсить отдельно....

 

Господин Mrme, ну можно же догадаться!

 

вы прекрасны! благодарности нет предела!=)очень мало практики с софтом. буду учиться..еще раз спасибо. на днях куплю многопоток=)

 

Здравствуйте.

Спасибо на добрых словах!

С уважением к вам, Сергей.

 

все получилось=) в продолжении темы, можно ли реализовать такую задачу

Есть страница, на ней описание книги, автор, год и тд
Ссылки недоступны для гостей

А вот сам текст книги уже на др страничке располагается
Ссылки недоступны для гостей

Можно ли с первой ссылке указать парсеру, что взять и со второй ссылки, соответсвенно, забрать весь текст? И соединить это в одним документ?

 

Здравствуйте.

Можно, используя макрос GETMORECONTENT Ссылки недоступны для гостей

 

для подгрузки основного текста шаблон через гетмореконтент сделал, но вот для подгрузки описания не могу понять как..оно же находится на другой странице, а там определенная часть в ссылке по др прописана, через инкремент не получится сделать ведь

 

все вопрос снят=) поехал как сделать

 

Это хорошо! Стоит только немного применить смекалку. Обращайтесь...

 

как можно сделать ссылку на категорию и вывести ее в шаблоне?
вот, например, макрос для вывода категории ворпресс, но чтобы в шаблоне это отобразилось как

Раздел: Категория1 (чтобы слово "Категория1" стало ссылкой на эту категорию )

Перерыл все макросы не нашел подобного функционала

Пытался сделать таким видом

Раздел: [CAT]<CD_GRAN_1!>[/CAT] в итоге при импорте статья просто заносится в категорию указанную, а строка Раздел: остается пустая