WBAPP зависает при использовании SCROLLDOWN (большой объем контета)

Здравствуйте
Есть группа фейсбука, в которой состоит почти 50 тыс юзеров. Задача собрать все профили, которые подгружаются при скроллинге страницы вниз. Использую SCROLLDOWN, [GETHTML]: ,
[SAVEHTMLTOFILE] , [RESETSTOREDCODE] в цикле. Через некоторое время скорость процесса падает в десять раз, а потом зависает, для ИЕ это слишком большой объем кода.
Можно взять более мощное железо, но боюсь что для всего списка не поможет, есть ли решение средствами СД?

 

Здравствуйте.

Ссылки недоступны для гостей

 

Спасибо за полезную информацию.

С браузером Mozilla такая же беда, зависает после нескольких сот итераций цикла прокрутки, недостаточно ресурсов для такой задачи (для сбора всех запросов надо скроллить около 2,5 тыс раз).
Нашел, что новые профили при скроллинге подгружаются по ссылкам вида:

Код:

https://www.facebook.com/ajax/browser/list/group_confirmed_members/?gid=1152753264863728&order=date&view=list&limit=15&sectiontype=recently_joined&cursor=AQHRZyjagS0m6fVOqupzWQYdxOLQxpvqYmIMdFMAF__uPXsD_lyNuNq2eCiiEDJpKISj_a8n9cVtiB34O-9lKaWjJg&start=15&av=100035930503922&fb_dtsg_ag=AQxZEIZZSamKYZ5T6obOZjXJv0mPC7Cv77DzWdsQQ2PnNg:AQxq_WPK5plYhY8ZX63Bo6CkrLi2VxOx_Mw2b9XUeb08dQ&__user=100035930503922&__a=1&__dyn=7AgNe-4amaAxd2u6aJGeFxqeCwDKEKEW6qrWo8ovxGdwIhE98nwgUaoeo9qUC3eEbbyEjKewXwgUOdwJKdwVxCu58O5U7S4E9ohwoU8-1rG0HFU20wADx6q7ooxu6U6O5oaUvwHwrEsxeEgy9E6aEyh7xa4obeU99u4-2y48OEO2e2bw8m486abxaquV8y1kyE4G4UO68pwAwhVKcxp2Utwwx-2y8w9m6EdU&__req=1b&__be=1&__pc=PHASED:ufi_home_page_pkg&dpr=1&__rev=1000675143&__comet_ 

https://www.facebook.com/ajax/browser/list/group_confirmed_members/?gid=1152753264863728&order=date&view=list&limit=15&sectiontype=recently_joined&cursor=AQHRbYEGJ5WRBwkVTUvlhyF2gCHCvlgZrp_NBdm2a4OyaLdpuq6G3VFzozyjEnOnVPTM7Cf0IK__h6mHkzqwqvhyCQ&start=15&av=100035930503922&fb_dtsg_ag=AQxZEIZZSamKYZ5T6obOZjXJv0mPC7Cv77DzWdsQQ2PnNg:AQxq_WPK5plYhY8ZX63Bo6CkrLi2VxOx_Mw2b9XUeb08dQ&__user=100035930503922&__a=1&__dyn=7AgNe-4amaAxd2u6aJGeFxqeCwDKEKEW6qrWo8ovxGdwIhE98nwgUaoeo9qUC3eEbbyEjKewXwgUOdwJKdwVxCu58O5U7S4E9ohwoU8-1rG0HFU20wADx6q7ooxu6U6O5oaUvwHwrEsxeEgy9E6aEyh7xa4obeU99u4-2y48OEO2e2bw8m486abxaquV8y1kyE4G4UO68pwAwhVKcxp2Utwwx-2y8w9m6EdU&__req=1z&__be=1&__pc=PHASED:ufi_home_page_pkg&dpr=1&__rev=1000675143&__comet_r 

https://www.facebook.com/ajax/browser/list/group_confirmed_members/?gid=1152753264863728&order=date&view=list&limit=15&sectiontype=recently_joined&cursor=AQHRbe2Xx2yn1hGozE9jLD7NtNEC0h_kIrw4TnmI7N9RwL_s6dUGlVyVUvSNtO3OyU4nAEUeRGa9dNp8OzuNXiO0AA&start=15&av=100035930503922&fb_dtsg_ag=AQxZEIZZSamKYZ5T6obOZjXJv0mPC7Cv77DzWdsQQ2PnNg:AQxq_WPK5plYhY8ZX63Bo6CkrLi2VxOx_Mw2b9XUeb08dQ&__user=100035930503922&__a=1&__dyn=7AgNe-4amaAxd2u6aJGeFxqeCwDKEKEW6qrWo8ovxGdwIhE98nwgUaoeo9qUC3eEbbyEjKewXwgUOdwJKdwVxCu58O5U7S4E9ohwoU8-1rG0HFU20wADx6q7ooxu6U6O5oaUvwHwrEsxeEgy9E6aEyh7xa4obeU99u4-2y48OEO2e2bw8m486abxaquV8y1kyE4G4UO68pwAwhVKcxp2Utwwx-2y8w9m6EdU&__req=2f&__be=1&__pc=PHASED:ufi_home_page_pkg&dpr=1&__rev=1000675143&__comet_req 

Они идентичны, отличаются только значением параметра cursor=, остается каким то образом их сгенерировать или при прокрутке запретить загрузку кода страницы, чтобы можно было собрать линки запросов, не знаю существует ли такая технология?

 

Если разберетесь, каким именно образом они генерируются, то можно и генерировать. Только потратите на это много времени и сил, думаю, не стоит.

 

Уважаемый kagorec, подскажите какие Вы методы используете чтобы снифить ссылки запросов?

 

вы решили вопрос как спарсить в группе FB пользователей?