Парсинг емейлов с форума вбуллетин

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем eurohunter, 29 июл 2014.

  1. eurohunter

    eurohunter New Member Пользователи

    Регистрация:
    29 июл 2014
    Сообщения:
    7
    Всем доброго времени суток. Столкнулся со сложностью при сборе емейл адресов пользователей форума вбуллетин. Настройки сбора ссылок выставил вот такие:
    [​IMG]
    Работает с около 8ми часов, но пока не нашлось еще ни одной ссылки с параметром из фильтра. Может быть я делаю что то неправильно?
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Уточните ссылку, в тег hide
     
  3. eurohunter

    eurohunter New Member Пользователи

    Регистрация:
    29 июл 2014
    Сообщения:
    7
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    простите, открыл 6 страниц, не увидел ни одного емайла, а где они должны быть-то?
     
  5. eurohunter

    eurohunter New Member Пользователи

    Регистрация:
    29 июл 2014
    Сообщения:
    7
    Мыла видны залогиненым юзерам
    [​IMG]
    Урлы вида домен/sendmessage.php?do=mailmember&u=**** доступны и незалогиненым, просто емейл не виден.
     
    Последнее редактирование: 29 июл 2014
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    зарегистрировался, все равно не вижу. Куда зайти, чего нажать? Поиграем дальше?
     
  7. eurohunter

    eurohunter New Member Пользователи

    Регистрация:
    29 июл 2014
    Сообщения:
    7
    Зайти в профиль любого пользователя, и если он не скрыл мыло в настройках, то вот тут

    [​IMG]

    Есть такие, кто скрыли, но чаще открыто
     
    Последнее редактирование: 29 июл 2014
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    Ссылку на профиль пользователя с открытым мылом, пожалуйста.
    Если нужно авторизоваться для того, чтобы увидеть мыло, пожалуйста и логин с паролем дайте.
    Спасибо!
     
  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    просмотрел 10 человек с репутациями хорошими, ни у одного не нашел мыло. Так что да, просьба линк на профиль с мылом.
     
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Столько пользователей, а толку от ботов (нарегистрированные пользователи автоматическими программами вроде xrummer) ?
    В вашей задаче главное авторизацию передать парсеру, зацепить границу и потом парсите в 50 потоков, адвор вам в помощь Ссылки недоступны для гостей
    Еще желательно поставить условие чтоб парсило только при авторизированном аккаунте.
    [​IMG]
    На скриншоте подсказка, тоесть выделив границей часть кода которая видна только авторизированному, и если эта часть будет отсутствовать подряд сколькото раз то парсинг приостановится.
     
  11. eurohunter

    eurohunter New Member Пользователи

    Регистрация:
    29 июл 2014
    Сообщения:
    7
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    То ли мне везет так, но большинство профилей на форуме с открытым мылом
     
    Последнее редактирование: 30 июл 2014
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Очень тривиальная и простая задача!
    Файл проекта прилагаю...
    PS: Авторизация в кнопке с изображением ключика во вкладке "контент".
    Версия программы должна быть последней!
     

    Вложения:

    • slim_ru.cdp
      Размер файла:
      91,5 КБ
      Просмотров:
      6
  13. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Либо вариант если есть как раз первая ссылка. Все равно сначала сделал, а потом увидел, что Root уже побывал тут)
     

    Вложения:

    • slim_ru.cdp
      Размер файла:
      26,3 КБ
      Просмотров:
      2
  14. eurohunter

    eurohunter New Member Пользователи

    Регистрация:
    29 июл 2014
    Сообщения:
    7
    Большое спасибо за готовые проекты, но этот форум был лишь только для примера. Мне нужно именно понять, как это делается.

    Для парсинга к примеру форумных постов, я задавал в фильтре ссылок параметр showthread.php? (такой параметр имеют все ссылки на темы с сообщениями пользователей), после чего запускал сканер сайтов. Собирались ссылки имеющие заданный параметр, добавлял их к списку ссылок для парсинга, указывал требуемые границы и запускал сам парсинг. После чего уже получал искомый контент.

    Я пытаюсь понять, почему сканер сайта не находит ни одной ссылки по фильтру sendmessage.php?do=mailmember&u= хотя я залогинился на форуме из интерфейса программы.

    З.Ы. Похоже вышеуказанный алгоритм действий (для сбора форумных постов) не подходит для сбора емейлов. А как правильно это делать, не могу найти.
     
  15. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    потому что каждый сайт нужно настраивать индивидуально.
    Но общие принципы у вас есть, так что пробуйте.
     
  16. eurohunter

    eurohunter New Member Пользователи

    Регистрация:
    29 июл 2014
    Сообщения:
    7
    Вот и пробую, но не получается, и не понимаю, где в этом случае моя ошибка)
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В моем проекте просто перебор анкет по их номеру. Изучите хелп, поймите, как работает программа и применяйте навыки к определенным сайтам... Чудес не бывает, нужно пробовать, работать...
     

Поделиться этой страницей