Как спарсить email, если стоит защита [javascript protected email address]

sawwwok · 18 авг 2015

Задача: Спарсить поля Название компании, Директор, Тел, Электронная почта и т.п. со страницы

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

в настройках границ парсинга где поле меил отображается [javascript protected email address], хотя на странице почта есть

Как обойти защиту и спарсить меил?

kagorec · 18 авг 2015

ctrl+h включить обработку яваскрипт для контент.

Root · 19 авг 2015

Здравствуйте.

Более конкретно: нажать ctrl+h, включить галочку "контент" и задавать границы парсинга для взятия e-mail.

С уважением к вам, Сергей.

sawwwok · 20 авг 2015

Root сказал(а): ↑

Здравствуйте.

Более конкретно: нажать ctrl+h, включить галочку "контент" и задавать границы парсинга для взятия e-mail.

С уважением к вам, Сергей.
Нажмите, чтобы раскрыть...

Спасибо. Разобрался!

sawwwok · 20 авг 2015

Еще вопрос.
Для чего нужен WBApp? Я не совсем понял, из того что описано в help.

kagorec · 20 авг 2015

Wbapp - многофункциональный инструмент для парсинга сайтов где требуется обработка DOM (яваскрипт/ajax).
С помощью этого инструмента можно при обращении к странице задать некоторые действия по условию (например) :
* при требовании ввести каптчу, wbapp разгадывает автоматически и продолжает парсить.
* сфотографировать часть страницы и сохранить картинку на диск
* прокрутить страницу вниз чтобы подгрузить скрытые страницы (например как в twitter.com)
* ввести данные в форму сайта и отправить (например сделать авто-авторизацию)
... и т.д.

Многочисленное применение, насколько хватает стремления, рутинные работы автоматизировать можно в пару кликов.

sawwwok · 20 авг 2015

kagorec сказал(а): ↑

Wbapp - многофункциональный инструмент для парсинга сайтов где требуется обработка DOM (яваскрипт/ajax).
С помощью этого инструмента можно при обращении к странице задать некоторые действия по условию (например) :
* при требовании ввести каптчу, wbapp разгадывает автоматически и продолжает парсить.
* сфотографировать часть страницы и сохранить картинку на диск
* прокрутить страницу вниз чтобы подгрузить скрытые страницы (например как в twitter.com)
* ввести данные в форму сайта и отправить (например сделать авто-авторизацию)
... и т.д.

Многочисленное применение, насколько хватает стремления, рутинные работы автоматизировать можно в пару кликов.
Нажмите, чтобы раскрыть...

То есть, если мне нужно парсить данные защищенные яваскриптом, как в моем первом случае, где я ставил галочку "контент", то мне нужно покупать только ULTIMATE? или для таких задач и подойдет версия без WBApp?

kagorec · 20 авг 2015

Не обязательно, в данном случае подойдет лубая версия лицензии Contentr Downloader.
п.с. DEMO версии не в счет))

sawwwok · 20 авг 2015

kagorec сказал(а): ↑

Не обязательно, в данном случае подойдет лубая версия лицензии Contentr Downloader.
п.с. DEMO версии не в счет))
Нажмите, чтобы раскрыть...

Ok! +1 новый юзер Contentr Downloader))

Seogrom · 18 июл 2017

А можете поделится этим проектом ? просто я сейчас как раз занят его парсингом, та же проблема с email ..

Umat · 12 авг 2019

kagorec сказал(а): ↑

ctrl+h включить обработку яваскрипт для контент.
Нажмите, чтобы раскрыть...

Добрый день, коллеги!

Проблема похожая, но сложнее.
Вот пример страницы Ссылки недоступны для гостей
На ней email при заходе из браузера есть, а при просмотре кода страницы - нет.

Подскажите, что это за защита зверская и как такого супостата перепарсить?

Djahat · 12 авг 2019

Umat сказал(а): ↑

Добрый день, коллеги!

Проблема похожая, но сложнее.
Вот пример страницы Ссылки недоступны для гостей
На ней email при заходе из браузера есть, а при просмотре кода страницы - нет.

Подскажите, что это за защита зверская и как такого супостата перепарсить?
Нажмите, чтобы раскрыть...

Через WBAPP CEF - ПАРСИТ - Ссылки недоступны для гостей

Root · 12 авг 2019

Также рассмотрите такой вариант
Ссылки недоступны для гостей

PS: На данном сайте этот метод не проверял.

Virtuoz · 21 мар 2022

Здравствуйте!

В топике по улучшению программы было такое предложение:
Ссылки недоступны для гостей

kenny872012 сказал(а): ↑

Здравствуйте. Часто попадаются сайты с защитой email адресов Cloudflare Email Protection. Есть предложение добавить макрос для декодирования Cloudflare Email Protection.
Допустим в коде страницы Ссылки недоступны для гостей есть email, при get запросе отображается как 22694d414a4b47547072625057514a5b46504d0c5057

На JS например это будет выглядеть так:

function cfDecodeEmail(encodedString) {
var email = "", r = parseInt(encodedString.substr(0, 2), 16), n, i;
for (n = 2; encodedString.length - n; n += 2){
i = parseInt(encodedString.substr(n, 2), 16) ^ r;
email += String.fromCharCode(i);
}
return email;
}

console.log(cfDecodeEmail("22694d414a4b47547072625057514a5b46504d0c5057"));

В результате получим KochievRP@rushydro.ru

И еще вопрос, планируется ли встраивать кроме работы с php, работу с javascript в программу или подключение nodeJS библиотек, что бы можно было самому обработать какую то часть кода с помощью js, например вместо поиск замены или в шаблоне вывода? Было бы удобно т.к. для работы с js не надо размещать скрипты на сервере.
Нажмите, чтобы раскрыть...

Есть ли сейчас подвижки в этом направлении?
Или единственным вариантом является включение wbapp?

Допустим, нужно спарсить ЕМАИЛ управляшки mail@uk-zarechie.ru вот с этой страницы:
Ссылки недоступны для гостей

(ссылку взял по мотивам официального обучающего видео

)

С выключенным wbapp при задании границ парсинга отображается такой код:
Код:
<dt>E-mail</dt>
<dd><a href="/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="670a060e0b27120c4a1d061502040f0e02491512">[email&#160;protected]</a></dd>
В мониторе сети в FireFox подозрение падает только на скрипт
Ссылки недоступны для гостей

Но он вызывается GET-запросом. И как передать параметры, я не понимаю.

Подскажите, как в данном примере спарсить e-mail без wbapp ?

Спасибо.

Root · 21 мар 2022

Вот так.

3 URL в секунду с 3 потоками.

Версия программы должна быть актуальная!

Войти или зарегистрироваться

Как спарсить email, если стоит защита [javascript protected email address]

sawwwok New Member Пользователи

Вложения:

111.jpg

kagorec Администратор Команда форума Администратор

Вложения:

mail.png

Root Администратор Администратор

sawwwok New Member Пользователи

sawwwok New Member Пользователи

kagorec Администратор Команда форума Администратор

sawwwok New Member Пользователи

kagorec Администратор Команда форума Администратор

sawwwok New Member Пользователи

Seogrom New Member Пользователи

Umat New Member Пользователи

Djahat Well-Known Member Пользователи

Root Администратор Администратор

Virtuoz New Member Пользователи

Root Администратор Администратор

Вложения:

mingkh_ru.cdp

Парсинг email и чистка

Парсинг email в csv

Замена email покупателя

Как спарсить несколько сайтов и собрать email?

Как спарсить номер телефона и email в интаграме.

Поделиться этой страницей

Как спарсить email, если стоит защита [javascript protected email address]

sawwwok New Member Пользователи

Вложения:

kagorec Администратор Команда форума Администратор

Вложения:

Root Администратор Администратор

sawwwok New Member Пользователи

sawwwok New Member Пользователи

kagorec Администратор Команда форума Администратор

sawwwok New Member Пользователи

kagorec Администратор Команда форума Администратор

sawwwok New Member Пользователи

Seogrom New Member Пользователи

Umat New Member Пользователи

Djahat Well-Known Member Пользователи

Root Администратор Администратор

Virtuoz New Member Пользователи

Root Администратор Администратор

Вложения:

Поделиться этой страницей

Быстрый поиск