Парсинг закрытых по IP магазинов, скрытые ссылками на товары в баннере, javascript

Тема в разделе "Решение различных задач по парсингу", создана пользователем rusalex, 23 мар 2018.

  1. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Симпатии:
    28
    Еще раз спасибо!
    Возникла проблема в <GETMORECONTENT>
    - в предпросмотре макрос работает и задаются границы парсинга, НО в предпросмотре и файле ничего нет (не работает), пишет:

    "не удалось загрузить контент по заданному URL (Connection Closed Gracefully)"

    Из-за чего это моет быть?? Причем месяц назад все работало, отлично, парсилось и т.п.??? Во со сменой карты сайта все и началось? Спасибо Буду очень признателен!
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Симпатии:
    1.422
    Сочетание клавишь ctrl+h , выберите библиотеку WIN
     
    rusalex нравится это.
  3. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Симпатии:
    28
    Она выбрана!
    Дело в том, что парсинг работал 2 месяца, я постоянно парсил и все было ОК.

    И вот с картой сайта все началось. Не пойму когда задаю границы в GETMORECONTENT по ссылке Ссылки недоступны для гостей - все видно и правильно (главное то же самое что и было ничего не поменялось) а вот в "Предпросмотре эелеманта" лог выдает:

    >>> GETMORECONTENT 1 <<<
    URL: Ссылки недоступны для гостей
    BEGIN: CurrentPrice":
    END: 00,
    -------------------------------------------------------------------------------------------------------------------------------------------------------
    не удалось загрузить контент по заданному URL (Connection Closed Gracefully)
    -------------------------------------------------------------------------------------------------------------------------------------------------------

    Что еще посмотреть и изменить? Подскажите пожалуйста! Спасибо.
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Симпатии:
    1.422
    Не получилось открыть ссылку, видимо нерабочая или требуется авторизация.
     
  5. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Симпатии:
    28
    Это скрипт

    открывается вот так

    {"IsOutOfStock":false,"Price":"\r\n\u003cdiv class=\u0027offer\u0027\u003e\r\n\t \u003cspan class=\u0027original\u0027\u003e\r\n\t\t \u003cspan class=\u0027priceVal\u0027\u003e\r\n\t\t\t\t$69.99\r\n\t\t \u003c/span\u003e\r\n\t \u003c/span\u003e\r\n\t \u003cspan class=\u0027promo\u0027\u003e\r\n\t\t \u003cspan class=\u0027priceLabel\u0027\u003e\r\n\t\t\t\tNow\r\n\t\t \u003c/span\u003e\r\n\t\t\t\u003cspan class=\u0027priceVal actual\u0027\u003e\r\n\t\t\t\t $49.00\r\n\t\t\t\t\r\n\t\t\t\t\t\u003cspan\u003e\r\n\t\t\t\t\t(30% Off)\r\n\t\t\t\t\t\u003c/span\u003e\r\n \r\n\t\t\t\u003c/span\u003e\r\n\t \u003c/span\u003e\r\n\u003c/div\u003e\r\n","PriceDetailed":{"SkuCode":"13733434","ActualPrice":49.0000,"Label":null,"Description":null,"Currency":"USD","IsSale":false,"PriceTypeExtended":2,"PriceType":2,"OfferPercentage":30,"IsPricePercentageEnabled":true,"ListPrice":69.9900,"CurrentPrice":69.9900,"IsOffer":true},"Sizes":[{"SkuId":900421226,"SkuCode":"13733434","SizeValue":"ns","DimensionValue":null,"IsOnlineExclusive":false,"Display":"ns"}],"Images":["18GBGM016-CRE","18GBGM016-CRE-ALT1","18GBGM016-CRE-ALT2","18GBGM016-CRE-ALT3"],"ColorName":"cream"}

    в ней парсится все: цена, размер, цвет и фото

    Она открыватся, а вот в предпросмотре пишет нет соединения?

    >>> GETMORECONTENT 1 <<<
    URL: Ссылки недоступны для гостей
    BEGIN: CurrentPrice":
    END: 00,
    -------------------------------------------------------------------------------------------------------------------------------------------------------
    не удалось загрузить контент по заданному URL (Connection Closed Gracefully)
    -------------------------------------------------------------------------------------------------------------------------------------------------------
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Симпатии:
    1.422
    Ссылки недоступны для гостей почитайте справку о макросе, обычно помогает.
    Есть параметры библиотеки.
     
    rusalex нравится это.
  7. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Симпатии:
    28
    я прочитал эту страничку несколько дестяков раз!

    Самое странное, то это проект который работа 2 месяца!!! И вот карту сайт они изменили, я благодаря вам это решил (причем легко), но GETMORECONTENT перестал работать!. в настройках менял, что только можно, осталял только GETMORECONTENT и ... все мимо! Не знаю, что и делать???
     
  8. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Симпатии:
    28
    [​IMG]

    [​IMG]
     
    Последнее редактирование: 28 авг 2018
  9. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Симпатии:
    28
    Странно все прописано правильно! программа не загружает контент? Уже попробовал все!! Может кто-то поможет? Спасибо!
     
    Последнее редактирование: 28 авг 2018
  10. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Симпатии:
    28
    Скажите проблема не может быть с макросом GETMORECONTENT или программой?
     
    Последнее редактирование: 28 авг 2018
  11. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    874
    Симпатии:
    404
    У меня через прокси, вот такую ошибку выдает
    [​IMG]
     
  12. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Симпатии:
    28
    Оказалось, что макрос GETMORECONTENT не хочет работать с библиотекой WIN (Ссылки недоступны для гостей помог)! Переключил на другую и поменял тип прокси, после чего все как по маслу пошло, т.е. как и было ранее но с WIN!)))

    Один вопрос!
    На php (если это переводчик) и Getredirect нужен ставить прокси? или нет? php переводчик с моего же аккаунта Яндекса!
    Спасибо.
     
  13. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Симпатии:
    596
    на самом php скорее всего нет, вы же в него передаете уже забранную информацию
     
    rusalex нравится это.
  14. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Симпатии:
    28
    ОК. Я так и предполагал. Когда отключил, так загрузка в предпросмотр началась быстрее... посмотрю теперь с парсингом в файл.
     

Поделиться этой страницей