Код ответа сервера без загрузки кода документа

Мне нужно проверить порядка 1 млн страниц на 200 код, чтобы не копаться по мудреным разделам на сайте. Тупо идет подбор по id. от 0000001 до 9999999.
Сделал простой шаблон [IF1][RESPONSECODE]=200[THEN]<CD_DOCURL!>[ELSE][/IF1]
Для записи в файл тех урлов, которые отдают 200 код. Но заметил, что программа загружает полный код документа, т.е. это несколько не то что нужно, т.к. это будет и заметно дольше и совершенно не нужно.

Нельзя ли сделать простейший чекер по 200 коду, чтобы решать многие подобные вопросы очень оперативно? Без загрузки кода страницы, только код ответа.

 

Может быть возможно платно добавить такой функционал?

 

Добрый день.
Простейший чекер:

HTML:

<form action="index.php" method="POST">
        <textarea name='url'></textarea>
        <button type="submit">Send</button>
    </form>

PHP:

<?php
        if(!empty($_POST["url"])){
            $url = $_POST['url'];
            $links = explode("\r\n",$url);
            $count = count($links);
  
            for ($i =0; $count > $i; $i++)
            {
                $url = $links[$i];
                $head = get_headers($url);
                $code = $head[0];
                echo "$url $code";
                echo "<br>";
            }
                    }
    ?>

Ссылки недоступны для гостей
Локальный сервер для запуска php - Ссылки недоступны для гостей.
Сортируете полученные ссылки и вставляете в CD.

 

Спасибо большое, но мне обязателен нужно использовать прокси сервер и как минимум менять user-agent при каждом обращении. Иначе сразу бан, особенно учитывая кол-во страниц подбора. Именно поэтому хотелось бы решение на основе Content Downloader, там вроде как достаточно маленького допила.

 

Ссылки недоступны для гостей

Как-то так

 

Спасибо большое, попробую, отпишу

 

Вариант не подходит, все равно идет полная загрузка документа, в статусе стоит:
Документ загружен: 96037 символа(ов). Status: 200

 

Я только сейчас понял - это был неверный совет. Php в этом случае будет делать запрос к сайту без прокси. Пока не знаю как вам помочь.

Попробуйте использовать стороннюю программу для прокси, которая будет проводить через себя весь трафик ОС.
Ссылки недоступны для гостей
В настройках ctrl+h установите минимальное время ожидания - 1 мс.
Под рукой нет программы, помню, что для IE DOM можно установить. Для других протоколов проверьте самостоятельно.

 

Здравствуйте.

Замените файл Content Downloader.exe (в папке с программой) этим файлом:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Невероятно, спасибо большое!
Почему-то пропустил Ваше сообщение ранее

 

Только не понял как пользоваться. Ставлю прокси CIS, все работает, но не работает response
Ставлю прокис WIN - не работают прокси (и с логин-паролем и без)
Ставлю без прокси WIN - все работает, но банят))
Как пользоваться?)

 

На WIN Работают все типы прокси без логина с паролем (НА АКТУАЛЬНОЙ ВЕРСИИ ПРОГРАММЫ). Если какие-то не работают, выложите их тут под хайдом, проверю.

 

У меня они привязаны к ip (fineproxy)
Дайте пожалуйста свой ип адрес, я перевяжу на вас на время теста

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 8500 постов.**

 

А все, не нужно, оказывается socks прокси не подходят для этого вариант, а http/https работают через другой порт.
Спасибо!

 

Спасибо, способ помог!