Открываем список страниц через curl указанные в файле

Admin PHP

Скрипт на php. Есть файл со списком url. Требуется открыть их все автоматически.

// Каждая ссылка с новой строки. Пробелы спереди не допускаются!
$txt="
https://sait.ru/page1/
https://sait.ru/page2/
// и т.д.
"
;

// Получаем ссылку
$a1=explode("\n",$txt);
$a1=array_unique($a1);

    foreach($a1 as $url) {

        $ch = curl_init($url);

        // Создаём название файла из URL
        $path_parts = pathinfo($url);

        try{
            if( ! ( $ch = curl_init($url) ) )
                throw new Exception('Curl init failed');

                $options = [
                        CURLOPT_RETURNTRANSFER => 1,
                        CURLOPT_FAILONERROR => 1,
                        CURLOPT_FOLLOWLOCATION => 1,
                        CURLOPT_TIMEOUT => 60,
                     CURLOPT_SSL_VERIFYPEER => 30,
                     CURLOPT_SSL_VERIFYHOST => 30,
                     CURLOPT_HEADER => 0,

                    CURLOPT_HTTPHEADER     => [
                        'User-Agent' => 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Safari/604.1.38',
                    ]
                ];

                curl_setopt_array($ch, $options);

                 $fp = fopen('pages/'.$path_parts['basename'], 'wb');
                 curl_setopt($ch, CURLOPT_FILE, $fp);

                 curl_exec($ch);
                 curl_close($ch);
                 fclose($fp);

        } catch(Exception $e){
            echo $e->getMessage();
        }
    }
Метки:

Если вам пригодилась информация, вы можете поблагодарить автора сайта символическим пожертвованием:

Добавить комментарий

Напишите свой комментарий, если вам есть что добавить/поправить/спросить по теме текущей статьи:
"Открываем список страниц через curl указанные в файле"