Открываем список страниц через curl указанные в файле

Admin PHP

Скрипт на php. Есть файл со списком url. Требуется открыть их все автоматически.

// Каждая ссылка с новой строки. Пробелы спереди не допускаются!
$txt="
https://sait.ru/page1/
https://sait.ru/page2/
// и т.д.
"
;

// Получаем ссылку
$a1=explode("\n",$txt);
$a1=array_unique($a1);

    foreach($a1 as $url) {

        $ch = curl_init($url);

        // Создаём название файла из URL
        $path_parts = pathinfo($url);

        try{
            if( ! ( $ch = curl_init($url) ) )
                throw new Exception('Curl init failed');

                $options = [
                        CURLOPT_RETURNTRANSFER => 1,
                        CURLOPT_FAILONERROR => 1,
                        CURLOPT_FOLLOWLOCATION => 1,
                        CURLOPT_TIMEOUT => 60,
                     CURLOPT_SSL_VERIFYPEER => 30,
                     CURLOPT_SSL_VERIFYHOST => 30,
                     CURLOPT_HEADER => 0,

                    CURLOPT_HTTPHEADER     => [
                        'User-Agent' => 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Safari/604.1.38',
                    ]
                ];

                curl_setopt_array($ch, $options);

                 $fp = fopen('pages/'.$path_parts['basename'], 'wb');
                 curl_setopt($ch, CURLOPT_FILE, $fp);

                 curl_exec($ch);
                 curl_close($ch);
                 fclose($fp);

        } catch(Exception $e){
            echo $e->getMessage();
        }
    }
Метки:

У сайта нет цели самоокупаться, поэтому на сайте нет рекламы. Но если вам пригодилась информация, можете лайкнуть страницу, оставить комментарий или отправить мне подарок на чашечку кофе.

Добавить комментарий

Напишите свой комментарий, если вам есть что добавить/поправить/спросить по теме текущей статьи:
"Открываем список страниц через curl указанные в файле"