Скрипт на php. Есть файл со списком url. Требуется открыть их все автоматически.
// Каждая ссылка с новой строки. Пробелы спереди не допускаются!
$txt="
https://sait.ru/page1/
https://sait.ru/page2/
// и т.д.
";
// Получаем ссылку
$a1=explode("\n",$txt);
$a1=array_unique($a1);
foreach($a1 as $url) {
$ch = curl_init($url);
// Создаём название файла из URL
$path_parts = pathinfo($url);
try{
if( ! ( $ch = curl_init($url) ) )
throw new Exception('Curl init failed');
$options = [
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_FAILONERROR => 1,
CURLOPT_FOLLOWLOCATION => 1,
CURLOPT_TIMEOUT => 60,
CURLOPT_SSL_VERIFYPEER => 30,
CURLOPT_SSL_VERIFYHOST => 30,
CURLOPT_HEADER => 0,
CURLOPT_HTTPHEADER => [
'User-Agent' => 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Safari/604.1.38',
]
];
curl_setopt_array($ch, $options);
$fp = fopen('pages/'.$path_parts['basename'], 'wb');
curl_setopt($ch, CURLOPT_FILE, $fp);
curl_exec($ch);
curl_close($ch);
fclose($fp);
} catch(Exception $e){
echo $e->getMessage();
}
}
$txt="
https://sait.ru/page1/
https://sait.ru/page2/
// и т.д.
";
// Получаем ссылку
$a1=explode("\n",$txt);
$a1=array_unique($a1);
foreach($a1 as $url) {
$ch = curl_init($url);
// Создаём название файла из URL
$path_parts = pathinfo($url);
try{
if( ! ( $ch = curl_init($url) ) )
throw new Exception('Curl init failed');
$options = [
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_FAILONERROR => 1,
CURLOPT_FOLLOWLOCATION => 1,
CURLOPT_TIMEOUT => 60,
CURLOPT_SSL_VERIFYPEER => 30,
CURLOPT_SSL_VERIFYHOST => 30,
CURLOPT_HEADER => 0,
CURLOPT_HTTPHEADER => [
'User-Agent' => 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Safari/604.1.38',
]
];
curl_setopt_array($ch, $options);
$fp = fopen('pages/'.$path_parts['basename'], 'wb');
curl_setopt($ch, CURLOPT_FILE, $fp);
curl_exec($ch);
curl_close($ch);
fclose($fp);
} catch(Exception $e){
echo $e->getMessage();
}
}