Яндекс — ploshadka.net

Яндекс обезумел — «Сайт может быть опасен»

Admin — Sat, 13 Jan 2018 11:25:20 +0000

Я понимаю заботу Яндекса о безопасности, но они похоже слишком перестарались и начинают проверять несусветные вещи.

Вот такое «письмо счастья» получил от Яндекса для одного из сайтов:

Здравствуйте, …!

Сайт может угрожать безопасности пользователя, или на нём были обнаружены нарушения правил поисковой системы. Наличие этой проблемы негативно сказывается на положении сайта в результатах поиска.

Ознакомьтесь с подробностями и устраните проблему.

Перейдите в раздел диагностики, чтобы узнать обо всех известных Яндексу проблемах сайта.

С уважением, роботы Яндекс.Вебмастера

В панели Яндекс вебмастера увидел следующее:

нде

Иными словами Яндексу не понравилось, что на одном из моих сайтов, есть статья. В этой статье есть скриншот страницы сайтов nalog.ru. Скриншот нужен для описания процесса в статье. Никакого фишинга тут и в помине нет.

Удивительные выводы делает Яндекс всего лишь на основании содержимого в картинке. А в результате сайт понизил в выдаче.

Написал в поддержку Яндекса, будем ждать ответа.

Критическая ошибка в Яндекс Вебмастере

Admin — Fri, 27 Oct 2017 08:00:34 +0000

Не так давно Яндекс поменял алгоритмы определения полезных и бесполезных сайтов. Все малополезные сайты, на его взгляд, он отмечает фатальной ошибкой.

Сообщение об ошибки выглядит так:

Если перейти дальше будет сообщение:

Сайт может угрожать безопасности пользователя, или на нём были обнаружены нарушения правил поисковой системы. Наличие этой проблемы негативно сказывается на положении сайта в результатах поиска.

При переходе подробнее можно увидеть следующее:

Всё это звучит как приговор и радоваться не приходится:

Нарушения и угрозы безопасности на сайте …
Малополезный контент, спам, избыток рекламы
Позиции сайта в результатах поиска понижены
Сайт не соответствует основным принципам, по которым наши алгоритмы оценивают его качество: содержит бесполезный контент, чрезмерное количество рекламы, поисковый спам и т. п.

Обычно ограничения снимаются в течение месяца после устранения нарушения.

Что делать?

Понять в чем же причина довольно сложно, потому что ошибка имеет общий вид и вбирает в себя всевозможные специальные и случайные нарушения.

От Яндекса есть ссылки на инструкцию, что делать. Там общие черты и всевозможные причины:
Малополезный контент
Некачественные сайты

Бессмысленно писать в Яндекс поддержку. Они отвечают, но типовыми сообщениями. А когда ты всё же добиваешься человеческого ответа, то он не обнадеживает и нередко звучит следующим образом (своими словами пересказ слов поддержки):

Отметка «Малополезный контент, спам, избыток рекламы» является наиболее частой причиной наложенных санкций. Тем не менее, у поисковика гораздо больше критериев, по которым он судит. Значительная её часть приведена по ссылкам (даны на этой странице выше). Иногда накладываются ограничения из нескольких параметров, но чаще больше.

Сказать, что именно является причиной санкций в вашем случае не представляется возможным, потому что сразу наложились несколько вариантов. Если вы и дальше будете развивать свой сайт, делать качественный контент для удобства посетителей, то после очередной проверки, ограничения могут быть сняты автоматически.

Всё это хорошо, но иногда это полнейшая чушь и вот почему. Вы можете хоть тысячу полезных страниц создать для сайта, но если он имеет технические недочеты, всё это это будет насмарку. Потому что, если сайт нормальный и не создан для спама, причина может быть в технических проблемах сайта. Но ответят они вам так, что вы не поймёте. Так что лучше сосредоточится на технических моментах, которые нередко возникают по вине движка и тщательно перепроверить свой сайт.

Сначала проверяем сайт на вирусы.

Убираем мобильные редиректы

Потом смотрим файл .htaccess, там не должно быть редиректов на другие сайты.

В том числе надо избегать любых мобильных редиректов, в том числе и на свои сайты. Яндекс может за такой редирект понизить в выдаче, влепив фатальную ошибку, приняв его за вредоносный скрипт.

Проверьте плагины кэширования. Например, плагин кэширования на одном из моих сайтов внёс в файл .htaccess следующую мобильную переадресацию:

RewriteCond %{HTTP_USER_AGENT} ^.*(\bCrMo\b|CriOS|Android.*Chrome\/[.0-9]*\s(Mobile)?
|\bDolfin\b|Opera.*Mini|Opera.*Mobi|Android.*Opera|Mobile.*OPR\/[0-9.]+|Coast\/[0-
9.]+|Skyfire|Mobile\sSafari\/[.0-9]*\sEdge|IEMobile|MSIEMobile|fennec|firefox.*maemo|
(Mobile|Tablet).*Firefox|Firefox.*Mobile|FxiOS|bolt|teashark|Blazer|Version.*Mobile.*Safari|
Safari.*Mobile|MobileSafari|Tizen|UC.*Browser|UCWEB|baiduboxapp|baidubrowser|
DiigoBrowser|Puffin|\bMercury\b|Obigo|NF-Browser|NokiaBrowser|OviBrowser|OneBrowser|TwonkyBeamBrowser|SEMC.*Browser|
FlyFlow|Minimo|NetFront|Novarra-Vision|MQQBrowser|MicroMessenger|
Android.*PaleMoon|Mobile.*PaleMoon|Android|blackberry|
\bBB10\b|rim\stablet\sos|PalmOS|avantgo|blazer|elaine|
hiptop|palm|plucker|xiino|Symbian|SymbOS|Series60|
Series40|SYB-[0-9]+|\bS60\b|Windows\sCE.*(PPC|Smartphone|Mobile
|[0-9]{3}x[0-9]{3})|Window\sMobile|Windows\sPhone\s[0-9.]+|WCE;|Windows\sPhone\s10.0|Windows\sPhone\s8.1|
Windows\sPhone\s8.0|Windows\sPhone\sOS|XBLWP7|
ZuneWP7|Windows\sNT\s6\.[23]\;\sARM\;|\biPhone.*Mobile|\biPod|\biPad|
Apple-iPhone7C2|MeeGo|Maemo|J2ME\/|\bMIDP\b|\bCLDC\b|webOS|
hpwOS|\bBada\b|BREW).*$ [NC]

Такая штука может не понравиться Яндексу. Лучше этого избегать.

Если ошибок на сайте не видно, переадресаций и вирусов нет, следует обратить внимание на количество рекламы. Возможно Яндексу не нравится, что несколько рекламных блоков видны на одном пространстве экрана монитора. Следует уменьшить часть рекламных блоков.

Неправильный файл robots.txt

Это чуть ли не основная причина большинства проблем. Очень важно запретить все лишние страницы на сайте. Для этого делаем правильный robots.

После того как всё исправили. Из того, что казалось, нужно исправить, отправляем сайт на проверку. И ждём месяц в надежде, что это было недоразумение.

Можно даже обойтись без этой кнопки. Если конкретно те ошибки, из-за которых Яндекс поставил бан исправлены, сайт может вылезти из-под санкций чуть ли не через несколько дней после исправления.

Резервное копирование нескольких баз данных на Яндекс Диск

Admin — Mon, 09 Oct 2017 22:15:22 +0000

Скрипт для резервного копирования сразу нескольких баз данных MySQL, на Яндекс Диск через протокол WebDAV.

Я уже рассказывал как сделать резервные копии MySQL с перемещением на Яндекс диск. Скрипт рабочий и можно им пользоваться.

А вот что делать, если сайтов много? Слишком заморочено для каждого сайта писать отдельный скрипт, добавлять его в CRON, вычислять время для задания, чтобы оно не пересекалось с другим процессом. Так что, когда количество сайтов превысило тот размер, когда я стал путаться, что и когда бекапится, пришлось сделать новый скрипт.

О том, как настроить WebDav имеется статья и повторяться не буду. В следующих шагах подразумевается, что ВебДав установлен и настроен.

В новом скрипте мы соединим функции создания MySQL и перемещения на Яндекс Диск. Копии будут хранится на нашем сервере и дублироваться на Яндекс Диск.

Создание папки для резервного копирования

Подключаемся к сайту по SSH.

Подключаем Яндекс Диск:

mount -t davfs https://webdav.yandex.ru /mnt/yandex/

Создаём там папки:

cd /mnt/yandex && sudo mkdir ploshadka.net
cd /mnt/yandex/ploshadka.net && sudo mkdir mysql

Отключаемся:

umount /mnt/yandex

Создание скрипта для резервного копирования

Создаём файл:

nano /home/scripts/bdbackup.sh

Комментарии в скрипте приведены на английском языке, но должно быть всё понятно. Если вдруг чего не ясно, спрашивайте в комментариях.

Содержимое файла:

#!/bin/sh
#
# Backup MySQL and copy to Yandex.Disk

##################
# Create backups
##################

# Host
HOST="localhost";

# MySQL user
USER="root";

# MySQL password
PASSWORD="";

# Databases to backup, seperate by space
DATABASES="db_name1 db_name_2";

# Backup storage folder
PATH="/home/admin/backup-MySQL";

# Backup function
backup ()
{
# Date/Time format
DATE=`/bin/date "+%Y-%m-%d_%H-%M"`;

# Format the filename
DUMP="$DATABASE-$DATE";

# MySQL dump
MYSQLDUMP="/usr/bin/mysqldump";

# Create the MySQL dump and echo the result
echo "$PATH/$DUMP.sql";
$MYSQLDUMP --host $HOST --add-drop-table --user $USER --password=$PASSWORD $DATABASE >> "$PATH/$DUMP.sql";

# Creating the compression
cd $PATH;
/usr/bin/gzip $DATABASE-$DATE.sql;

# Remove the mysql dump (but still keep the compressed copy)
/bin/rm -f $DUMP.sql;

# Task complete
cd;
}

# Function which backs up database one by one
for DATABASE in $DATABASES
do
echo $DATABASE;
backup;
done

##################
# Copy to Yandex
##################

# Mount Yandex.Disk
/bin/mount -t davfs https://webdav.yandex.ru /mnt/yandex/;

# Copy to Yandex.Disk
/bin/cp -r $PATH/* /mnt/yandex/backups/mysql;

##################
# Clean
##################

# Delete backup files older than 1 days on our server
/bin/find $PATH -type f -mtime +1 -exec /bin/rm {} \;

# Delete backup files older than 120 days on Yandex server
/bin/find $PATH -type f -mtime +120 -exec /bin/rm {} \;

# Unmount Yandex.Disk
/bin/umount /mnt/yandex;

exit;

Теперь на наш скрипт применяем специальные права, чтобы тот мог использоваться в CRON:

cd /home/scripts/ && chmod +x bdbackup.sh

При желании скрипт можно запускать и вручную:

sh /home/scripts/bdbackup.sh

Осталось добавить скрипт в планировщик задания. Читайте отдельно, как добавить задание в CRON.

Настройка почты для сайтов в Яндекс

Admin — Thu, 28 Sep 2017 08:30:23 +0000

Настраиваем почтовый ящик к своему доменному имени сайта на сервере Яндекс.

Ящик можно сделать любого вида:
luboe-nazvaine@vash-sait.ru

При этом управлять почтой через Яндекс.

Настроить почту на Яндексе можно двумя способами. Первое — делегировать ДНС сервера на Яндекс. В этом случае записи MX почты настроятся сами. Второй — когда ДНС находятся на стороннем сервере.

Ниже разберем настройку почты, когда днс находятся не на яндексе.

Вся почта будет хранится на Яндексе и обрабатываться через него, но при этом иметь любой адрес с указанием вашего домена.

Заходим по адресу:
https://pdd.yandex.ru

Добавляем домен:

Теперь идём на сайт, где прописан DNS нашего сайта. Там открываем вкладку ДНС записей, она выглядит примерно так:

И вносим следующие данные:

1.

Имя домена:
@

Тип записи:
MX

Данные:
mx.yandex.net.

Приоритет:
10

2.

Имя домена
@

Тип записи:
TXT

Данные:
v=spf1 ip4:111.111.111.111 include:_spf.yandex.net ~all

Вместо 111.111.111.111 надо вставить свой ip адрес сайта.

Если нужно чтобы по адресу сайта mail.moi-sait.ru перекидывало на страницу почты яндекса, то надо добавить ещё и следующее:

3.

Имя домена
mail

Данные:
domain.mail.yandex.net.

Тип записи:
CNAME

Теперь возвращаемся на сайт Яндекса и создаём почту по ссылке внизу на скриншоте:

Там же заходим в нёё, заполняем анкету и попадаем в свой почтовый ящик.

После этих действий (если DNS сайта настроен верно и сам сайт в результате этого работает) почта должна заработать.

Как выровнять блок рекламы по центру

Admin — Wed, 13 Sep 2017 08:00:08 +0000

При размещении рекламы у себя на сайте, часто возникает необходимость вывести её по центру.

В этой статье даётся центровка рекламных блоков. Для этого достаточно добавить несколько стилей. Если же нужна центровка отдельных блоков, то это можно прочитать в другой статье.

Казалось бы, чего проще, есть много способом выровнять по центру объект с помощью CSS. Но сложность заключается в том, что при загрузке рекламы выводятся разные форматы. В один раз это может быть текстовое объявление, в другой баннер, а в третьей ещё что-то. И для каждого из этих объектов может не подойти определённый вид выравниваний.

Например, разные блоки рекламы выводят Рекламная сеть Яндекса (РСЯ) или Google Adsense или любые другие сети RTB.

К счастью, есть универсальный способ, который подходит для всех объектов. Для этого нужно принять блок за условную таблицу и отцентрировать её по центру.

Как выровнять блоки РТБ от РСЯ по центру?

Создаём стиль:

.yandex_rtb {
display: table;
margin: 10px auto;
}

Первый параметр в margin делает отступ от верха и низа, второй выравнивает блок по центру.

Вставляем созданный стиль в рекламный div РТБ от РСЯ:

Для всех остальных рекламных блоков, в том числе и для блоков не связанных с РСЯ, этот метод выравнивания тоже работает.

Автоматическая очистка кэша davfs2 (Яндекс WebDav)

Admin — Tue, 04 Jul 2017 09:51:08 +0000

При работе скриптов резервного копирования на Яндекс.Диск (webdav.yandex.ru) переполняется папка с кэшем. Для решения этой проблемы создадим скрипт.

Периодически на жестком диске сервера заканчивалось место. В результате каким-нибудь утром меня встречали не рабочие сайты, а WordPress показывал ошибку «нет соединения с базой данных».

Сначала я думал, что кэш по каким-то случайным причинам не очищается. Оказывается так бывает всегда и сам по себе он никуда очищаться не собирается.

Заходим к себе на сервер через ssh.

Просто чтобы убедиться, что место занято именно кэшем Яндекс.Диска, проверяем размер директории с этим кэшем:

du -hs /var/cache/davfs2/

Для решения проблемы переполнения кэша WebDav можно автоматически очищать кэш в папке davfs2.

Добавлять команду в общий скрипт резервного копирования не будем, потому что иначе архив файла не успеет переместиться на Яндекс.Диск. Сделаем скрипт отдельно и вставим его в CRON.

Создаём скрипт для очищения кэша

Заходим в уже знакомую нам директорию:

cd /my_scripts/

Создаём файл:

nano /my_scripts/webdav_cache_clear.sh

Вставляем содержимое:

# Очистка кэша
find /var/cache/davfs2/ -mindepth 1 -a -print0 | xargs -n 100 -0 rm -rf

Назначаем права доступа на выполнение файлов

chmod +x webdav_cache_clear.sh

Добавляем скрипт в CRON

Открываем CRON файл:

nano /etc/crontab

Дописываем в конец файла:

# Удаляем содержимое кэша davfs2
# ежедневно в 8:00
00 8 * * * root /my_scripts/webdav_cache_clear.sh >/dev/null 2>&1

Выходим и сохраняем:

ctrl+x, Y, enter

Время удаления кэша назначено на 8 утра, когда все скрипты уже закончат свою работу. У меня на одном сервере находятся сразу несколько сайтов и все они копируются по очереди. Последний скрипт начинает работу в 6 утра и к 8 наверняка успеет перенести всё на Яндекс.Диск.

Резервное копирование на Яндекс Диск (на примере Vesta)

Admin — Tue, 16 May 2017 08:20:16 +0000

Настраиваем удалённое резервное копирование данных в Яндекс.Диск. Данная статья будет рассказывать как сделать backup в панели управления сайтами Vesta. Однако это руководство подойдет и для любых других систем управления сайтом.

Полное руководство установки резервного копирования в LINUX на Яндекс Диск есть на сайте Яндекса.

В этой статье отброшено всё лишнее и добавлены конкретные инструкции для установки и настройки резервного копирования в VESTA в CentOS (LINUX) по шагам.

Копирование будет осуществляться путём синхронизации всех backup файлов с Яндекс диском. Минус подобного способа в том, что не получится заливать несколько серверов на один Яндекс диск, т.к. это по сути не резервное копирование, а синхронизация. И если использовать один Яндекс диск для разных серверов, то вскоре на всех будут одни и те же данные, что и на диске Яндекса. Но если сервер у вас один и на Яндекс Диске ничего другого не хранится, то это удобный способ резервного копирования.

В случае, если имеется несколько серверов и для каждого требуется сохранять резервные данные на удалённый диск, то можно не синхронизировать, а монтировать Яндекс.Диск по протоколу WebDAV, а затем перемещать туда свои резервные копии.

Устанавливаем консольный клиент Яндекс Диска

Заходим на сайт через ssh.

Создаём файл:

nano /etc/yum.repos.d/yandex.repo

Вставляем в него содержимое:

[yandex]
name=Yandex
failovermethod=priority
baseurl=http://repo.yandex.ru/yandex-disk/rpm/stable/$basearch/
enabled=1
metadata_expire=1d
gpgcheck=1
gpgkey=http://repo.yandex.ru/yandex-disk/YANDEX-DISK-KEY.GPG

Сохраняем данные: CTRL + O (буква), подтверждаем – Y, выходим — CTRL+X.

Для проверки цифровой подписи импортируем ключи:

rpm --import http://repo.yandex.ru/yandex-disk/YANDEX-DISK-KEY.GPG

Теперь всё готово для установки Яндекс Диска на сервер Linux:

yum install yandex-disk

После установки настраиваем Яндекс Диск:

yandex-disk setup

Вводим свой логин и пароль от учетной записи Яндекс Диска. И указываем путь до backup папки, который использует VESTA: /backup

После ввода данных утвердительно отвечаем на вопрос:

Запускать Яндекс.Диск при входе в систему? [Y/n]: y

Теперь Яндекс Диск будет запускаться при входе в систему логина пользователя. Дополнительно для запуска скрипта при загрузки системы вводим команду:

echo "/usr/bin/yandex-disk start" >> /etc/rc.d/rc.local

Как отключить клиент Яндекс Диска

Команда для остановки клиента:

yandex-disk stop

Если по какой-то причине потребовалось отключить Яндекс Диск из загрузки системы, то редактируем файл:

nano /etc/rc.d/rc.local

И удаляем из него строчку:

/etc/rc.d/rc.local

Более точная настройка резервного копирования

На предыдущих действиях можно остановиться, но мы пойдём чуть дальше.

Открываем конфигурационный файл, который создал Яндекс Диск для своей работы:

nano /root/.config/yandex-disk/config.cfg

Видим содержимое:

auth="/root/.config/yandex-disk/passwd"
dir="/backup"
proxy="no"

Можем поменять его на следующее (дополним комментариями):

# Путь к файлу с данными авторизации
auth="/root/.config/yandex-disk/passwd"

# Каталог хранения backup в VESTA
dir="/backup"

# Не синхронизировать указанные каталоги
# exclude-dirs="exclude/dir1,exclude/dir2,path/to/another/exclude/dir"

# Прокси-сервер
proxy="no"

После настройки бэкапа на Яндекс Диск всё его содержимое будет копироваться в главный раздел Яндекс Диска. Это не удобно, если вы на Яндексе храните кроме резервных копий что-то ещё.

Для того чтобы Яндекс резервные копии складывал в отдельно-отведенную папку, в панели управления VESTA надо изменить абсолютный путь backup папки.

Как настроить путь до бэкап папки смотрите в общей статье о создании резервных копий на Vesta – в самом конце статьи после заголовка: «Как изменить путь хранения backup в Vesta».

Вместо этого пути:

/backup

Меняем путь для резервного копирования на следующий:

/backup/backups/site_name

где site_name — имя вашего сайта.

Теперь на Яндекс Диске появится папка backups, а в ней папка с названием сайта и в ней уже будет находится резервная копия вашего сайта.

Вместо папки с названием сайта, если например, сайтов несколько, можно назвать папку по названию хостинга.

Примечание

Если всё настроено верно, то на Яндекс Диске почти сразу будут появляться все файлы из директории backup. Если что-то не работает, попробуйте исправить ошибки руководствуясь статьёй резервное копирование VESTA. В конце статьи рассказывается как исправить типовые ошибки.

Защищаем аккаунт Яндекса паролями приложений

Admin — Mon, 15 May 2017 18:35:21 +0000

В Яндексе много полезных сервисов, которые используют сторонние приложения и сайты. Для сохранения основного пароля в секрете, для отдельных программ можно создать свои пароли.

Впервые я задумался о таком пароле, когда подключал резервное копирование сервера по протоколу WebDAV на Яндекс Диск. Я обнаружил, что в файле пароль хранится не засекреченным. А такое допускать ни в коем случае нельзя.

Как включить пароли для приложений в Яндексе

Переходим в своём аккаунте Яндекса на страницу управления доступом.

На ней включаем пароли приложений.

Выбираем тип приложения. Выбираем операционную систему из списка. В моём случае я назвал своим именем. Указываем название программы. Записываем пароль, т.к. потом посмотреть его не удастся.

Ошибка the device is found by lsof(8) or fuser(1)

Admin — Mon, 15 May 2017 18:32:12 +0000

Описание ошибки, которая возникает при размонтирование диска по протоколу WebDAV.

Ошибка может появляться в консоли после команды размонтировать диск. Например, такое уведомление может появиться, если вручную запустить скрипты из статьи «О резервном копировании данных на Яндекс Диска по протоколу WebDAV».

Ошибка выглядит следующим образом:

# umount /mnt/yandex
umount: /mnt/yandex: target is busy.
(In some cases useful info about processes that use
the device is found by lsof(8) or fuser(1))

Так происходит когда диск всё ещё примонтирован к системе, но его не видно и он не доступен, кроме процесса который его использует. Например, на него не успели скопироваться данные, но уже поступила команда отсоединиться от диска.

При этом команда не работает:

umount /mnt/yandex

При желании можно посмотреть какой процесс занимает диск:

lsof /mnt/yandex

На самом деле в большинстве случаев беспокоиться об этом не нужно. Когда процесс, занимающий диск завершится, система размонтирует его.

Для размонтирования диска сразу по команде можно использовать, так называемую, «ленивую» размонтировку:

umount -l /mnt/yandex

После этой команды диск будет размонтирован.

Перемещаем резервные копии на Яндекс Диск

Admin — Mon, 15 May 2017 18:16:55 +0000

Автоматизация перемещения резервных копий своего сайта с сервера на Яндекс.Диск.

Описание даётся на примере сервера CentOS (Linux).

Предполагается, что резервные копии уже складываются в определённую папку. В примере ниже это папка backup, расположенная в корне сервера.

Создавать резервные копии умеют очень многие системы по управлению сайтами (например: VESTA, ISPManager, а также различные WordPress плагины).

Для создания и перемещения резервных данных одним скриптом, не используя сторонние решения, смотрите другую статью: Создание резервных копий и перемещение на Яндекс Диск.

Предварительно устанавливаем Яндекс Диск на свой Linux сервер.

После установки и настройки Яндекс Диска заходим к себе на сервер через Терминал.

Через командную строку создаём на сервере директорию my_scripts и файл скрипта backup_webdav.sh, который будет перемещать резервные копии на Яндекс Диск:

cd /
sudo mkdir my_scripts
nano /my_scripts/backup_webdav.sh

Вставляем содержимое скрипта:

# Монтируем Яндекс Диск
mount -t davfs https://webdav.yandex.ru /mnt/yandex/
#mv /backup/ /mnt/yandex
cp -r /backup/* /mnt/yandex
# Отключаем Яндекс Диск
umount /mnt/yandex

где ключ -r – означает копирование в том числе и папок.

При желании можно перемещать папку целиком, для этого раскомментируем команду перемещения, а команду копирования закомментируем.

# Монтируем Яндекс Диск
mount -t davfs https://webdav.yandex.ru /mnt/yandex/
mv /backup/ /mnt/yandex
#cp -r /backup/* /mnt/yandex
# Отключаем Яндекс Диск
umount /mnt/yandex

Из папки /backup/ данные будут копироваться в папку Яндекс Диска, который подключен по пути /mnt/yandex.

Запуск скрипта вручную:

sh /my_scripts/backup_webdav.sh

или если не работает, так:

cd /my_scripts
sh backup_webdav.sh

Можно скрипт внести в задания CRON и назначить расписание.

Добавляем задания в CRON

Открываем файл CRON

nano /etc/crontab

Добавляем данные:

# Backup to Yandex Disk
# ежедневно в 2:00
00 2 * * * root /my_scripts/backup_webdav.sh >/dev/null 2>&1

На файл backup_webdav.sh нужно выставить права доступа chmod +x, иначе он не будет запускать через CRON. Для этого через командную строку вводим:

cd /my_scripts/
chmod +x backup_webdav.sh

Теперь каждый день в 2 часа ночи, резервные копии, созданные сторонними программами, будут перемещаться на Яндекс Диск.

Делаем для скриптов резервную копию

Также можно скопировать скрипты на будущее, сделав для них резервную копию в корневой каталог сайта.

Можно и вовсе не делать скрипт в корневой папке сервера, а сразу сделать его в корне сайта и подцеплять через CRON. Тогда скрипт можно создавать через FTP-клиент, а консоль понадобится только для редактирования файла cron. Но в этом случае резервное копирование по расписанию может и не заработать, каких-то настроек для CRON будет не хватать. 

Создаём резервные копии и перемещаем на Яндекс Диск

Admin — Mon, 15 May 2017 18:13:53 +0000

Описание создания резервных копий файлов своего сайта на сервере CentOS (Linux). И дальнейшее перемещение этих backup файлов на Яндекс.Диск.

Для сохранения данных своего сайта важно вовремя делать резервные копии. Желательно копии резервных данных хранить на стороннем сервере. В данном случае мы будем сохранять резервные копии файлов на Яндекс.Диске.

Если вам не нужно создание копий, а требуется только перемещение, читайте статью: «Как перемещать резервные копии сайта на Яндекс Диск».

Первым делом, на Linux сервер устанавливаем Яндекс.Диск, который будет работать по протоколу WebDav.

Только после установки диска приступаем к настройке копирования резервных данных.

Мы будем делать и хранить копии данных своего сайта на каждый день, раз в неделю и один раз в месяц.

На Яндекс.Диске создаём папки с названием сайта. Затем внутри этой папки создаём следующие папки: day, week, month.

Те же самые действия можно проделать через командную строку.

Подключаемся к нашему серверу по протоколу SSH.

Создание папок через командную строку:

# Монтируем Яндекс Диск
mount -t davfs https://webdav.yandex.ru /mnt/yandex/
# Создаём папку с названием сайта
cd /mnt/yandex && sudo mkdir site_name.ru
# Создаём папку день, неделя, месяц
cd /mnt/yandex/site_name.ru && sudo mkdir day week month
# Отключаем Яндекс Диск
umount /mnt/yandex

Ежедневная резервная копия MySQL и одной папке

Теперь создаём папку на сервере, куда будем складывать все свои скрипты – my_scripts и первый файл скрипта backup_webdav_day.sh:

cd /
sudo mkdir my_scripts
nano /my_scripts/backup_webdav_day.sh

Скрипт будет сохранять ежедневные копии базы данных MySQL и также папку themes (шаблона сайта для WordPress). Я частенько совершенствую дизайн сайта и добавляю какие-нибудь новые элементы. И мне важно иметь копии этих данных на каждый день.

Можно папку themes поменять на любую другую. Например на папку загрузки изображений, в WordPress это папка – uploads. Если вы пишите статьи каждый день и загружаете картинки в каждую статью, то для вас может быть важным создание ежедневных резервных копий всех скриншотов на сайте.

Записываем в файл backup_webdav_day.sh следующее:

#!/bin/sh
# Текущая дата в формате год-месяц-день_часы-минуты
date_time=`date +"%Y-%m-%d_%H-%M"`
# Место размещения резервных файлов на Яндекс Диске
yandex_dir='/mnt/yandex/site_name.ru/day'
# Абсолютный путь к папке на сервере
server_dir='/home/admin/web/site_name.ru/public_html/wp-content/'
# Название директории с файлами (после абсолютного пути)
files_dir='themes'
# Данные базы MySQL
# Имя базы
bd_name='имя'
# Имя пользователя
user='имя'
# Пароль пользователя
password='пароль'
# Монтируем Яндекс Диск
mount -t davfs https://webdav.yandex.ru /mnt/yandex/
# Создаём архив
/usr/bin/tar -czvf $yandex_dir/files_$date_time.tar.gz -C $server_dir $files_dir
# Выгружаем базу данных
/usr/bin/mysqldump --opt -v --databases $bd_name -u$user -p$password | /usr/bin/gzip -c > $yandex_dir/mysql_$date_time.sql.gz
# Удаляем архивы старше 7 дней
/usr/bin/find $yandex_dir -type f -mtime +7 -exec rm {} \;
# Отключаем Яндекс Диск
umount /mnt/yandex

Можно копировать не только весь сайт целиком, но и отдельные папки. Правим пути, выбрав нужные папки, затем сохраняем скрипт.

Ручной запуск скрипта:

sh /my_scripts/backup_webdav_day.sh

Еженедельная полная резервная копия

Создаём копию для всего сайта.

Создаём файл скрипта backup_webdav_week.sh:

nano /my_scripts/backup_webdav_week.sh

Записываем в этот файл:

#!/bin/sh
# Текущая дата в формате год-месяц-день_часы-минуты
date_time=`date +"%Y-%m-%d_%H-%M"`
# Место размещения резервных файлов на Яндекс Диске
yandex_dir='/mnt/yandex/site_name.ru/week'
# Абсолютный путь к папке на сервере
server_dir='/home/admin/web/site_name.ru/'
# Название директории с файлами (после абсолютного пути)
files_dir='public_html'
# Данные базы MySQL
# Имя базы
bd_name='имя'
# Имя пользователя
user='имя'
# Пароль пользователя
password='пароль'
# Монтируем Яндекс Диск
mount -t davfs https://webdav.yandex.ru /mnt/yandex/
# Создаём архив
/usr/bin/tar -czvf $yandex_dir/files_$date_time.tar.gz -C $server_dir $files_dir
# Выгружаем базу данных
/usr/bin/mysqldump --opt -v --databases $bd_name -u$user -p$password | /usr/bin/gzip -c > $yandex_dir/mysql_$date_time.sql.gz
# Удаляем архивы старше 30 дней (будет создано не более 4 резервных копии)
/usr/bin/find $yandex_dir -type f -mtime +30 -exec rm {} \;
# Отключаем Яндекс Диск
umount /mnt/yandex

Ручной запуск скрипта:

sh /my_scripts/backup_webdav_week.sh

Ежемесячная полная резервная копия

Создаём копию для всего сайта, которая будет хранится в папке month.

Создаём файл скрипта backup_webdav_month.sh:

nano /my_scripts/backup_webdav_month.sh

Записываем в этот файл:

#!/bin/sh
# Текущая дата в формате год-месяц-день_часы-минуты
date_time=`date +"%Y-%m-%d_%H-%M"`
# Место размещения резервных файлов на Яндекс Диске
yandex_dir='/mnt/yandex/site_name.ru/month'
# Абсолютный путь к папке на сервере
server_dir='/home/admin/web/site_name.ru/'
# Название директории с файлами (после абсолютного пути)
files_dir='public_html'
# Данные базы MySQL
# Имя базы
bd_name='имя'
# Имя пользователя
user='имя'
# Пароль пользователя
password='пароль'
# Монтируем Яндекс Диск
mount -t davfs https://webdav.yandex.ru /mnt/yandex/
# Создаём архив
/usr/bin/tar -czvf $yandex_dir/files_$date_time.tar.gz -C $server_dir $files_dir
# Выгружаем базу данных
/usr/bin/mysqldump --opt -v --databases $bd_name -u$user -p$password | /usr/bin/gzip -c > $yandex_dir/mysql_$date_time.sql.gz
# Удаляем архивы старше 180 дней (будет создано не более 6 резервных копии)
/usr/bin/find $yandex_dir -type f -mtime +180 -exec rm {} \;
# Отключаем Яндекс Диск
umount /mnt/yandex

Ручной запуск скрипта:

sh /my_scripts/backup_webdav_month.sh

Ошибка line 20: /usr/bin/tar: No such file or directory

Если возникает подобная ошибка, значит tar находится в другой директории. Попробуйте изменить /usr/bin/tar на /bin/tar. И запустить скрипт ещё раз.

Добавляем задания в CRON

Открываем файл CRON

nano /etc/crontab

Добавляем данные:

# Backup to Yandex Disk
# ежедневно в 2:00
00 2 * * * root /my_scripts/backup_webdav_day.sh >/dev/null 2>&1
# еженедельно в 2:20 в понедельник
20 2 * * 1 root /my_scripts/backup_webdav_week.sh >/dev/null 2>&1
# ежемесячно в 3:00 каждого 1-го числа месяца
00 3 1 * * root /my_scripts/backup_webdav_month.sh >/dev/null 2>&1

Для работы скрипта через cron, нужно назначить правильные права доступа на файлы. Иначе будет отказано в доступе. Для этого в командной строке выполняем:

cd /my_scripts/
chmod +x backup_webdav_day.sh
chmod +x backup_webdav_week.sh
chmod +x backup_webdav_month.sh

Делаем для скриптов резервную копию

Копируем папку со скриптами в корневой каталог сайта.

Можно и вовсе не делать скрипты в корневой папке сервера, а сразу сделать скрипты в корне сайта и подцеплять их через CRON. Тогда скрипты можно создавать через FTP-клиент, а консоль понадобится только для редактирования файла cron. Но в этом случае Cron может и не заработать, каких-то настроек ему будет не хватать. 

Создаём скрипт очищающий временную папку с кэшем

При создании резервных копии содержимое остаётся в папке с кэшем /var/cache/davfs2/, что приводит к переполнению жесткого диска. Решаем эту задачу созданием специального скрипта. Подробнее в статье переполнение кэша davfs2.

Как разархивировать архив

Для восстановления резервных файлов на сервере используем рекомендациями из статьи «быстрое восстановление резервных копий на сервере Linux».

Монтирование Яндекс Диска по протоколу WebDAV (CentOS)

Admin — Mon, 15 May 2017 18:11:57 +0000

Создаём резервное копирование сервера на Яндекс Диск, по протоколу WebDAV, для операционной системы CentOS 7 x64.

Резервную копию на Яндекс Диск можно выполнить двумя способами. В предыдущей статье уже описывалось как синхронизировать backup папки на Яндекс диск с помощью консольного клиента. В этой статье будет рассказано, как делать резервные копии и перемещать их на Яндекс Диск.

Устанавливаем и настраиваем WebDAV для Яндекс.Диск

Заходим на сервер через консоль.

Устанавливаем на CentOS WebDAV:

yum install davfs2

Добавляем данные аутентификации Яндекса в специальный файл:

nano /etc/davfs2/secrets

Если возникает ошибка:

-bash: nano: command not found

Тогда устанавливаем редактор nano.

После строчки:

# https://foo.bar:333/dav otto geh\ \#\ heim

Добавляем:

https://webdav.yandex.ru логин пароль

Создаём на сервере папку Яндекса, которую будем подключать:

cd /mnt
sudo mkdir yandex
chmod 755 yandex

Монтируем Яндекс Диск:

mount -t davfs https://webdav.yandex.ru:443 /mnt/yandex

Вводим логин и пароль от Яндекса. Пароль хранится незашифрованном, чтобы не скомпроментировать свои данные, создайте отдельный пароль для приложения WebDAV.

Ввод логина и пароля может не понадобится, если вы заполнили в предыдущем действии файл /etc/davfs2/secrets.

Команда для размонтирования диска:

umount /mnt/yandex

Не будем добавлять автоматическое монтирование Яндекс Диска при каждой загрузки Linux. Это не рекомендуется делать, потому что для резервного копирования диск нужен лишь на короткое время. Вместо этого будем монтировать диск на время работы скрипта.

Ошибка can’t write entry into mtab

После монтированная часто возникает такая надпись:

/sbin/mount.davfs: Warning: can't write entry into mtab, but will mount the file system anyway

Ошибка не влияет на работу. Несмотря на это предупреждение всё прекрасно работает.

Исправление ошибок во время монтирования:

Ошибка found PID file

Ошибка can’t open fuse device

Ошибка rejected Basic challenge

Ошибка the device is found by lsof(8) or fuser(1))

Сохраняем резервные копии на Яндекс.Диск

Теперь пора заняться сохранением резервных копий сайта на Яндекс Диск. Ниже будут два варианта.

1. Перемещение и копирование резервных копий, созданных сторонними программами.
2. Перемещение и копирование резервных копий, созданных с помощью наших скриптов.
3. Раздельные резервные копии файло базы данных MySQL
4. Еще один вариант копирования файлов на яндекс-диск

Выбираете тот способ, который покажется вам удобнее или проще.

Как разархивировать архив

Если в дальнейшем потребуется восстановить резервные файлы на сервере, то воспользуйтесь рекомендациями из статьи «Как быстро восстановить резервную копию на сервере».

Ошибка found PID file

Admin — Mon, 15 May 2017 18:04:43 +0000

Сообщение found PID file может возникнуть при размонтирования дисков в системе Linux.

Разберём ошибку на примере размонтирования Яндекс.Диска из статьи «Монтирование Яндекс Диска по протоколу WebDAV (CentOS)».

Сообщение об ошибке:

mount -t davfs https://webdav.yandex.ru /mnt/yandex/
/sbin/mount.davfs: found PID file /var/run/mount.davfs/mnt-yandex.pid.
Either /mnt/yandex is used by another process,
or another mount process ended irregular

Ошибка может возникнуть, если перегрузить сервер без размонтирования Яндекс.Диска (или любого другого примонтированного диска) и затем снова запустить подключение диска по WebDav.

Для исправления надо удалить pid:

#сравнение строк
if ( (mount | grep -q yandex) );
then
#команда удаления файла
rm -f /var/run/mount.davfs/mnt-yandex.pid
#конец сравнения
fi