Почему сайт «падает» ночью и как узнать об этом первым

Сайт лёг в два часа ночи, а узнали вы об этом в девять утра — из сообщения клиента. Семь часов недоступности, которых могло не быть.

Почему именно ночью

Ночью запускаются тяжёлые задачи: резервное копирование, обновления, пересчёт отчётов, очистка логов. Они съедают память и диск, а рядом никого нет. Плюс — именно ночью идёт основной поток автоматических атак и переборов паролей: время, когда за сервером не следят.

Пять типичных причин

1. Закончилось место на диске. Логи и копии росли месяцами, ночью очередной бэкап добил последние гигабайты — база данных перестала писать, сайт отдаёт ошибку.
2. Кончилась память. Ночной процесс (индексация, отчёт, обновление) занял всю память, система «убила» веб-сервер или базу.
3. Истёк SSL-сертификат. Ровно в полночь. Браузеры показывают предупреждение, клиенты уходят.
4. Обновление, которое что-то сломало. Автоматическое обновление системы перезапустило сервер, а сервис после перезагрузки не поднялся.
5. Атака. Перебор паролей по RDP или SSH, который нагрузил сервер так, что он перестал отвечать.

Почему узнают утром

Потому что никто не смотрит на сервер ночью — и не должен. Смотреть должна программа: проверять сайт каждую минуту, следить за диском, памятью и сервисами и будить человека, только когда что-то действительно сломалось.

Что должен делать мониторинг

• Проверять доступность сайта из нескольких точек и время ответа.
• Предупреждать о заполнении диска заранее — при 80 %, а не при 100 %.
• Следить за памятью, процессором и ключевыми процессами: веб-сервер, база, 1С.
• Напоминать об истекающих сертификатах и доменах за две недели.
• Присылать уведомление в Telegram — туда, где его точно увидят.

Уведомление — половина дела

Узнать в три ночи, что сайт лежит, — уже лучше, чем в девять утра. Но кто-то должен встать и починить. В тарифе с приоритетной реакцией на сбои уведомление получает и наш инженер: он перезапускает упавший сервис, освобождает диск и затем пишет, что случилось и как избежать повторения.

Сколько это стоит

Мониторинг сайта — 1 000 сум в день, сервера — 2 000, с приоритетной реакцией инженера на сбои — 5 000 сум в день. Для сравнения: ночь недоступности интернет-магазина стоит заказов, а недоступность 1С утром — часа работы всей бухгалтерии.