Диагностика по алерту

Краткое описание

Алерты на живом сервисе требуют вручную собирать логи, искать изменения и воспроизводить ошибку, поэтому часть сигналов остаётся без разбора.

Результат

Дежурный агент read-only собирает улики, воспроизводит проблему в песочнице и готовит минимальный патч с тестами, доказательствами и откатом.

Ход автоматизации

Триггер

Мониторинг создал новый алерт, не закрытый известным правилом

Шаги автоматизации

1. Классифицирует риск и останавливается на биллинге, auth или потере данных
2. Собирает связанные логи, метрики и недавние изменения только на чтение
3. Воспроизводит сбой в изолированной песочнице
4. Готовит минимальный патч, таргетные тесты и пакет доказательств
5. Передаёт изменение человеку и наблюдает метрику после одобренного выпуска

Проверка человеком

Агент не мержит и не деплоит; инциденты с деньгами, доступом, удалением или персональными данными сразу передаются человеку без попытки исправления.

Результат

Дежурный агент read-only собирает улики, воспроизводит проблему в песочнице и готовит минимальный патч с тестами, доказательствами и откатом.

Применение

Когда использовать

У сервиса уже есть логи и алерты, но ручной triage слишком дорог и к владельцу лучше приносить готовый диагноз с проверяемым патчем.

Проверка

На историческом инциденте воспроизведение и root cause верны, патч минимален, тест ломается до исправления и проходит после, а автоматического merge нет.

Инструменты

Детали рецепта