Пройдите шаги: уточните требования, оцените нагрузку, выберите решения, нарисуйте схему.
Сотни сервисов маркетплейса — корзина, оплата, склады, пункты выдачи — пишут логи в JSON: время, сервис, уровень, trace_id, текст.
Для расчёта: в среднем 1 млн строк в секунду, в пик распродажи вдвое больше, средняя строка 500 байт. Горячие логи нужны 14 дней, дальше — дешёвое хранение до 90 дней по требованию безопасности.
Типичный запрос дежурного: «все строки с trace_id = 7f3a… за последний час» или «ошибки сервиса оплаты за 15 минут, сгруппировать по тексту». Ответ нужен за 1–5 секунд.
В работе: Логи открывают первыми, когда у покупателей не проходит оплата или в ПВЗ не находится заказ.
Источник: на задачах Wildberries: эксплуатация сервисов маркетплейса. Условие пересказано своими словами.
- Уточнить требования — Что выяснить до схемы?
- Оценить объёмы
- Хранилище — Где хранить горячие логи?
- Приём — Как доставлять логи от сервисов до хранилища?
- Схема — Опишите путь строки лога от сервиса до экрана дежурного.