HBase · Apache HBase 2.6
Антифрод пишет в HBase события устройств: вход, смена SIM, геолокация. Около 300 млн событий в сутки. Политика хранения — 90 дней.
Сейчас по выходным работает MapReduce-задача, которая сканирует всю таблицу и удаляет старые строки. Она идёт 14 часов и нагружает кластер.
В работе: Политики хранения данных в HBase без внешних задач очистки.
Как проверяем
Движка HBase в браузере пока нет, поэтому здесь не запрос, а выбор решения. Выберите один вариант. После ответа — почему каждый вариант верный или нет. Ответ один на подход: после него показываем разбор.
Источник: на данных банка: события устройств для антифрода. Условие пересказано своими словами.
Давали на собеседовании?
Ответов пока мало — ваш поможет.
Как удалять события старше 90 дней?
- Поставить семейству TTL => 7776000
- Поставить семейству TTL => 90
- Поставить VERSIONS => 90
- Каждый день делать major compaction вручную