HBase · Apache HBase 2.6
Витрина признаков объявлений пересчитывается в Spark каждую ночь: 2 млрд строк, около 600 ГБ. Загрузка в новую таблицу HBase через Put идёт 7 часов, окно — 3 часа, днём на таблицу идёт чтение моделей ранжирования.
Таблица создаётся с одним регионом, ключ — хеш от item_id.
В работе: Регулярная массовая загрузка в HBase из Hadoop или Spark.
Как проверяем
Движка HBase в браузере пока нет, поэтому здесь не запрос, а выбор решения. Выберите все верные варианты (одна лишняя отметка допустима). После ответа — почему каждый вариант верный или нет. Ответ один на подход: после него показываем разбор.
Источник: на данных маркетплейса: витрина признаков товаров. Условие пересказано своими словами.
Давали на собеседовании?
Ответов пока мало — ваш поможет.
Что ускорит загрузку? Отметьте все верные варианты.
- Генерировать HFile в Spark и загрузить их bulk load
- Предразбить таблицу по диапазонам хеша, например на 200 регионов
- Писать Put с SKIP_WAL
- Поднять hbase.hregion.max.filesize до 500 ГБ, чтобы регионы не делились во время загрузки