Войти Регистрация
Data base

183. 1,2 млрд векторов не влезают в память

Средняя

Milvus · Milvus 2.6

Каталог объявлений: 1,2 млрд эмбеддингов float32 размерности 256. Сырые векторы — около 1,2 ТБ. На кластере 4 узла запросов по 512 ГБ RAM и по 4 ТБ NVMe.

Требования: p99 до 50 мс, recall@10 не ниже 0,95, бюджет на железо расти не будет.

В работе: Выбор индекса Milvus под объём данных и железо.

Как проверяем Движка Milvus в браузере пока нет, поэтому здесь не запрос, а выбор решения. Выберите один вариант. После ответа — почему каждый вариант верный или нет. Ответ один на подход: после него показываем разбор.
типы индексовDISKANNHNSWпамять

Источник: на данных маркетплейса: эмбеддинги объявлений. Условие пересказано своими словами.

Давали на собеседовании? Ответов пока мало — ваш поможет.

Какой индекс выбрать?

  • DISKANN на NVMe
  • HNSW
  • FLAT
  • IVF_PQ с m=8