Пройдите шаги: уточните требования, оцените нагрузку, выберите решения, нарисуйте схему.
Команда хочет проверить, станет ли больше контактов с продавцом, если кнопка «Позвонить» будет над фото, а не под ним. Платформа делит людей на группы, собирает события и считает метрики.
Для расчёта: 20 млн человек в день, каждый оставляет в среднем 150 событий (просмотры, поиски, клики). Одновременно идут 300 экспериментов от десятков команд.
Сейчас каждая команда считает конверсию в контакт своим SQL, и два аналитика получают разные цифры для одного теста.
В работе: Через A/B-платформу проходит почти каждое изменение продукта: новая кнопка звонка, порядок выдачи, цена платного продвижения.
Источник: на задачах Авито: эксперименты продуктовых команд. Условие пересказано своими словами.
- Уточнить требования — Что выяснить до схемы?
- Оценить нагрузку
- Разбиение на группы — Как назначать человеку группу эксперимента?
- Расчёт метрик — Как добиться, чтобы конверсию для одного теста все считали одинаково?
- Схема — Опишите конфиг экспериментов, путь события и расчёт результата.