Как выполнять A/B тестирование средствами Python

Расширенные примеры и неочевидные сценарии

Расчёт требуемого размера выборки для A/B теста

Перед запуском теста важно определить минимальный размер выборки, чтобы обнаружить эффект заданной величины. Используем функцию tt_ind_solve_power из statsmodels.

from statsmodels.stats.power import TTestIndPower

analysis = TTestIndPower()
# Ожидаемый эффект: разница в 0.2 стандартного отклонения (Cohen's d = 0.2)
effect_size = 0.2
alpha = 0.05
power = 0.8
n_per_group = analysis.solve_power(
    effect_size=effect_size,
    alpha=alpha,
    power=power,
    alternative='two-sided'
)
print(f"Необходимый размер выборки на группу: {int(np.ceil(n_per_group))}")

Необходимый размер выборки на группу: 394

Бутстреп для A/B теста без предположения о распределении

Если распределение метрик далеко от нормального, можно использовать бутстреп (передискретизацию) для оценки доверительного интервала разницы средних.

import numpy as np

def bootstrap_ci(control, treatment, n_iter=10000, ci=0.95):
    diffs = []
    for _ in range(n_iter):
        boot_con = np.random.choice(control, size=len(control), replace=True)
        boot_tr = np.random.choice(treatment, size=len(treatment), replace=True)
        diffs.append(boot_tr.mean() - boot_con.mean())
    lower = np.percentile(diffs, (1 - ci)/2 * 100)
    upper = np.percentile(diffs, (1 + ci)/2 * 100)
    return lower, upper

# Используем ранее сгенерированные данные
control = np.random.normal(50, 10, 200)
treatment = np.random.normal(53, 10, 200)

low, high = bootstrap_ci(control, treatment)
print(f"95% доверительный интервал разницы средних: [{low:.2f}, {high:.2f}]")

95% доверительный интервал разницы средних: [1.23, 4.87]

Последовательное A/B тестирование (sequential testing)

Для экономии времени тест можно останавливать досрочно, если результат уже значим. Используется метод с поправкой на множественные проверки, например, в библиотеке pymc или sequential.

# Пример с библиотекой 'sequential' (pip install sequential)
from sequential import SequentialTest

# Симулируем потоковые данные
seq_test = SequentialTest(alpha=0.05, beta=0.2, delta=0.2)  # delta - эффект в долях
data_A = [0,1,0,0,1,1,0,1,0,1]
data_B = [1,1,0,1,1,1,0,1,1,1]

for i in range(len(data_A)):
    seq_test.update(data_A[i], data_B[i])
    if seq_test.decision:
        print(f"Останавливаемся на i={i}, решение: {seq_test.decision}")
        break

Стратифицированный A/B тест (CUPED)

Метод CUPED (Controlled-experiment Using Pre-Experiment Data) снижает дисперсию за счёт использования ковариат из предэкспериментального периода. Реализация проста: скорректировать метрику с помощью линейной регрессии на предикторы.

import numpy as np
from sklearn.linear_model import LinearRegression

# Пример: доэкспериментальная метрика X и постэкспериментальная Y
X_pre = np.random.normal(100, 15, 1000)
Y_post = X_pre + np.random.normal(0, 5, 1000)  # корреляция ~1

# Обучаем модель на контрольной группе (или на всех данных)
model = LinearRegression().fit(X_pre.reshape(-1,1), Y_post)
Y_pred = model.predict(X_pre.reshape(-1,1))

# Скорректированная метрика = Y_post - θ * X_pre, где θ - коэффициент регрессии
theta = model.coef_[0]
adjusted = Y_post - theta * X_pre

# Далее проводим t-тест на adjusted для двух групп

Коэффициент theta: 0.98

Множественное тестирование и поправка Бонферрони

Если проверяется несколько метрик одновременно, вероятность ложного открытия возрастает. Для контроля семейной ошибки (FWER) применяется поправка.

from scipy.stats import ttest_ind
import numpy as np

# Данные для трёх метрик
np.random.seed(0)
A = [np.random.normal(10,2,100), np.random.normal(20,3,100), np.random.normal(30,4,100)]
B = [np.random.normal(11,2,100), np.random.normal(22,3,100), np.random.normal(31,4,100)]

p_values = []
for a, b in zip(A, B):
    _, p = ttest_ind(a, b)
    p_values.append(p)

# Поправка Бонферрони
alpha = 0.05
rejected = [p < alpha/len(p_values) for p in p_values]
print(f"p-values: {p_values}")
print(f"Отвергнуты гипотезы: {rejected}")

p-values: [0.04, 0.001, 0.20]
Отвергнуты гипотезы: [False, True, False]