通常在比较两个不同的方案对数据的影响时，我们会各拿50%的数据去进行对照试验，这样观测到的结果会最大程度地保留统计学上的特点。但实际上，并不是所有对比不同方案都要这样做，一来，我们需要等到两组实验都完全结束后，才能知道结果如何，等待时间周期较长；二来，在很多场景中，差的方案会在落地测试时不可避免地对用户造成不好的体验。

        后者对应的一般是在用户的实时反馈和广告的点击率上，那么这种情况，我们会采用动态规划的方式，随着实验的进行，不断地减少差方案的数据，通过这种迭代的方式来降低额外的损失，从而实现快速地聚焦到优质方案。当然，这样做会在一定程度上破坏数据的分布，统计显著性会减弱。

以下是一个例子：        

library(bayesAB)
# 生成模拟数据集：3个广告版本（A/B/C）的点击率
# 生成模拟数据集：每天随机选一个广告测试
set.seed(123)
n_days <- 25  # 测试5天
true_rates <- c(A = 0.1, B = 0.15, C = 0.2)  # 真实点击率generate_data <- function(day) {chosen_ad <- sample(c("A", "B", "C"), 1)  # 每天随机选一个广告impressions <- sample(100:500, 1)clicks <- rbinom(1, size = impressions, prob = true_rates[chosen_ad])data.frame(day = day,ad_version = chosen_ad,impressions = impressions,clicks = clicks)
}ad_data <- do.call(rbind, lapply(1:n_days, generate_data))
head(ad_data)# 多臂老虎机算法（Epsilon-Greedy）
run_bandit <- function(data, epsilon = 0.1) {total_rewards <- c(A = 0, B = 0, C = 0)total_trials <- c(A = 0, B = 0, C = 0)choices <- character(n_days)for (day in 1:n_days) {day_data <- subset(data, day == day)if (nrow(day_data) == 0) nextif (runif(1) < epsilon) {chosen_ad <- sample(day_data$ad_version, 1)  # 从当天实际广告中随机选} else {ctr <- ifelse(total_trials > 0, total_rewards / total_trials, 0)chosen_ad <- names(which.max(ctr))}# 只取第一个匹配项（避免多行问题）ad_data <- subset(day_data, ad_version == chosen_ad)[1, ]if (!is.na(ad_data$ad_version)) {total_rewards[chosen_ad] <- total_rewards[chosen_ad] + ad_data$clickstotal_trials[chosen_ad] <- total_trials[chosen_ad] + ad_data$impressionschoices[day] <- chosen_ad}}prop.table(table(choices[choices != ""]))
}result <- run_bandit(ad_data)
print(paste("最终选择比例:", round(result * 100, 1), "%"))

输出：

[1] "最终选择比例: 24 %" "最终选择比例: 76 %"

结果显示，在25天的模拟中，多臂老虎机算法最终分配了24%的流量给某个广告版本（可能是A或B），76%给另一个版本，符合原理的表现，同时24%的数据给另一个方案则保留了可能万一真的忽略了潜在方案的可能。