模型调参

手工超参数微调

• 以一个好的baseline开始，即：在一些高质量的工具包中的默认设置，论文中的值
• 调一个值，重新训练这个模型来观察变化
• 重复很多次获得对以下的insight：
  1、哪个超参数重要
  2、模型对超参数的敏感度是怎样的
  3、哪一片range是好的

自动调节超参数

Automated Machine Learning（AutoML）

• 在应用机器学习解决真实世界问题的时候自动化每一个步骤：数据清洗，特征提取，模型选择…
• 超参数优化（Hyperparameter optimization，HPO）
  通过搜索算法找到一组好的超参数
• 神经结构搜索（Neural architecture search，NAS）
  构建一个好的神经网络模型

超参数优化

搜索空间

• 每个超参数特定的区间
  

HPO算法：Black-box、Multi-fidelity

• Black-box：将HPO中每一次的训练当成一个黑盒
  每一次完成整个训练过程
• Multi-fidelity：修改训练工作来加速搜索
  1、在下采样的数据上进行训练
  2、减少模型size（减少layer、channel）
  3、提早停止不好的配置

两个最常见的HPO策略

• Grid search
  评价所有组合
  保证最好的结果
  维度诅咒

for config in search_space:train_and_eval(config)
return best_result

• Random search随机搜索

for _ in range(n):config = random_select(search_space)train_and_eval(config)
return best_result

贝叶斯优化（Bayesian Optimization，BO）

• BO：从HP（超参数）到目标函数中学一个函数
  根据之前的实验，根据目前的估计选择下一次的实验参数
• Surrogate model
  评估目标函数怎样依赖HP
  可能的回归模型：随机森林，高斯过程
• Acquisition function（获取函数）
  获取值 高，意味着 不确定性和预测的目标值 高
  根据获取函数采样下一轮的超参数
  权衡exploration和exploitation
• BO的局限
  最开始类似于随即搜索
  优化过程是时序的

Successive Halving

• 随机选择n个超参数，训练m个epoch
• 重复直到只有一个参数留下：
  保留最好的n/2个参数，再训练m次
  保留最好的n/4个参数，再训练2m次
  …
• n和m的选择是基于训练预算和一个完整训练需要的epoch

Hyperband

• 在Successive Halving中：
  n：exploration
  m：exploitation
• Hyperband运行多次Successive Halving，每次将n变小，将m变大