一、机器学习建模流程:
- 获取数据(搜集与完成机器学习任务相关的数据集)
- 数据基本处理(数据 缺失值处理,异常值处理)
- 特征工程(特征提取、特征预处理 、特征降维、特征选择 、特征组合)
- 机器学习 (模型训练)选择合适的算法对模型进行训练(有监督学习,无监督学习,半监督学习,强化学习)
- 模型评估(回归评测指标 、线性评测指标 、聚类评估指标)评估效果好上线服务,评估效果不好则重复上述步骤
二、特征工程
特征:对任务有用的信息
特征工程:利用背景知识和专业技巧处理数据,让模型效果更好
- 特征提取 —— 专家面向原始数据的提取
- 特征预处理 —— 归一化和标准化 解决量纲问题
- 特征降维 —— 维度退化:3个特征 变成两个
- 特征选择(很少做,不然说明特征提取有问题)—— 从特征提取中选择出一些重要特征训练模型
- 特征组合 —— 把多个特征合并组合成一个特征