统计学习及监督学习概论
统计学习
统计学习的分类
基本分类
按模型分类
按算法分类
按技巧分类
统计学习方法三要素
方法 = 模型 + 策略 + 算法
模型
在监督学习过程中,模型就是所要学习的条件概率分布或决策函数
策略
策略的目的是按照什么样的准则学习或选择最优模型。损失函数 和 风险函数,损失函数用来度量模型一次预测的好坏,风险函数用来度量平均意义下模型预测的好坏。
算法
算法是指学习模型的具体计算方法。统计学习基于训练数据集,根据学习策略,从假设空间中选取最优模型,最后需要考虑用什么样的计算方法求解最优模型
统计学习问题归结为最优化问题,统计学习的算法成为求解最优化问题的算法。那如何保证找到全局最优解,并使求解过程高效就成为了一个很重要的问题。