方法:过滤器:根据特征的统计信息选择最优特征
包装器:通过不断试错,找出一个可以产生高质量预测值的模型的特征子集
嵌入式:将选择最优特征子集作为机器学习算法训练过程的一部分
线性回归模型(Linear Regression),因为结构简单,可解释性好,实现简单,在工程领域得到广泛应用。
线性回归模型是机器学习世界的"Hello World!"。完整、全面地掌握线性回归模型,有助于你打通机器学习的任督二脉。
在线性回归基础上演化发展了逻辑回归(LR)、因子分解机(FM)等,而且深度学习的CNN、RNN、Attention机制都有线性回归的思想的影子。
本文以PPT的形式,首先回顾什么是线性,什么是回归等线性回归基础知识;接着,介绍线性回归模型的原理、损失函数、训练;然后,介绍线性回归模型的Python、Sklearn、TensorFlow的实现;最后,对线性回归模型进行总结,指出其价值,优缺点和演化。本文目录如下:
4、线性回归模型损失函数
1、线性回归的Python实现
LR是线性回归,还是是逻辑回归
线性回归模型公式如下:
4、线性回归模型损失函数
怎样对线性回归模型的参数进行训练?
线性回归模型的梯度下降训练如下:
线性回归模型的梯度下降训练迭代公式很简洁,记住它。
为了全面、完整的说明线性回归模型的应用,特举3个例子(视角)如下:
1、线性回归的Python实现
线性回归的Python的实现代码如下:
输入特征:TV、Radio、Newspaper(电视、广播、报纸广告投入)
输出特征:Sales(销售额)
训练代码、训练结果如下:
线性回归的Sklearn的实现代码如下:
# 任务:广告和销售预估
# 划分训练集和测试集
# 画图描述真实值和预测值的变化关系
1、线性回归模型的价值
2、线性回归模型的优缺点
3、线性回归模型的演化
线性回归模型的各特征是相互独立的,若特征两两关联就变成因子分解机模型(Factorization Machines Model,简称FM)。
线性回归模型也是机器学习、深度学习的的根基模型。
很多的机器学习、深度学习模型和技巧都是从简单的线性回归模型演化而来,因此弄清楚线性模型的原理和局限非常重要。
1、陈希孺,概率论与数理统计[M],中国科学技术大学出版社,2009.02
2、线性回归与梯度下降算法,
身份认证 购VIP最低享 7 折!
线性回归 在python中实现线性回归模型