一种广义的线性回归分析模型-逻辑回归.doc

一种广义的线性回归分析模型:逻辑回归逻辑回归又称逻辑回归分析，是一种广义的线性回归分析模型，常用于数据挖掘、疾病自动诊断、经济预测等领域。逻辑回归是始于输出结果为实际意义的连续值的线性回归，因此与多重性线性回归分析有很多的相同之处。逻辑回归模型逻辑回归是一种极易理解的模型，就相当于y=f(x),表明自变量x与因变量y的关系。最常见的问题如：医生治病时的望闻问切，之后判断病人是否生病或生了什么病，其中的望闻问切就是获取自变量x，即特征数据，判断是否生病就相当于获取因变量y，及预测分类。图1 线性回归示例最简单的回归就是线性回归，借用Andrew NG的讲义来说，如图1.a所示，x为数据点-肿瘤的大小，y为观测值-是否有恶性肿瘤。通过构建线性回归模型，如h(x)所示，构建线性回归模型后，既可以根据肿瘤大小，预测是否为恶性肿瘤h(x)0.5为恶性，h(x)0.5为良性。同时线性回归的鲁棒性很差，例如在图1.b的数据集上建立回归，因最右边噪点的存在，使回归模型在训练集上表现都很差。这主要是由于线性回归在整个实数域内敏感度一致，而分类范围，需要在0,1。逻辑回归就是一种减少预测范围，将预测值限定为0,1间的一种回归模型，其回归方程与回归曲线如图2所示。逻辑曲线在z=0时，十分敏感，在z0或z0处，都不敏感，将预测值限定为(0,1)。图2 逻辑方程与逻辑曲线逻辑回归其实仅为在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，逻辑回归成为了机器学习领域一颗耀眼的明星，更是计算