第2章 简单模型

机器学习中有各种各样的模型，这些模型让人眼花缭乱，但从本质上看，这些模型都来源于几个简单的模型，即KNN算法、线性回归、逻辑回归。KNN算法又称K近邻算法，是一种最简单的分类算法。线性回归是一种有监督的学习算法，它的自变量和因变量之间是线性相关的。逻辑回归实际上是一种二分类的学习算法，它和线性回归都属于广义线性模型，而在决策制定等领域，逻辑回归的应用更加广泛[1]。

简单模型形式简单、易于建模，蕴含着机器学习中一些重要的基本思想。将不同的改进方式融入简单模型的基本思想中，就可以得到各种各样的复杂的机器学习方法。