机器学习-逻辑回归

文章目录

• 简介
• 假说表示
• 逻辑函数
• 判定边界
• 代价函数
• 多类别分类：一对多

  简介

  逻辑回归是用与分类问题的 ,比如说 一个人是否 是男的,

  要么是 要么不是.

  假说表示

  这里我用 乳腺癌分类问题,我们可以用线性回归的方法求出适合数据的一条直线

  

  根据线性回归模型我们只能预测连续的值，然而对于分类问题，我们需要输出 0 或 1，我们可以预测：

  

  对于上图所示的数据，这样的一个线性模型似乎能很好地完成分类任务。假使我们又观测到一个非常大尺寸的恶性肿瘤，将其作为实例加入到我们的训练集中来，这将使得我们获得一条新的直线。

  

  这时，再使用 0.5 作为阀值来预测肿瘤是良性还是恶性便不合适了。可以看出，线性回归模型，因为其预测的值可以超越[0,1]的范围，并不适合解决这样的问题。如何解决的呢,那就是用逻辑函数.

  逻辑函数

  公式为：

  

  

  然后将之前的值当做参数传入进去 ,就成为了[0,1]之间的数据,而要是什么就成为一种概率了

  

  判定边界

  现在讲下决策边界(decision boundary)的概念。这个概念能更好地帮助我们理解逻辑回归的假设函数在计算什么.

  

  

  

  代价函数

  介绍如何拟合逻辑回归模型的参数𝜃。具体来说，我要定义用来

  拟合参数的优化目标或者叫代价函数，这便是监督学习问题中的逻辑回归模型的拟合问题。

  对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将

  

  带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数.

  

  这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。

  

  

  多类别分类：一对多

  

  我用 3 种不同的符号来代表 3 个类别，问题就是给出 3 个类型的数据集，我们如何得到一个学习算法来进行分类呢？

  现在已经知道如何进行二元分类，可以使用逻辑回归，对于直线或许你也知道，可以将数据集一分为二为正类和负类。用一对多的分类思想，我们可以将其用在多类分类问题上.