【西瓜书机器学习】第五章 神经网络

一起啃西瓜书(5)-神经网络《机器学习-周志华》 - 知乎 (zhihu.com)参考进行自我复习整理，侵删！

1、神经元模型

1. 神经网络定义：神经网络是由 具有适应性 的 简单单元 组成的广泛 并行互连 的网络。
2. M-P神经元模型：输入、处理、输出

        第二步超过阈值则兴奋（做出反应），否则不兴奋（没反应） ，通过f(x)阶跃函数实现，但阶跃函数不连续，使用sigmoid函数。

2、感知机

1. 组成：两层，输入层接受外界信号、输出层是“M-P神经元”。
2. 明确：输入层的神经元不是“M-P神经元”，他们没有“阈值”可言，无激活函数
3. 把阈值转换为类似权重*输入值的形式：
4. 学习规则：对于一个样例（x,y），当前感知机的输出为 𝑦^，也就是y为根据x得到的真实的y，也是我们期望感知机能得到的y，但是感知机实际输出的为 𝑦^，两者之间的差距为y- 𝑦^，为了使输出更接近，也就是使y- 𝑦^最小化，我们需要调整感知机参数（所有权重及阈值，阈值已经被转换为了权重形式），调整公式如下：

    也就是学习率越大，调整幅度越大；感知机输出与实际之间的差距越大，调整幅度越大；该神经元的输入值越大，调整幅度越大。同时我们也可以得到如下结论：

• 若感知机预测正确，不需要调整
• w向着预测正确的方向调整
• 根据错误的程度对参数进行调

       5. 可解决问题：线性可分问题。也就是在坐标系中两种类型之间可以用一条线划分开，比如与或非问题可划分如下，其中蓝色为正样本，绿色为负样本。

  

          但是异或问题至少要用两条线才可分割开，如下图所示，这也就意味着感知机无法解决该问题，需要引入两层感知机来解决。