结构:
α1=ω11x1+ω12x2+b1(第一个神经元)
α2=ω21x1+ω22x2+b2(第二个神经元)
z1=φ(α1)(非线性函数)
z2=φ(α2)(非线性函数)
y=ω1z1+ω2z2+b3(第三个神经元)
展开y=(ω1ω11+ω2ω21)x1+(ω1ω12+ω2ω22)x2+(ω1b1+ω2b2+b3)
层与层之间不加非线性函数=>多层神经网络将会退化到一个神经元的感知器模型状态。
加入非线性函数:阶跃函数
φ(x)={1(x>0); 0(x<0)
为什么?
如果非线性函数采用阶跃函数,那么三层神经网络可以模拟任何的非线性函数。