ES2023-02-20 14:33:48

1. The network中有三个特征:
1.1 输入变量x
1.2 隐藏层
用于计算隐藏节点处的值的公式举例如下
𝐻_1=𝜙(𝑊_111 𝑋_1+𝑊_112 𝑋_2+𝑊_113 𝑋_3+𝑊_1)
𝐻_2=𝜙(𝑊_121 𝑋_1+𝑊_122 𝑋_2+𝑊_123 𝑋_3+𝑊_2)
𝐻_3=𝜙(𝑊_131 𝑋_1+𝑊_132 𝑋_2+𝑊_133 𝑋_3+𝑊_3)
其中，The 𝑊_1, 𝑊_2, 𝑊_3 (函数中的常数项）被称为偏差，其他w称为权重。
1.3 输出变量y

2. 计算过程
2.1前向传播
(1)随机输入层的初始化值
(2)根据输入层的初始化值及函数计算隐藏层
(3)根据隐藏层的值及函数计算输出层

2.2 Backpropagation （the weights and biases如何从一个迭代更新到另一个迭代）
(1) 计算总误差
因为初始的输入值都是随机取得，所以一开始的总误差会很大，就需要更新权重
(2) 权值更新
在实践中，使用The gradient descent algorithm（梯度下降算法）以得到最小误差值，在梯度下降算法中会涉及一个The learning rate的选择，这个根据自己的需求和偏好进行设置，但是：
∙ 如果The learning rate太小，梯度下降算法将会花费很长时间
∙ 如果The learning rate太大，梯度下降的路径会发生“oscillate”
其他都是根据数学求偏导公式在代码中设置一个循环即可
(3) 重复“权值更新”这个步骤，不断更新network参数我们就能得到更准确的模型