黄石2024-11-05 13:30:06

同学你好。对于gradient descent algorithm的概念，稍作了解即可。首先明确loss function的概念。绝大多数机器学习模型都会有一个损失函数，比方说均方误差损失函数（见图1）。这种函数其实就是用来衡量模型的精确度的。一般来说，损失函数越小，模型就越精确（如均方误差越小、模型就越精确）。想要提高机器学习模型的精确度就要尽可能降低损失函数的值。Gradient descent algorithm就是一个常用的降低损失函数的算法，我们用这个算法不断地调整weight和bias，以使损失函数越来越小。这一算法要用到loss function对于weight和bias的一阶导，通过一阶导乘以learning rate来对参数进行不断的调整、使得loss function越来越小（见图2）。