黄石2024-08-08 10:22:29

同学你好。首先明确loss function的概念。绝大多数机器学习模型都会有一个损失函数，比方说均方误差损失函数（见图1）。这种函数其实就是用来衡量模型的精确度的。一般来说，损失函数越小，模型就越精确（如均方误差越小、模型就越精确）。想要提高机器学习模型的精确度就要尽可能降低损失函数的值。Gradient descent algorithm就是一个常用的降低损失函数的算法，我们用这个算法不断地调整weight和bias，以使损失函数越来越小。这一算法要用到loss function对于weight和bias的一阶导，通过一阶导乘以learning rate来对参数进行不断的调整、使得loss function越来越小（见图2）。learning rate减小能解决loss function converges to different values的问题，这主要是因为loss function通常比较复杂，可能是非常弯弯绕绕的曲线，这种情况下就会有很多所谓的local minima（局部最小）的情形。如果我们learning rate太大，每次对于parameter的调整太多，很有可能导致loss function在最小化的过程中发生偏离。同学可以看一下https://blog.csdn.net/iqdutao/article/details/107174240这篇文章中下山的例子，可以很好地帮助理解。