18****062022-10-01 13:11:54
18****06on going monitoring…这段能否详细解释一下，或者举个例子
回答（1）
姚奕2022-10-09 13:43:01
姚奕模型上线使用后，需要不停地对它进行监控，确保及时发现模型可能存在的问题，这就叫持续监控（ongoing monitoring），分成两个工作：
1、基准测试（benchmarking）：再找一套模型或者数据，同时跑，然后和在运行的模型进行比较，看哪个模型的效果更优。
2、持续监控：就是用系统化的方式持续监控模型的一些表现指标（比如每天监测），及时发现一些早期的问题，以作为触发全面验证的导火线。
最后一段讲到，持续监控不只是要看模型自动跑出来的结果，还要看人工对于模型结果推翻的情况，为什么不认可模型结果？推翻了多大的程度？这些都要关注和分析。
- 评论（0）
- 追问（0）
评论
0/1000
追答
0/1000
+上传图片