老师，temporal difference的这里面并没有提及是在哪一个ACTION. 而且认为S1 是开始点，需要转移到S2去。那么old is s1 and new is s2. and 0.7是怎么被选择到的，毕竟我们知道这里并没有受是哪一个action. 公式的下标，t and t+1 都是什么意思啊。里面还有一个gamma，是什么意思？麻烦老师了。感谢。



你还未登录〜

天堂之歌

听歌而来，送我踏青云〜

0元

充值
0橙宝

充值

首页
版块大全

财经学院

CFA FRM CFRM 量化投资

从业资格

证券从业银行从业

会计学院

CPA 会计职称 ACCA CMA 财会求职灌水闲聊

金程考研

公共课 199管综 396经综金融学硕金融专硕经济学硕士会计硕士考研院校考研就业

投资理财

RFP

金融杂谈

金融动态金融八卦吐槽专区

求职招聘

职业发展金融求职职场经验职场修养

研招信息

专业院校热点资讯考研交流考研经验

考研科目

专业课公共课 199管理类联考 396经济类联考

生活日常

运动音乐电影美食交友租房

个人发展
论坛

您现在的坐在位置：首页>智汇问答>FRM一级

❤️智慧2024-08-08 10:17:38

老师，temporal difference的这里面并没有提及是在哪一个ACTION. 而且认为S1 是开始点，需要转移到S2去。那么old is s1 and new is s2. and 0.7是怎么被选择到的，毕竟我们知道这里并没有受是哪一个action. 公式的下标，t and t+1 都是什么意思啊。里面还有一个gamma，是什么意思？麻烦老师了。感谢。

查看试题

回答（1）

黄石2024-08-09 09:53:16

同学你好。当前我们要update Q(2,2)，根据题目信息，对于temporal difference method，已知the next decision on the trial is when the learning agent is on S1 —— 我们需要从S1的两个action中选择一个能够最大化Q-value的，所以我们选择Action 1，对应Q-value = 0.7。公式的下标t就是当前，t + 1就是做出下一次决策的时点。gamma是一个折现率的概念，因为Q(St + 1,A)发生在未来。