物理AI实验室 // 第 1.7 集 // 小测
强化学习：在试错中变强
不给示范，只给奖励，让它自己试出来
01
有人说：“强化学习就是先给机器人看很多示范，再给每一次动作打分。”这句话错在哪？
打分说错了，强化学习根本不用奖励
没有错，强化学习就是模仿再加打分
打分说错了，只能在一局最后打一次分
示范说错了，它不给示范，靠奖励试错
02
一局里，机器人前几步离杯子越来越近，各得了一点分，最后却碰倒了水瓶，被扣了大分。它学习时看重的应该是？
第一步动作拿到的那一点分
这一整局奖励加起来的总分
离杯子最近那一步拿到的分
只看最后那一下被扣的分
03
一个团队打算让一台真机器人从零开始试错学走路。按片中说法，最可能给他们什么建议？
先录好示范再试，不然根本学不会
只要奖励写对，真机上试几次就够了
先在仿真里让很多分身并行试
换上更结实的电机，摔多少次都不怕
04
训练中的回报曲线涨到一半就不动了，回放里策略总用同一个还算稳的动作。最该先检查哪一点？
探索够不够：是否老用最稳的
奖励项写得太多，应该全部删掉
并行分身开得太多，应该减到一个
曲线不涨了，说明已经学到最好
05
奖励只看“杯子动了没有”。回放里，机器人一巴掌把杯子扫到了桌下，分数却很高。这说明什么？
策略学得很好，只是动作猛了点
奖励写歪了，它在钻空子
仿真和真实之间的差距太大
试错的次数还远远不够多
看答案