UCBerkeley 深度强化学习-强化学习简介Lec4

Oriel ·

更新时间:2024-11-13

· 569 次阅读

课程内容 简介强化学习算法几种强化学习方法的比较简介 Part ♡1 MDPS
在这里插入图片描述

POMDPS（部分可观测）
在这里插入图片描述

Part ♡2

在这里插入图片描述
其中θ是策π略的参数，强化学习为了使得在当前状态st和当前选择的行为at的情况下的条件概率最大，则需要使得策略π最大，那么需要找到使得π最大的θ。

有限时间情况下

无限时间情况下

所以，在无限和有限的情况下的参数优化方式：
在这里插入图片描述

Part ♡3 强化学习关系期望！

奖励函数r(x)是非平滑的，在策略π下的奖励函数的期望是平滑的！这就是可以进行梯度下降优化的原因！
在这里插入图片描述

Part ♡4奖励函数的期望

在这里插入图片描述

Q-function
在这里插入图片描述

Value function
在这里插入图片描述

两种提高策略的思想

强化学习算法

目标函数:
在这里插入图片描述

♧Policy Gradient

直接对上面的目标函数进行微分。

♧Value-Based

在策略π没有明确给出的情况下，估计最优策略的Q或者value function，间接得到优化的policy。

♧Actor-Critic

估计当前策略的Q或者value function，对Q或者value function做梯度下降。

♧Model-Based

在这里插入图片描述

从几个方面比较不同的算法

在这里插入图片描述

☆效率 样本效率：训练多少样本可以得到一个好的策略。 off policy：用已有的样本进行训练。 on policy：一边训练，一边更新样本。
相比较而言，on policy训练过程中，采用的样本数量较大。样本效率会低。
在这里插入图片描述

执行时间（clock time）
不是样本效率越高执行时间会越少！ ☆假设

在这里插入图片描述

☆稳定性和易用性 收敛性
是否可以收敛？收敛的形式。
在这里插入图片描述

资源参考

课程官网：http://rail.eecs.berkeley.edu/deeprlcourse/
观看全部中英双语课程：https://ai.yanxishe.com/page/groupDetail/30?from=bilibili
伯克利大学 CS 294-112 《深度强化学习》为官方开源最新版本，由伯克利大学该门课程授课讲师 Sergey Levine 授权 AI 研习社翻译。添加字幕君微信：leiphonefansub 拉你入学习小组。更多经典课程在 ai.yanxishe.com
感谢字幕组的翻译！

作者：pycolar

化学强化学习学习

1024 个赞