强化学习1——策略，价值函数，模型 -凯发k8官方网

文章目录

• 强化学习——概述
• • 组成
  • • 策略：行为函数
    • 价值函数：状态和行为的得分
    • 模型：整个世界的表达

组成

策略：行为函数

​ 分为两种：

​ 概率型策略：从策略$\pi$中，按照概率$\pi (\mathrm{a}\mid \mathrm{s})=\mathrm{p}\left({\mathrm{a}}^{\mathrm{t}}=\mathrm{a}\mid {\mathrm{s}}^{\mathrm{t}}=\mathrm{s}\right)$采样一个a。

​ 确定型策略：从策略$\pi$中，选择一个最大概率的策略$a^{\ast }=\arg {\max }^a\pi (a\mid s)$

价值函数：状态和行为的得分

​ 已知$\pi$的时候能得到多少奖励（期望平均值）

​ 分为两种：

​ 状态价值函数：衡量一个状态的价值（其实是一个状态采取所有行为后的一个价值的期望值）

$v^{\pi }(s)\doteq {\mathbb{e}}^{\pi }\left[g^t\mid s^t=s\right]={\mathbb{e}}^{\pi }\left[{\sum }^{k=0}{\gamma }^k{r}^{tk1}\mid s^t=s\right],\text{ for all }s\in \mathcal{s}$

​ q-函数：衡量一个状态采取一个动作后的价值（是强化学习的一个目标，最高的q-函数值对应的a就是最有策略采取的动作）

$q^{\pi }(s,a)\doteq {\mathbb{e}}^{\pi }\left[g^t\mid s^t=s,a^t=a\right]={\mathbb{e}}^{\pi }\left[{\sum }^{k=0}{\gamma }^k{r}^{tk1}\mid s^t=s,a^t=a\right]$

模型：整个世界的表达

​ 预测下一个环境（世界，状态）

​ 两部分组成：

​ 1 状态s采取了一个策略a，有多少概率到达$s^{\prime }$。

​ 2 状态s采取了一个策略a，能得到多大的奖励
$$\begin{array}{rl}& \text{ predict the next state: }{\mathcal{p}}^{s{s}^{\prime }}=\mathbb{p}\left[s^{t1}=s^{\prime }\mid s^t=s,a^t=a\right]\\ & \\ & \text{ predict the next reward: }{\mathcal{r}}^s=\mathbb{e}\left[r^{t1}\mid s^t=s,a^t=a\right]\\ & \end{array}$$

总结

以上是凯发k8官方网为你收集整理的强化学习1——策略，价值函数，模型的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得凯发k8官方网网站内容还不错，欢迎将凯发k8官方网推荐给好友。