护肘厂家
免费服务热线

Free service

hotline

010-00000000
护肘厂家
热门搜索:
技术资讯
当前位置:首页 > 技术资讯

南京大学俞扬博士强化学习前沿下_[#第一枪]

发布时间:2021-06-07 16:40:47 阅读: 来源:护肘厂家

雷锋网[AI科技评论]按:本文根据俞扬博士在中国人工智能学会AIDL第二期人工智能前沿讲习班"机器学习前沿"所作报告《强化学习前沿》编辑整理而来,雷锋网在未改变原意的基础上略作了删减,并经俞扬博士指正确认,特此感谢。全文分为上下两篇,本文为下篇。

上篇传送门:《南京大学俞扬博士:强化学习前沿(上)》

俞扬博士、副教授,主要研究领域为人工智能、机器学习、演化计算。分别于2004年和2011年获得南京大学计算机科学与技术系学士学位和博士学位。

2011年8月加入南京大学计算机科学与技术系、机器学习与数据挖掘研究所(LAMDA)从事教学与科研工作。曾获2013年全国优秀博士学位论文奖、2011年中国计算机学会优秀博士学位论文奖。发表论文40余篇,包括多篇Artificial Intelligence、IJCAI、AAAI、NIPS、KDD等国际一流期刊和会议上,研究成果获得IDEAL'16、GECCO'11、PAKDD'08最佳论文奖,以及PAKDD’06数据挖掘竞赛冠军等。

任《Frontiers of Computer Science》青年副编辑,任人工智能领域国际顶级会议IJCAI’15/17高级程序委员、IJCAI'16/17 Publicity Chair、ICDM'16 Publicity Chair、ACML'16 Workshop Chair。指导的学生获天猫“双十一”推荐大赛百万大奖、Google奖学金等。

在此列出俞扬老师讲课目录,以供读者参考:

一、介绍(Introduction)

二、马尔可夫决策过程(Markov Decision Process)

三、从马尔可夫决策过程到强化学习(from Markov Decision Process to Reinforce Learning)

四、值函数估计(Value function approximation)

五、策略搜索(Policy Search)

六、游戏中的强化学习(Reinforcement Learning in Games)

七、强化学习总结

八、强化学习资源推荐

上篇介绍了前两个小节的内容,以下为下篇内容:

三、从马尔可夫决策过程到强化学习

在强化学习任务中,奖赏和转移都是未知的,需要通过学习得出。具体解决办法有两个:

一种是还原出奖赏函数和转移函数。首先把MDP还原出来,然后再在MDP上解这个策略,这类方法称为有模型(Model-Based)方法,这里的模型指的是MDP。

还有一类和它相对应的方法,免模型(Model-Free)法,即不还原奖赏和转移。

基于模型的方法

在这类方法中,智能体会维护Model(即MDP),然后从Model中求解策略。

从随机策略开始,把策略放到环境中运行,从运行的序列数据中把MDP恢复出来。因为序列数据可以提供环境转移和奖赏的监督信息,简单的做一个回归,就能知道一个状态做了一个动作下面会转移到哪儿,以及能得到的奖赏是多少。

这里有一个非常简单的环境探索方法——RMax,它用了计数这个非常简单的回归模型。

虽然看起来很简单,但是还原MDP的样本复杂度是状态数的平方,远高于前面说到的求解策略的复杂度。从这里可以看出学习MDP的复杂度极高,所以大量的研究工作都集中在免模型学习上。

免模型学习

免模型学习简单介绍两种方法。一种叫做蒙特卡罗采样方法(Monte-Carlo method),一种是时序差分法(Temporal difference method)

蒙特卡罗采样方法介绍(Monte-Carlo method)

免模型学习和之前讲到的策略迭代的思路很像,首先,评估当前策略怎么样;第二,提高当前策略。

第一步 评估策略

在MDP里评估策略的时候,由于奖赏和转移都是知道的,所以可以直接用这两个函数算评估值。现在这两个函数都不知道,那怎么办呢?

这个Q值函数实际上是个期望,所以直接用采样来替代期望就可以了。换句话说,就是拿该策略在环境里面去跑,看跑出来什么结果。

比如跑了之后我得到一条轨迹:先是出太阳,接着是多云,最后是出太阳;再跑第二次得到一条轨迹,再跑第三次又得到一个轨迹。最后得到很多轨迹。我知道每条轨迹的奖赏是多少,然后把这些轨迹的奖赏平均起来,作为这个策略的值函数的估计,用频率来逼近期望。

第二步 更新/提高策略

如此一来,我们就可以去评价一个策略的好坏。评价完一个策略以后,就可以和刚才一样,取Q值函数指示最好的动作作为新的策略,更新过程是一样的。

整个算法写出来比较简单。我们要做m次采样,每一次都把当前的策略拿到环境里面运行,然后会得到一个序列,根据序列让奖赏求和,然后更新Q值,这个Q值就是历史上采样的均值,c是计数。

在一条轨迹下来以后,更新Q值后,做第二条轨迹,这样就做到了不依赖MDP模型的强化学习方法。

然而该方法缺乏环境探索,难以更新策略

但是,这个有一个问题——如果得到了确定性策略,那么有可能采100个样本出来的轨迹都是一样的,导致无法评估策略在所有状态上的表现,所以无法提高策略。这里的关键在于它缺乏对环境的探索。

如何探索环境,以获得最大回报?

怎么探索?我们可以考虑一个最简单的强化学习问题:一个状态,两个动作,一个动作的回报高一点,一个动作回报低一点,但是这两个回报来自于两个分布。这个时候你选哪个动作,或者你怎么做能收到最大的回报?这其实就是bandit模型。

一个极端是,尝试100次,每个动作做50次,这个时候我可能知道哪个动作比较好,但是拿到的回报可能不是最高的,因为可能做10次以后,就已经知道第一个动作的回报要高一点了,如果剩下的投资还是均匀分布的话,就得不到最大回报。

另一个极端是,两个动作各试一次,看哪个回报高,剩下的98次全部投到最高的回报去。这个方法也不好,因为只试了1次,估计的回报很不稳定。

第一种情况是要有足够多的探索(即exploration),第二种情况是不需要过多的探索而有更好的投资(即exploitation),我们要在这两点之间找到平衡。

解决这个问题有多种方法。第简单的方法是,以1-ε的概率,现在看好哪个,就去投资它,剩下的ε概率就完全随机,每个动作都去尝试。这个方法称为ε-greedy。

该方法可以保证所有状态都有一定的概率,哪怕是很小的概率,被访问到。所以当运行一段时间以后,它能够找到最优的策略。

但这个方法也有缺点,就是必须要指定一个ε值。通常这个值应当不断衰减,直到收敛到一个比较好的结果。还有一个效率问题,比如A动作尝试了10次以后,平均回报是1万,B动作尝试了10次以后是0.1,这个时候就已经没有必要尝试下去了,因为距离非常远。但是ε-greedy的探索不会停下来,所以有了其他的方法,比如softmax——它会考虑到Q值本身,如果两个动作的值差别很大,探索的概率就很小。另一个在理论上比较漂亮的方法是UCB(Upper Confidence Bound):

第一,考虑了Q值。如果Q值本身差距比较大,探索的可能性就很小;

第二,考虑了探索次数。如果探索次数很少,可能它的置信度就比较低,如果探索的次数较多,置信度就会比较高。

所以,按照Q值加上置信度的上界来选择动作,它就会自动平衡。

不过,最常用的还是第一种ε-greedy方法。给出一个策略π以后,把它变成探索的策略,即随机挑选一个动作,把这个带探索的策略放到蒙特卡罗的算法里面。并且,这个轨迹并不是从π中产生的,而是从带探索的πε中产生的,这就能保证策略可以不断更新了。

下面介绍On/Off Policy:学习带探索/不带探索的策略。

大家可能常听On/Off Policy策略这个词。

在蒙特卡洛采样中使用了πε策略来采样,学的并不是π,是带探索的πε。因为用来评估的数据,是从带探索的策略产出来的,而不是从我们想要学的策略上产生出来的。这个区别会导致把探索也作为策略的一部。这种采样与更新的策略是一样的算法叫做On Policy。

但很多时候,我们想学的实际是不带探索的策略,也就是说要从带探索的策略中采样,但更新的只是策略本身,即Off Policy。这里面临一个问题就是,采样并不来自于当前的策略,常用的重要性采样(Importance Sampling)技术通过修改采样的分布,改成想要的样子。可以通过加权重这个简单的方法,修改策略的分布,然把这个分布加到具体算法里面去。也就是把奖赏加了一个权重,这样的算法就变成一个Off Policy的算法,这样它学习的就是π自己了。

蒙特卡洛算法总结

总体来说,蒙特卡洛的算法不是一个效率很高的算法,但是能够展现免模型类算法的特性。

我们要做这个策略的评估,然后做完评估以后找到一个改进的方向,就可以改进这个算法了;这里,为了使策略能够有效更新,需要引入对环境的探索;而对环境的探索里面,要注意On/Off Policy这么两个概念。

另外,蒙特卡洛的算法有一个很显然的缺陷:一定要拿到整个轨迹以后,才能更新模型。

时序差分(Temporal difference method)

那能不能每走一步都更新模型呢?蒙特卡洛算法里面有一个性质——即更新Q值的时候,实际上是在更新均值。

更新均值还可以写成:μt= μt-1+ α(xt_ μt-1),意思是刚才我们更新的是Q值(算式如下图显示),其中R ? Q(st, at)叫做蒙特卡罗误差。我们知道,Q是对奖赏的一个估计,R是是采完这个轨迹以后得到的真实的奖赏。换句话说,Q值d饿更新就是加上就是真实值和估计值的差别,即蒙特卡罗误差。

在TD算法里,我们走了一步得到了一步真实的奖赏,再往后走还没走,所以不知道后面真实的奖赏是多少,但可以通过之前的Q值来估计之后的奖赏,这两个加起来就是当前知道的信息,用它来替代这个R,来减去老的预估值,我们称这个过程为时序差分。

如果用蒙特卡罗的话,需要先走到底,知道总体的结果之后,每一步的差别就能算出来;而对于TDL来说,只需要记录一步的信息,所以可以在线更新自己。

SARSA

动态规划记录的是所有状态上面的信息。而把刚才的蒙特卡罗的error换成了TD errpr,就可以得到新的TD方法的强化学习方法。这个方法就不是采集整个轨迹了,而是根据探索的策略,用TDL来更新Q值,每走一步就更新一下对当前策略的评判,然后再更新策略。这个算法叫做SARSA,属于On Policy,而变成Off Policy的策略,只修改一处,用非探索策略来计算TD error,就得到Q-Learning算法。

SARSA v.s. Q-learning

这是一个爬格子的问题,是典型的经典强化学习问题。

动作是上下左右的走,每走一步就会有一个-1的奖赏。从初始状态走到最终的状态,要走最短的路才能使奖赏最大。图中有一个悬崖,一旦走到悬崖奖赏会极小,而且还要再退回这个初始状态。

在这里用On PolicySARSA会有一定的概率去探索,也就有可能会掉到这个悬崖下面去,所以奖赏就会比较小;而用Q Learning,因为最后的策略是不带任何探索的,没有任何的随机性,所以路径最短。

这就是两类强化学习算法的区别。你在学习过程中可以看到,Q Learning的值较低,这是因为学习的时候一定要带探索的学习,所以你训练的过程中一定是不断的去训练。

另外,前面讲的TD误差更新是走一步后的更新,实际上还可以做两步的更新、走N步的更新,都是可以的。所以有一种方法就是做很多步的,按照一个概率加权把它综合起来,综合起来以后到一个叫做λ—return,就是走一步、走两步和走多步的TD。

四、值函数估计(Value function approximation)

刚才讲的所有问题,前提是都能用表格表示。但是很多真实环境是无法用表格表示的。所以在强化学习发展的早期,一直没办法用在大规模的真实问题上去。后来大家就想,怎么把这个强化学习放在一个连续状态空间去,甚至说放在动作也是连续的情景中,比如控制一架直升机的。

大家可能觉得强化学习的学习过程和监督学习之间的差别比较大,算法、模型好像都完全不一样。但进入连续状态空间以后,两者就会出现很多相似的地方。

离散状态下可以用表格来表示值函数或策略;但进入连续状态空间就要用一个函数的近似来表示,这个方法叫做值函数近似。

比如,我们可以用一个线性函数来表示,V值是表示状态s下面的一个值,状态s先有一个特征的向量φ(s),这个V值表达出来就是一个线性的参数乘以特征的内积。Q值里面有一个动作,假设这个动作是离散的,一种方式是把这个动作和状态放在一起变成一个特征,另一种方法是给每一个动作单独做一个模型。

当遇到连续空间的问题时,用近似来表示值函数V和Q,这个做法看起来很自然,但是近似以后会发现,以往很多的理论结果就不成立了。

但我们现在先不管那些问题,先看做了近似以后怎么来学?我们想知道的是,这里的Q值,是希望Q值近似以后,够尽量逼近真实的Q值。如果已经知道真实的Q值,怎么逼近呢?最简单的方法就是做一个最小二乘回归。其中一种解法是求导。求导以后,导数表示为,真实的Q和估计的Q的差值,然后再乘对Q值模型的导。可以看到,导数表达的含义与之前的模特卡罗误差、TD误差是一致的,只不过更新的是参数w。把这种更新方式套进Q learning里,其他地方都没有变,只得到了用值函数逼近的Q-Learning方法。

这个模型用什么函数呢?最简单就是用线性函数。但是线性函数有很多局限的,需要在特征的设计上下功夫,这需要很好的人工设计。

把它变成非线性函数,一个常用方法是用神经网络,直接用神经网络表示Q值。在更新的时候也很简单,只需要把梯度传到神经网络中去就可以了,因为神经网络的BP算法本身也是求梯度。

用批量学习改进

还有一些改进的方式。比如说我们在训练近似模型的时候,在一个样本上训练可能会不稳定,所以可以用Batch Models的方式,积累一批数据来训练这个模型。

刚才讲的所有训练方法,都是先把V值或者Q值估计出来,然后再从中把这个策略导出来。我们称这种方法为基于值函数的强化学习方法。

五、策略搜索(Policy Search)

值函数估计法存在的问题:策略退化

但是用值函数估计会有一个问题——这种方法可以收敛到最优策略,但前提必须是用表格的表达方式;如果用的是函数近似,则会出现策略退化,即对Q值估计越大,策略越差。

举一个简单的例子,现在有两个状态,一个是状态1,一个是状态2,状态1的特征为2,状态2的特征为1。我们设定奖赏,使得状态2的最优V值比状态1的要大。这时如果用一个线性函数来表示这个V,也就是用W乘以特征,这个特征只有一维,最优的这个V值2是比1大的,1的特征值要高一点,2的特征值要小一点,所以最优的W就应该是个负数,这样会使得V(2)比V(1)大,因而能导出最优策略。

但是基于值函数的做法是要使得V值尽量靠近最优的V值,最优的V值又是正值,这样会导致这个W一定是正的,无法得到最优的策略。这样值函数估计得越准,策略越差的现象被称为策略退化。

用策略搜索解决策略退化问题

为了避免策略退化,我们的方法是直接去找策略,这就是策略搜索。

先把策略参数化,对于离散动作来说,参数可以做成像Gibbs Policy一样,即每个动作有一个参数,然后把它归一,变成每一个动作有一个概率。如果是一个连续动作的话,可以用高斯分布来描述。里面这个参数,我在这里写的是一个线性的过程,但也可以用神经网络来替代。

直接优化策略的参数,使得收到的总回报达到最大的方法,就是策略搜索(Policy Search)。

策略搜索的优势

策略搜索和基于值函数的方法相比,优缺点各是什么?

第一,能处理连续状态和动作;

第二,对于高维的数据总的表现比较好。

第三,可以直接学出随机性策略

第四,Policy Search和监督学习的兼容性比较好。

第三点用处很大,比如说玩“剪刀石头布”,如果选择确定性策略,那一定会输;一定要做一个带概率的输出才会赢。

还有另外一个例子,跟大家讲解一下为什么需要随机性策略。

骷髅代表走到这就死掉了;最优策略肯定是往中间走,但是这里有两个灰色格子,它们代表的是不完全观测的状态,即走到灰格子之后不知道该往左边还是右边;

如果这时又用了确定性策略,那就只能向左或向右走,只能是确定的,则有可能会遇到走不通的路径。

如果用随机性策略,向左和向右的概率都为50%,因此不管往哪边走总能到达目标。

这也体现了策略搜索的优势。

第四,策略搜索和监督学习的兼容性比较好。

这个策略是用参数表达的,它的目标是最大化的奖赏。最大化奖赏的意思就是说,把空间里所有的轨迹枚举出来。因为策略产生这些轨迹是有一定概率的,在某个状态上,策略做出相应动作的概率是由策略决定的,把所有一条轨迹上所有动作的概率相乘,就得出产生这条轨迹的概率。所以它总体的期望回报,就是所有轨迹的期望,也就是每条轨迹的概率乘以每条概率能获得的奖赏,这也是总回报的另外一种写法。这种写法有的好处就在于,它和策略参数目标有关,所以我可以对奖赏直接求导,来求解策略。另外一种写法用的是稳态分布(Stationary Distribution),用和上面写法完全等价,意思是完全一样的,在这里就跳过不讲了。

策略搜索也有一个缺点,其中一个缺点就是有很多局部最优解,失去了全局最优的收敛性保障,其次是训练过程方差非常高。

早期策略求导的方法:Finite Difference

相信大家都会求导,不过有一种方式大家可能没有见过——有限差分(Finite Difference),这是早期用来做策略求导的方法。

那什么时候会用到有限差分呢?可能是这个系统可能太复杂了,不容易求导,那就可以用一个简单的方式来逼近这个导数。拿到一个参数θ,θ的导数就是看一下周围哪个方向走的比较快,这样给θ加一个很小的扰动的值,对θ周围的局部进行采样,对那个采样增长得最快,这个方向就当成是一个导数方向。这是最简单的方法,当然这个方法有很多缺陷,特别是在高维度的情况下,会需要很多采样,所以更直接的方法还是直接求导。

最后得到的一个导数,导数形式如下所示:

E是期望,1到T代表考虑的是T步的轨迹,每一步轨迹对策略输出值的对数取导数,然后乘以真实的奖赏(奖赏不取对数)。奖赏是个常数,即轨迹得到的奖赏值。

可以通过采样可以来逼近期望,对一个策略以后,去跑一些轨迹,然后计算平均梯度,作为梯度期望的逼近。

我们刚刚说到,这种方式有一个很大的缺陷,就是它的方差很大,直接用计算的梯度来更新策略(vallina policy gradient),基本上得不到好的策略,因为它的方差太大,不稳定。

控制方差的方法 1、Actor-Critic

控制方差有多种方式,其中一种叫做Actor-Critic。用比如直接求导的方式把策略求出来,叫做Actor;对值函数进行估计,并用于评估策略,是Critic,意为它是一个评价者。

我们要维护一个值函数Q的模型。另外,用导数的方法来求策略的梯度的时候,不做直接使用奖赏,而是使用Criitic提供的Q值。所以Actor-Critic会维护两个模型,第一个是策略的模型,第二个是Q函数的模型。

对Q函数求近似的时候,式子和上面的那个导数形式一样,里面的经验奖赏换成了Q值。在求策略梯度时,Q值是一个常数,是不更新的,它有自己的更新方式,且通常是真实的Q值。

控制方差的方法2、引入偏差项(bias term)

另一种控制方差的形式,是引入偏差项,只要这个函数是一个只跟状态有关、跟动作无关的函数,它的积分就是0,不影响梯度方向,而会影响梯度的方差。

对于简单的形式,我们可以直接求出来最优的偏差是什么。更一般的形式,我们可以用V值来替代bias。因为V值就是关于状态的估计值,和动作没有关系,所以它带到积分里面去的时候会是0。

把V值带进去,后面的Q就变成了Q-V,叫做Advantage Function,意思指:在这个状态上,V值相当于是一个平均值,Q值指某个动作比平均值高出来多少。用Advantage Function会使得做策略梯度以后,方差控制得比较好,只有当方差控制好了,这类算法才能真正起作用。

其他改进方法

梯度的改进方法还有Nature Policy Gradient。在监督学习里面,随机梯度是很容易并行的。最近有一些理论的工作,也探讨了它的并行不会影响到它的理论性质。在策略梯度里面,我们同样可以把这个梯度并行来做,这样可以使得它的速度下的很快。

还有对策略直接求导的方法,比如无梯度的优化(Derivative-FreeOptimization)。这类方法不管强化学习是在做什么,而是直接优化策略里面的参数。优化完参数以后,试一下策略,得出这个值具体是多少。

这样,优化过的算法可以通过总体奖赏值来调整模型里面的参数。通常来说它比用Gradient Policy效率差,由于中间过程是忽略不计的,所以它对特别复杂的问题,反而有比较好的效果,比如俄罗斯方块游戏。

六、游戏中的强化学习(Reinforcement Learning in Games)

最后一部分,讲一下强化学习和游戏。

为什么讲游戏?一方面,是因为在游戏里面需要克服的一些问题,在真实应用中也常遇到;另外一方面,用游戏来做强化学习任务的成本比较低。

游戏推动深度强化学习(Deep Reinforcement Learning)的发展

2015年,DeepMind在Atari游戏上使用深度网络直接从屏幕图像训练强化学习,直接推动了“深度强化学习”的发展。

用深度神经网络,放在Policy Gradient里面,作为一个策略的模型;或者放在基于值函数的方法里面,作为值函数Q值的一个估计。这样的方法就称为深度强化学习。

深度强化学习

其实,深度强化学习里很多工作是在研究怎么让网络更稳定。特别是当输入数据比较少的时候,网络方差的浮动会比较大。这就可以用“延后更新”来解决——如果用深度神经网络,那么每走一步都更新模型会导致模型抖动非常大。而用“延后更新”,例如可以在100步里不更新策略,只是把神经网络更新一下,这个神经网络没有放到新的策略里面来,等神经网络有一个比较稳定的上升以后,再更新策略。还有,积累的数据不要丢掉,也拿出来,让这个神经网络更稳定一点。这两个技巧合起来放在Q-Learning里面,就是DQN。

Deep Q-Network(DQN)

DQN可以说是第一个声称深度强化学习算法,可能也是最广为人知的一个。基本上,它的整体结构就是一个函数近似的Q Learning,只不过用CNN做了近似函数。

在玩这个游戏的时候,它已经有了100万个记录历史。每次训练神经网络的时候,要抓32个出来训练一次,并且训练完以后不去更新策略,而是在走一定的步数以后,再更新这个策略。除此之外,并不是直接从屏幕上把一帧图像拿进来,而是把历史上好几帧的屏幕拼起来,得到一个当前帧和前面好几帧合起来的一个总体的图作为CNN的输入。不过在最新的一些工作中,这个过程已经被被递归神经网络替代了,不再是把好几层拼起来,而是让好几帧分别输入例如LSTM的网络。

很多运用强化学习寻找策略的游戏已经比人玩得都好了,它玩的好的优势主要体现在反应速度上。但是在需要深入思考逻辑关系的游戏中,强化学习没有人做得好。

我们来看看它的游戏报告结果。

这里面,“with replay”和“without replay”的意思是有没有用到历史数据,“with target Q”和“without target Q”就用了CNN还是线性网络。我们可以看到,神经网络在这里贡献并不是最大的。如果我们只用神经网络而不用replay的话,效果还不如用了replay,但只用线性模型而不用CNN。当然,同时使用深度模型和强化学习是最好的,这可以完成一些过去完成不了的事情。

在AlphaGo中的应用

AlphaGo系统的基础框架是蒙特卡洛树搜索,这是经典的树搜索的方法。但是单凭蒙特卡洛树搜索本身并不能取得很好的效果,只用树搜索大概只能达到业余的五六段。AlphaGo里面的一个创新的点就是引入强化学习来改进搜索树的深度和宽度。

这里面用了三个神经网络。

第一个policy network,在展开蒙特卡罗树搜索节点的时候起作用。这个网络是用策略梯度方法训练出来的。

第二个是一个很小的神经网络,蒙特卡罗树搜索里再往下做很深的搜索时会用到,这样它可以算得很快。这个小的网络是通过监督学习学出来的。

第三个网络是用来修正值的。它是通过强化学习中间产生的数据来学习。

由于大家对DQN比较熟悉,所以在尝试深度学习的时候,首先想到的算法大多是DQN。但因为它是一个基于值函数估计的强化学习方法,所以这种方法在稍微复杂一点的应用环境中可能运行不了,大家会感觉用DQN做强化学习效果没那么好。但同样是DeepMin做的围棋游戏,它的强化学习方法已经改成了Policy Gradient,而且以后的很多算法也都是以Policy Gradient为主的,用这种方法处理复杂问题效果更好。

在其他游戏上的应用

正是由于在计算机中模拟游戏的代价很低,所以不断有研究者借助游戏来发展强化学习。比如,有用在3D第一人称射击游戏中,可以在这个世界里面行走,并且寻找东西。去年有一个“DOOM”游戏比赛,参赛者要用计算机控制游戏角色,以第一视角进行3D射击。有了强化学习,参赛者就能控制游戏角色,让它做一些动作。由于这个游戏额环境比较复杂,所以在玩游戏的过程中,也发展出了一些创新方法。

例如,在游戏里面,如果让一个强化学习直接到游戏环境里面学习,那它又要捡医疗箱,又要去捡武器等等,太复杂了。而其中一个团队,就采取了这样的做法:他们让强化学习从简单到复杂,一步一步的去学习——首先学一个策略,比如捡起医疗箱,然后在这个策略的基础上再来学怎么样来开枪、怎么样来射击敌人等等。

实际上游戏里面有很多很高难度的挑战,其中一个非常复杂游戏叫做StarCraft。这个游戏已经有很多年的历史了,现在有不少人,包括DeepMind,都希望在这么复杂的游戏上面能表现出一个比较好的性能,因为这个游戏的复杂度已经大到和很多真实应用的复杂度相当,即使人去学这个游戏,也要花很长时间才能学会。以前用强化学习,只是先取其中一个小问题来解决。比如说我和对方各派三个兵,想办法看这六个兵怎么打。这是一个很局部的战役,但能学到这样的东西也已经比较不错了。如果要学到整盘的打法,它里面涉及到很多问题,第一,它的规模远大于围棋的规模;第二,有很多对手的信息是观测不到的,比如敌方的行动。虽然在今年年初,德州扑克游戏上机器已经打赢了人类玩家,但德州扑克其实是一类很简单的牌类游戏,想让强化学习在大规模游戏任务中,在无法观测到对手信息的情况下,指挥200多个单位做连续的运动,还要持续半个多小时走几十万步,目前还做不好。

七、强化学习总结

之前介绍的只是强化学习的其中一小部分,强化学习还包括很多内容:

比如在MDP中如果出现了不可观测的情况,它就不属于Markov了,有一个专门的方向如POMDP来解决这个问题。

还有Learning from Demonstrations,意为人先做出示范,然后从示范数据中教智能体。例如AlphaGo,一开始训练的时候并不是直接上强化学习,而是首先搜集了很多人类对打的数据。

而怎么去设计奖赏函数也会有很多不同的方法。

下面总结一下两个大家比较关心的问题。

第一个问题:强化学习是否已经发展成熟?如何选择强化学习问题中的算法?

如果碰到比较简单的强化学习问题,可以用基于值函数的方法,比如DQN,更复杂的问题可以用Policy Gradient的方法做策略梯度。

但是从目前的发展现状两看,强化学习的成熟度远远不够,也就是说在强化学习领域,还有很大的提升的空间,有可能能做出一个性能更好的全新的算法。但大规模的问题现在还是很难解决。这个大规模指是它的状态空间大,并且步数特别多。

第二个问题:在实际领域应用强化学习,会遇到什么瓶颈?

1、 强化学习需要探索,在很多场景带来风险。

以推荐股票为例。我本来已经有一个还可以的推荐策略,每天能给我带来100万的收入。但是现在为了训练强化学习,要做探索,尝试一些随机的股票。假如告诉你这个探索会导致今天一下子要损失好几百万,而一个月以后可以赚回1个亿,那你就要衡量一下这里看面的风险有多高,敢不敢用了。

2、 为什么强化学习在很多游戏上面用的比较多?

游戏在计算机中运行,速度高、代价低。如果放到现实世界中来运行,比如放在推荐系统线上运行,那它就必须和真实的环境打交道。它的学习过程需要不断探索,而部署在真实环境里可能会遇到很多麻烦,如果能有一个比较好的模拟器,就可以减少这些麻烦;另外,如果有比较好的监督学习数据的话,也可以做一个初始的策略,不过这个策略可能一开始起点要稍微高一点。做机器人一般也有一个机器人模拟器,所以一般先在模拟器里面做,做好策略再放到机器人身上来学。但是其他现实世界问题,在模拟器里可能就没有那么好做了。

八、强化学习资源推荐书籍

强化学习的书不多,最经典的书是Richard S. Sutton的教科书;Masashi Sugiyama的书属于专著;Reinforcement Learning: State-of-the-Art属于文集,覆盖面比较广,但需要读者有一定基础;还有一些讲述MDP的书;另外,在机器学习的书里面也会提到强化学习。

线上资源

OpenAIGym:一个基础的强化学习平台,里面很多环境,研究人员可以在上面做实验,它对这个领域有很大的促进。还有AlphaGo技术负责人David Silver的线上教学视频,讲的非常好。

论文发表地

强化学习论文主要发表在AI期刊和会议上,期刊有Artificial Intelligence, JAIR, JMLR, Machine Learning, JAAMAS等,会议有IJCAI, AAAI,NIPS,ICML, ICLR, AAMAS, IROS等等。

以上就是俞扬博士的演讲,更多内容请继续关注。

电动剃须刀

z型提升机货源

红酒加盟

污泥脱水剂

相关阅读