乾明 鱼羊 栗子 发自 凹非寺 i0 I3 } U7 ~3 w; y: Y, U8 o
量子位 报道 | 公众号 QbitAI) G. F9 z8 c _
: Z! P2 D) i/ l& Y( j! V
仅剩0.2%的星际2玩家,还没有被AI碾压。% \$ M* L- f% W$ a9 c/ f
6 R; w' G/ B3 D. i9 m& m( F这是匿名混入天梯的AlphaStar ,交出的最新成绩单。 @4 K7 ]4 d; ]0 }7 M8 x
同时,DeepMind也在 Nature上 完整披露了AlphaStar的当前战力和全套技术:
+ D. A' w1 a# f: `AlphaStar ,已经超越了99.8%的人类玩家,在神族、人族和虫族三个种族上都达到了宗师(Grandmaster)级别。
0 o5 r0 f2 w! G
6 [: i" S a; z# d8 q
6 |' }% G3 L, S' y0 y3 w! x4 c在论文里,我们还发现了特别的训练姿势: 9 @# t7 s. T% ]4 r
不是所有智能体都为了赢. K% t8 c* S; s( j% i. `
' d0 T5 [3 W' g0 I1 Q1 E9 B6 P
DeepMind在博客里说,发表在Nature上的AlphaStar有四大主要更新:
* M* B$ a+ L. Z9 l' Z5 k+ ^+ I% C9 }# D一是约束:现在AI视角和人类一样,动作频率的限制也更严了。
: c$ M9 r9 c/ W. A) I二是人族神族虫族都能1v1了,每个种族都是一个自己的神经网络。
2 `6 U4 a# F9 ^0 ^. U% t( I三是联赛训练完全是自动的,是从监督学习的智能体开始训练的,不是从已经强化学习过的智能体开始的。1 V2 V' w# i5 F" J" z7 D
四是战网成绩,AlphaStar在三个种族中都达到了宗师水平,用的是和人类选手一样的地图,所有比赛都有回放可看。, @+ O0 j# j! b0 z: i1 B* d
具体到AI的学习过程,DeepMind强调了特别的训练目标设定: 4 Q0 |2 m% z5 n0 N3 [( J! N
不是每个智能体都追求赢面的最大化。 0 t2 n' r3 f/ X* h7 [1 ?2 C P
9 u. y) @5 g+ p8 v2 U- x7 d
因为那样智能体在自我对战 (Self-Play) 过程中,很容易陷入某种特定的策略,只在特定的情况下有效,那面对复杂的游戏环境时,表现就会不稳定了。
0 h8 i! w# x: g" ^于是,团队参考了人类选手的训练方法,就是和其他玩家一起做针对性训练:一只智能体可以通过自身的操作,把另一只智能体的缺陷暴露出来,这样便能帮对方练出某些想要的技能。
\4 d1 o( l m* G) g8 q这样便有了目标不同的智能体:第一种是主要智能体,目标就是赢,第二种负责挖掘主要智能体的不足,帮它们变得更强,而不专注于提升自己的赢率。DeepMind把第二种称作“剥削者 (Exploiter) ”,我们索性叫它“陪练”。 , B$ x6 `3 A% \% x
AlphaStar学到的各种复杂策略,都是在这样的过程中修炼得来的。
$ z' I$ i; c5 u/ y7 i- h# W# _# |比如,蓝色是主要玩家,负责赢,红色是帮它成长的陪练。小红发现了一种cannon rush技能,小蓝没能抵挡住:
3 z& @% Z7 w! U5 [! c
8 E! s* j$ R" j9 k5 T+ _5 `6 W然后,一只新的主要玩家 (小绿) 就学到了,怎样才能成功抵御小红的cannon rush技能:
/ b+ h ^% l4 c9 { & n( R7 ]7 D6 x5 S! l
* D, d. Q4 a# @$ M0 V3 m3 P' {同时,小绿也能打败之前的主要玩家小蓝了,是通过经济优势,以及单位组合与控制来达成的:
; G( {3 k+ J) w8 s% K3 _ 4 n! R6 s5 Z7 I* L9 I& v' w8 ]
4 `3 h* S- |' s! e- F. e4 f& h& m后面,又来了另一只新的陪练 (小棕) ,找到了主要玩家小绿的新弱点,用隐刀打败了它:, A5 w7 |( W4 i7 N9 p
n& p% m: B8 e
) i( ?- N) C& U& H循环往复,AlphaStar变得越来越强大。
2 \! q0 h0 [. \5 a
9 G2 x8 p3 t! ^6 w至于算法细节,这次也完整展现了出来。 9 M, M1 L" B) _. l! _& U- [$ g
AlphaStar技术,最完整披露
; ^ o( `5 |. a3 Q7 Q- u) t0 J% V6 A! Y
许多现实生活中的AI应用,都涉及到多个智能体在复杂环境中的相互竞争和协调合作。
& |# _& t6 u! I2 h F* i. C而针对星际争霸这样的即时战略(RTS)游戏的研究,就是解决这个大问题过程中的一个小目标。 - A2 P% h: f4 H; j {, d6 n
也就是说,星际争霸的挑战,实际上就是一种多智能体强化学习算法的挑战。
+ L) E/ L V6 j2 ^2 F3 ]; gAlphaStar学会打星际,还是靠深度神经网络,这个网络从原始游戏界面接收数据 (输入) ,然后输出一系列指令,组成游戏中的某一个动作。
1 q* _/ a4 I$ n: {4 L( K9 i" j @. E9 z4 o0 A
AlphaStar会通过概览地图和单位列表观察游戏。 ' i7 @$ X! N; I/ X, W( Z+ _
采取行动前,智能体会输出要发出的行动类型(例如,建造),将该动作应用于谁,目标是什么,以及何时发出下一个行动。
: w- z, W4 I5 p' _& X动作会通过限制动作速率的监视层发送到游戏中。 8 m* w3 c$ x' U) e" p: w
$ N% Q0 |8 N( W# M
而训练,则是通过监督学习和强化学习来完成的。 " i) Z/ q. X2 c0 g
最开始,训练用的是监督学习,素材来自暴雪发布的匿名人类玩家的游戏实况。 9 {6 W* k0 _# i6 }$ ~
这些资料可以让AlphaStar通过模仿星际天梯选手的操作,来学习游戏的宏观和微观策略。 % w- k# y# s6 `7 h
最初的智能体,游戏内置的精英级 (Elite) AI就能击败,相当于人类的黄金段位 (95%) 。
/ i" M7 ^6 P J6 \( A% q而这个早期的智能体,就是强化学习的种子。 / S* q0 o* `" k8 w
在它的基础之上,一个连续联赛 (Continuous League) 被创建出来,相当于为智能体准备了一个竞技场,里面的智能体互为竞争对手,就好像人类在天梯上互相较量一样: % X! T! w8 }9 _7 [! O
从现有的智能体上造出新的分支,就会有越来越多的选手不断加入比赛。新的智能体再从与对手的竞争中学习。
. ?$ Y# l+ C( @. Z这种新的训练形式,是把从前基于种群 (Population-Based) 的强化学习思路又深化了一些,制造出一种可以对巨大的策略空间进行持续探索的过程。
3 L$ K4 C' Q& t" D# Y2 k. ?% C这个方法,在保证智能体在策略强大的对手面前表现优秀的同时,也不忘怎样应对不那么强大的早期对手。 , M. a5 p: M) U% q1 ]( l9 C( [
随着智能体联赛不断进行,新智能体的出生,就会出现新的反击策略 (Counter Strategies) ,来应对早期的游戏策略。 5 R$ w( Y8 \0 }4 r; a# B9 Q
一部分新智能体执行的策略,只是早期策略稍稍改进后的版本;而另一部分智能体,可以探索出全新的策略,完全不同的建造顺序,完全不同的单位组合,完全不同的微观微操方法。 0 Y' t4 P. M+ Q
除此之外,要鼓励联赛中智能体的多样性,所以每个智能体都有不同的学习目标:比如一个智能体的目标应该设定成打击哪些对手,比如该用哪些内部动机来影响一个智能体的偏好。
# @; O8 q3 _/ E# G* R# }4 F, f% N( a/ K' b+ O; h6 W
: b' p" q4 p; n: @, k: o而且,智能体的学习目标会适应环境不断改变。
2 F3 L, V% C/ ]1 u* G: n 3 |6 P. v1 J( e' h
神经网络给每一个智能体的权重,也是随着强化学习过程不断变化的。而不断变化的权重,就是学习目标演化的依据。 + l+ N# l# a: i' ?
权重更新的规则,是一个新的off-policy强化学习算法,里面包含了经验重播 (Experience Replay) ,自我模仿学习 (Self-Imitation Learning) 以及策略蒸馏 (Policy Distillation) 等等机制。
$ b5 O b+ ]) x# v7 n历时15年,AI制霸星际
6 C0 I- c# g/ V$ C% G6 [5 q% T" n1 `4 \
《星际争霸》作为最有挑战的即时战略(RTS)游戏之一,游戏中不仅需要协调短期和长期目标,还要应对意外情况,很早就成为了AI研究的“试金石”。 ; X. x5 K6 \* Y* z9 [, x, H
因为其面临的是不完美信息博弈局面,挑战难度巨大,研究人员需要花费大量的时间,去克服其中的问题。 ) C9 m# {# r" ~. I/ e8 U9 `
DeepMind在Twitter中表示,AlphaStar能够取得当前的成绩,研究人员已经在《星际争霸》系列游戏上工作了15年。 0 z s6 ^" v5 E$ P! q6 F$ }
6 G v' F0 x6 I" W: ]" S) M! ^但DeepMind的工作真正为人所知,也就是这两年的事情。
7 D1 _) U8 H9 Q# p2017年,AlphaGo打败李世石的第二年后,DeepMind与暴雪合作发布了一套名为PySC2的开源工具,在此基础上,结合工程和算法突破,进一步加速对星际游戏的研究。 * @0 O2 E$ f7 h' t. H% N" } F9 z
之后,也有不少学者围绕星际争霸进行了不少研究。比如南京大学的俞扬团队、腾讯AI Lab、加州大学伯克利分校等等。
* U- l, T* _& X" I9 W! T到今年1月,AlphaStar迎来了AlphaGo时刻。
; F" x: L0 Z- C* l' Y* `; i: |: P在与星际2职业选手的比赛中,AlphaStar以总比分10-1的成绩制霸全场,人类职业选手LiquidMaNa只在它面前坚持了5分36秒,就GG了。
* a1 k2 h- J# D+ s, Z2 b, z6 z S7 i/ U3 q6 X, b
全能职业选手TLO在落败后感叹,和AlphaStar比赛很难,不像和人在打,有种手足无措的感觉。
" u# m' }9 a- s# P2 m. u半年后,AlphaStar再度迎来进化。 K0 E- a; |0 M+ m
DeepMind将其APM (手速) 、视野都跟人类玩家保持一致的情况下,实现了对神族、人族、虫族完全驾驭,还解锁了许多地图。 & j7 c# ^' {2 z
. d! `/ \. w+ p; e+ n2 Z# o- Z与此同时,并宣布了一个最新动态:AlphaStar将登录游戏平台战网,匿名进行天梯匹配。 3 h$ I4 ^5 O% c4 ]( O3 |
现在,伴随着最新论文发布,AlphaStar的最新战力也得到公布:击败了99.8%的选手,达到宗师级别。 ! E3 F- y$ q0 R C0 K
DeepMind在博客中表示,这些结果提供了强有力的证据,证明了通用学习技术可以扩展人工智能系统,使之在复杂动态的、涉及多个参与者的环境中工作。 $ F; u$ l Q+ B9 J" _' S G e1 q
而伴随着星际2取得如此亮眼的成绩,DeepMind也开始将目光投向更加复杂的任务上了。
2 g# s+ R4 d5 }/ WCEO哈萨比斯说: " ~0 m5 P# `7 G: C
星际争霸15年来一直是AI研究人员面临的巨大挑战,因此看到这项工作被《自然》杂志认可是非常令人兴奋的。
+ m6 }' t# E( ~! Y这些令人印象深刻的成果,标志着我们朝目标——创造可加速科学发现的智能系统——迈出了重要的一步。0 o% p/ ]% x ^5 f
那么,DeepMind下一步要做什么? ) j! M5 n3 [: @. `2 L2 a9 g, U
哈萨比斯也多次说过,星际争霸“只是”一个非常复杂的游戏,但他对AlphaStar背后的技术更感兴趣。
1 d0 Y I3 o7 Z但也有人认为,这一技术非常适合应用到军事用途中。
4 X8 ^: \. n" T( O不过,从谷歌与DeepMind 的态度中,这一技术更多的会聚焦在科学研究上。
* h; ?6 s; X" g其中包含的超长序列的预测,比如天气预测、气候建模。 ! G: `; v# c. P# y
或许对于这样的方向,最近你不会陌生。 ! n# U4 O7 q M
因为谷歌刚刚实现的量子优越性,应用方向最具潜力的也是气候等大问题。
$ a) M* `2 ?% S4 P1 l现在量子计算大突破,DeepMind AI更进一步。 2 R, H" i, y7 N. r9 t/ ~& Z
未来更值得期待。你说呢?
2 q8 J8 @0 X3 q! X7 t, nOne more thing" y4 A) A' Q9 h
% [5 E3 s* s$ S8 z6 a虽然AlphaStar战绩斐然,但有些人它还打不赢。 * y0 t4 b& A" Z4 `# e, y! E: J& Q
当时AlphaStar 刚进天梯的时候,人类大魔王Serral就公开嘲讽,它就是来搞笑的。 2 I! K0 Q; c8 n9 L$ {* O: f
5 W, \2 {+ v: K9 t+ u- K但人家的确有实力,现在依旧能正面刚AI。 ' l% b1 _4 |* a* ] K% e) y/ O
不过,敢这样说话的高手,全球就只有一个。
/ N1 h d9 T1 i传送门( [& R% ]) Q/ c' k8 g6 ] n
9 V! t7 q" g9 E- c
Nature论文:/ f& N5 i! `4 Y3 ~! y
https://doi.org/10.1038/s41586-019-1724-z
7 s, O( j h2 l3 C+ B9 \论文预印版:& B7 w) V; O4 s! t2 V- I2 R
https://storage.googleapis.com/deepmind-media/research/alphastar/AlphaStar_unformatted.pdf * }3 T# ^6 i2 Y9 E% x* g# h
博客文章:
3 ?" i% F+ B$ _9 c& Mhttps://deepmind.com/blog/article/AlphaStar-Grandmaster-level-in-StarCraft-II-using-multi-agent-reinforcement-learning
" o% S. o& e: F对战录像:
* R2 T1 n! H& [- _7 P. khttps://deepmind.com/research/open-source/alphastar-resources
1 q7 w& @5 W6 k- J— 完 —2 |" W$ y! S" E6 N f
大咖齐聚!量子位MEET大会报名开启
4 O! }5 A0 l i5 N) H量子位 MEET 2020 智能未来大会启幕,将携手优秀AI企业、杰出科研人员呈现一场高质量行业峰会!VIP票即将售罄,快扫码报名吧~" D2 Y" E6 E( `9 H4 e* m0 l* }
榜单征集!三大奖项,锁定AI Top玩家
- B9 ?% g+ o, Y8 @2019中国人工智能年度评选启幕,将评选领航企业、商业突破人物、最具创新力产品3大奖项,并于MEET 2020大会揭榜,欢迎优秀的AI公司扫码报名!) O1 ?5 y. ]2 d5 Q" z, o
 量子位 QbitAI · 头条号签约作者6 i. J9 u Y2 A M
վ'ᴗ' ի 追踪AI技术和产品新动态
! w& r4 z, Y, ~! G$ j; v( U喜欢就点「在看」吧 !' ], V$ o* i/ t. }
- @" y( S) Y& n) Q- i6 V0 e6 a$ Z8 h
' C( L4 B! D& K9 v4 ?& g0 Q8 b+ K" @1 T3 \" x
9 ?" ?/ N1 L$ p7 R& V: _
8 X8 V) l0 g/ j y来源:http://mp.weixin.qq.com/s?src=11×tamp=1572508805&ver=1945&signature=ufDgJF-ttdwWgSRz4GvsbfZFt8aLHUpcC9yHtzomlOL0gOuaJsxc735aQnmgAG4n173vkU87wL1VAWURHlPQMQpVqYLRqYVHonQrB2VYxo0tKwIa7RrwLt4ddob2CbZI&new=1+ Z K5 M5 ~1 {8 f w
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |