图灵奖得主LeCun：ChatGPT不算创新

复活的鬼是丑鬼

“ChatGPT并不算创新。”
            “OpenAI做的这个东西跟其他实验室相比，根本算不上什么进步。”
            这两天，图灵奖得主LeCun公开和大热趋势“唱反调”，瞬间引发网友围观。
                        
            要知道，ChatGPT功能强大又好玩，火爆全网，任谁看了都得感叹一句“技术也太强了吧”，AI大佬对此却“不敢苟同”？
5 d% ?; O5 d. I            对此，不少网友称LeCun就是在“酸”OpenAI的成就：
            “OpenAI现在让谷歌和Meta都处于ChatGPT的阴影之下。这就是为什么它不算革命性的创新。”
' G7 p8 U: T+ |# W* }                        
. z8 y9 B6 o$ d6 `7 }( K            但也有学者为他撑腰，称“ChatGPT就是一年前的InstructGPT的改进版本，我必须同意LeCun的这个说法”。
7 x9 G4 [/ L$ K5 S4 H& e0 p                        
4 ^+ h) D2 C! O8 O# @( S# T5 m( F; @            具体是怎么回事儿？
/ w; ^+ L  h+ F5 y: S            “ChatGPT不算技术创新，只是组合得很好罢了”
0 R8 D# l) ~+ E0 p' e" i            LeCun是在上周于Zoom的媒体和高管小型聚会上发表了这些观点。
: }6 f4 R6 F5 S* y            说ChatGPT不创新，是就底层技术而言。
            他表示，过去许多公司和实验室都建立了ChatGPT这种数据驱动的人工智能系统，因此OpenAI的这个作品算不上独树一帜。
0 J6 `# A; B$ C$ `" s$ Q" U  o% @, V  y; @            尽管ChatGPT在这里面可能最强大，公众都被它的能力所折服，觉得它能给大家的工作和生活带来非常大的变化，但它也真的算不上革命性的科学。
. V9 W. ]- ]6 K( X4 b            他指出，除了谷歌Meta，还有6家初创公司都拥有着非常相似的技术。
            “这些技术都是公开的，算不上rocket science，如果你愿意一探究竟的话，可以发现它背后没有任何秘密可言。”
# j  |% A) y+ H' K6 p2 a            (Ps. rocket science即火箭科学，指特别困难的事情。）
            他称ChatGPT仅仅是“组合得很好”。
            具体都“组合”了以下这些关键技术：
7 U% J$ V  ?8 b  y) M/ |            首先，它的核心就是以自监督学习的方式预训练的Transformer架构。
            其中，自监督学习是“我LeCun”早就提倡的。有多早？那时OpenAI都还没诞生呢。
            Transformer呢，更不用多说。是谷歌2017年就提出的，GPT-3等大量语言模型都是基于它。
            而说起语言模型，它的历史就更早了。
            第一个神经网络语言模型，是Yoshua Bengio在大约20年前提出的。（注意力机制的概念最早也是Bengio发明的，然后被谷歌采纳用于Transformer，然后成为所有语言模型中的关键元素）。
. t; p. O5 m# i1 F% l: D( I            也就是说，ChatGPT不仅用的都是别人的技术，还是很早就有的技术。
            另外，LeCun还指出OpenAI的程序都用到了强化学习，也就是通过人类agent对机器的输出进行的排名（就像谷歌的网页排名一样），来改善系统性能。
            而这种方法不是OpenAI，而是谷歌的DeepMind部门首创。
9 ^: y" v% Q4 |/ y& I2 z            总而言之，LeCun认为，ChatGPT并非“凭空而来”，而是在此前这么多年这么多项技术的积累上组合出来的。
: t; n+ f: s8 e1 |            所以，它算不上底层技术上的创新：
            与其说是科学突破的案例，不如说是体面的工程案例。
5 p  A: h+ w6 q: X! L) M+ `            有趣的是，LeCun还给ChatGPT找到了同样的例子。
            那就是赢得了DARPA 2005年挑战赛的自动驾驶汽车，来自企业家Sebastian Thrun。
+ ~: D" C; Q6 d  ^' }" Z            他表示，该获奖项目用到的这个技术也是在基础科学方面并不是特别创新，只是设计得非常好。
            好了，不管是现场听众还是屏幕前的你，现在肯定会问了：
7 s. \% z% Z3 t& o9 R            你说OpenAI的ChatGPT“没什么大不了的”，那为什么谷歌和Meta等公司都没人做出来呢？
            对此，LeCun“有备而来”，笑着自问自答道：
5 B$ `; q4 P; l- Y1 v$ }/ Z% `: Y, Q            它们不是不能，是不想，因为做这种东西太费钱了，得不到什么收益。
" D# V3 x) v3 B  |# A- O                        
* ~1 z$ ~( Y6 M' t) M            网友：你就酸吧
, r, m; g# h; h3 `' m4 [/ ]& u- b            媒体ZDNet将LeCun的这些观点整理成文章进行了发表，得到了LeCun本人的亲自转发。
3 r5 K3 g; m9 a8 x9 j, Z            并在转发语中再次强调ChatGPT和其他大型语言模型LLM并非凭空而来，而是数十年来不同人贡献的成果。
+ g, G! d5 i) L3 H            因此，没有AI实验室已经明显领先于其他实验室。（也就是说OpenAI还是那个OpenAI，没有因为ChatGPT就比别人更牛了）
                        
            对于此番言论，有网友的评价却是：
( d3 n2 V6 W* u  f8 _5 @            LeCun，你在嫉妒在“酸”。
! I1 t& {  r* ?8 O3 Y1 i' e- x            具体be like：
            “LeCun这个观点多有意思啊，就是想说Meta的技术与其他实验室不相上下，没有产品只是因为Meta领导层不愿意做。”
                        
9 a! O' L0 p; `. V- e3 F0 d  O            “如果Galactica（Meta的语言模型）也获得了类似ChatGPT的成功，你就不会说这仅仅是几十年来各种人的贡献的结果。你的观点听起来让人觉得是你很嫉妒。我认为如果你能衷心祝贺OpenAI，大家可能还会对你赞许有加。”
8 b: c: J' E* e4 P" N. K+ T, a                        
            言辞可以算是很犀利了。
0 w" s$ U# E. o& V0 ]. S            于是，就在今天，LeCun又作出了这样一个公开说明：
            我不是在批评OpenAI的工作或他们的主张。
            而是想纠正一下公众和媒体的看法，大家说它是一个“全新的突破”这样评价真的太高了。
            你认为ChatGPT究竟配不配得上这样的评价呢？
/ u, ^# {1 j, l$ G4 b) ]                        
            丰色 发自 凹非寺，量子位 | 公众号 QbitAI