图灵奖得主LeCun评ChatGPT不算创新，被网友骂柠檬精

女孩放开那畜牲

丰色 发自 凹非寺
( T/ {5 L, O: a+ m  ?( i量子位 | 公众号 QbitAI
. U6 N" k3 ~! N: w- @% ]0 |

1 ?* Q0 l$ [" T. j“ChatGPT并不算创新。”
6 v. n( E0 e1 @# H7 i! z; m“OpenAI做的这个东西跟其他实验室相比，根本算不上什么进步。”
这两天，图灵奖得主LeCun公开和大热趋势“唱反调”，瞬间引发网友围观。



- e4 ]$ k" [8 U要知道，ChatGPT功能强大又好玩，火爆全网，任谁看了都得感叹一句“技术也太强了吧”，AI大佬对此却“不敢苟同”？
2 r3 o2 u4 _) B9 ?1 Z2 l对此，不少网友称LeCun就是在“酸”OpenAI的成就：
! f  x( I$ w3 v$ m, K“OpenAI现在让谷歌和Meta都处于ChatGPT的阴影之下。这就是为什么它不算革命性的创新。”
' w" a- N! m$ z( n/ u' M
+ n# x0 t8 }& c8 c3 F
9 w- G! z% w0 c" X! e" V' ^" b
" ^7 t& K9 o  }& }但也有学者为他撑腰，称“ChatGPT就是一年前的InstructGPT的改进版本，我必须同意LeCun的这个说法”。
( y. t3 _! {  W) `$ N1 n: r

3 R$ f  L; k: _% d

9 U* c! f! f  S1 l具体是怎么回事儿？

* R; m# x8 {  M: t' z1 C, W; g
8 v& E& q+ L; c1 A“ChatGPT不算技术创新，只是组合得很好罢了”
LeCun是在上周于Zoom的媒体和高管小型聚会上发表了这些观点。
, l& b: Y0 Q( [2 Z+ D9 E! p# P2 n说ChatGPT不创新，是就底层技术而言。
他表示，过去许多公司和实验室都建立了ChatGPT这种数据驱动的人工智能系统，因此OpenAI的这个作品算不上独树一帜。
尽管ChatGPT在这里面可能最强大，公众都被它的能力所折服，觉得它能给大家的工作和生活带来非常大的变化，但它也真的算不上革命性的科学。
( I4 J* H# }) @1 V3 r0 ?他指出，除了谷歌Meta，还有6家初创公司都拥有着非常相似的技术。
“这些技术都是公开的，算不上rocket science，如果你愿意一探究竟的话，可以发现它背后没有任何秘密可言。”
(Ps. rocket science即火箭科学，指特别困难的事情。）
& B. Q' p1 u* K7 q) O4 V; a他称ChatGPT仅仅是“组合得很好”。
具体都“组合”了以下这些关键技术：
首先，它的核心就是以自监督学习的方式预训练的Transformer架构。
其中，自监督学习是“我LeCun”早就提倡的。有多早？那时OpenAI都还没诞生呢。
Transformer呢，更不用多说。是谷歌2017年就提出的，GPT-3等大量语言模型都是基于它。
而说起语言模型，它的历史就更早了。
6 H# w9 O' h3 T第一个神经网络语言模型，是Yoshua Bengio在大约20年前提出的。（注意力机制的概念最早也是Bengio发明的，然后被谷歌采纳用于Transformer，然后成为所有语言模型中的关键元素）。
也就是说，ChatGPT不仅用的都是别人的技术，还是很早就有的技术。
4 T, p1 B# [& M$ s- I另外，LeCun还指出OpenAI的程序都用到了强化学习，也就是通过人类agent对机器的输出进行的排名（就像谷歌的网页排名一样），来改善系统性能。
而这种方法不是OpenAI，而是谷歌的DeepMind部门首创。
总而言之，LeCun认为，ChatGPT并非“凭空而来”，而是在此前这么多年这么多项技术的积累上组合出来的。
" z+ ?; ^: v6 A- v3 ]所以，它算不上底层技术上的创新：

与其说是科学突破的案例，不如说是体面的工程案例。
: ]! c5 x1 d' ]! F2 K" ~% G/ v

) j$ ]5 }0 G3 b& j1 x! D有趣的是，LeCun还给ChatGPT找到了同样的例子。
那就是赢得了DARPA 2005年挑战赛的自动驾驶汽车，来自企业家Sebastian Thrun。
* f3 C1 S- N9 n0 Z5 S+ n1 E" X他表示，该获奖项目用到的这个技术也是在基础科学方面并不是特别创新，只是设计得非常好。
6 |+ ?1 K; W0 B好了，不管是现场听众还是屏幕前的你，现在肯定会问了：
3 t3 h/ a& J8 }: a! t' U. i你说OpenAI的ChatGPT“没什么大不了的”，那为什么谷歌和Meta等公司都没人做出来呢？
" K8 w9 _$ |9 w4 y' L对此，LeCun“有备而来”，笑着自问自答道：
# c4 U: M$ r- T; ]* P它们不是不能，是不想，因为做这种东西太费钱了，得不到什么收益。
, v$ E; f+ l$ ]% F

9 F9 Q2 d% \) D# l# |8 {  N
1 W1 H6 i  o+ \( _4 ~
5 y' h$ i# B* _& J6 o, ]网友：你就酸吧


媒体ZDNet将LeCun的这些观点整理成文章进行了发表，得到了LeCun本人的亲自转发。
8 Y: Q; P0 W' ]! q7 a并在转发语中再次强调ChatGPT和其他大型语言模型LLM并非凭空而来，而是数十年来不同人贡献的成果。
0 O; }& ?# |5 k& f因此，没有AI实验室已经明显领先于其他实验室。（也就是说OpenAI还是那个OpenAI，没有因为ChatGPT就比别人更牛了）

! V- [5 H; l7 [! t

) L/ R- S/ C4 P! _  ]# g对于此番言论，有网友的评价却是：
" C9 b7 [) F& jLeCun，你在嫉妒在“酸”。
: R/ |5 q  R; z8 l0 F具体be like：
“LeCun这个观点多有意思啊，就是想说Meta的技术与其他实验室不相上下，没有产品只是因为Meta领导层不愿意做。”
/ W6 r* R1 W$ n7 b. p


“如果Galactica（Meta的语言模型）也获得了类似ChatGPT的成功，你就不会说这仅仅是几十年来各种人的贡献的结果。你的观点听起来让人觉得是你很嫉妒。我认为如果你能衷心祝贺OpenAI，大家可能还会对你赞许有加。”
8 l/ ~9 `6 z" t* B* V& ?% f
5 u: h4 `: D! b6 h. E* m
9 F# P( x' y$ c6 W0 o$ Q9 B- z
% F* A& f& O+ `1 a# y言辞可以算是很犀利了。
# f. D; Q  g! ]! |8 p' @于是，就在今天，LeCun又作出了这样一个公开说明：

我不是在批评OpenAI的工作或他们的主张。
: ~. d1 Y6 I- G9 u. `而是想纠正一下公众和媒体的看法，大家说它是一个“全新的突破”这样评价真的太高了。
8 R! Z/ [7 W; W! ?; _) I, ~

  m9 L- q3 }& t* m. u
  b3 e' d& t  L8 y! ]; Q8 Z( j
4 Y0 V( P. k* v( u
你认为ChatGPT究竟配不配得上这样的评价呢？
. s7 ~3 X$ H& Q/ z1 C/ r1 i[1]https://www.zdnet.com/article/chatgpt-is-not-particularly-innovative-and-nothing-revolutionary-says-metas-chief-ai-scientist/
[2]https://twitter.com/ylecun/status/1617921903934726144
[3]https://twitter.com/ylecun/status/1617609026820542464
" y$ B, p- b7 S. j1 W