|
|
编辑部 发自 凹非寺) \ j/ [4 f" @ e) Y6 H
量子位 | 公众号 QbitAI
2 a6 P; }7 z; W8 X9 S5 l1 k GPT-4发布一天之后,压力全部给到百度这边。6 S% U8 |& u) z! O1 [. x) x
就在刚刚,百度交卷。
9 q7 b& n( P2 c: ] 文心一言,百度全新一代知识增强大语言模型,正式在百度总部“挥手点江山”会议室里发布。% T5 c5 U3 e& W/ g9 [' Y4 q
在一片静寂的氛围里,李彦宏小步登场,语气里带着点紧张:$ T4 I( L9 e4 k' Q
大家的期望值,是我们对标ChatGPT,对标GPT-4,这个门槛有点高(笑)。
$ }: V& _0 Y$ l/ h9 K) Y' V 十月怀胎,我们就带大家来看看这个AI大模型文心一言长什么样。6 w6 r; ^' `5 c* r) n5 E1 X8 K1 E; T
8 J) b5 A8 _- i6 ]: l
此前,有人狂转meme图把百度比作GPT-4旁边的垃圾箱。- W# {- g- f5 [* n! n) W. `. O
/ e% F& X( G+ Q7 E2 p
也有人鼓吹百度是全村的希望。/ K! ^' y; M ^, s( `1 ^
而在发布会进行的同时,百度港股市值大幅下跌,相关话题还冲上了微博热搜。7 r' s0 d2 e! y) f
2 F0 q( w) P& u k+ K8 T* X 但直播弹幕中也有网友点赞:8 f" ^! Y! y8 s: B! H2 g
( W1 M& \" {; l( z/ z$ q2 u 那么这个中国版ChatGPT到底实力如何?
6 k) r' H- S: v! y 咱们就用百度发布会演示的预录制Demo,对比一下崭新出炉的GPT-4,先凭实力说话。
2 n3 j8 W: g8 K5 X8 {) d; [+ B 文心一言 vs GPT-4
! J9 Q! F- M+ G. u# z 和GPT-4一样,文心一言是一个多模态大模型。8 z& d) \5 m3 E/ J: f9 ^4 y
李彦宏开场就展示了文心一言具备的5种能力,包括文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。6 Y$ w, r9 l( p" g/ f
文心一言甚至还现场秀了一口接地气的四川话,现场网友发出一片笑声。! M: d1 u% r6 y8 ~& b" Z) w d
其他能力如何?我们具体展开来看。
6 ]0 e. c, j' F" W$ x 文学创作
; d7 U0 p* ]; c4 {: k) G4 s( r! z 在文学创作上,李彦宏一开场就搬出了《三体》作者刘慈欣坐镇。
' y+ s/ K% N9 W3 y' A7 U 先让文心一言介绍一下大刘,“毕竟我也是刘慈欣老乡嘛”:
6 A; p1 d. y, D
) T5 R- I" E1 {# ^: M, m8 ^ 看起来没什么问题。同样的问题问问GPT-4呢?& Y% Q* z1 Z+ ]
6 }1 S2 ]3 v4 b* _# o% `% `
嗯???直接把刘慈欣的老家挪到了湖北省洪湖市。湖北人狂喜(doge)! D+ [$ ~6 @4 M; N8 L7 m
随后,李彦宏又展示了从哲学的角度对这段文章进行续写的demo: `- z* M# w8 a% u& O- c* }
8 ~' Q; I" _; t" P 看起来中规中矩,比较理性。老样子,我们也来与GPT-4进行一波对比:
( N* F) n( m% M4 u9 c
# S8 K2 N) G" P# O$ C/ v! k1 x 这波你是想看GPT-4续写的《三体》,还是文心一言的?
7 O5 O) S% k# Z$ ~/ c 再来看看《三体》电视剧中扮演史强和汪淼的老搭档,于和伟和张鲁一,有什么共同点?, b7 ]/ U2 E6 q" _" L# Q
4 ^4 k6 }5 R b$ Z6 d1 |) e! @ 也没什么问题。
5 h1 f" B7 C' _6 P 就是看起来展示的速度有点快,比李彦宏的语速还要快上那么一点点(手动狗头)。! a" m. C; j7 I
+ O6 W* g% ^* b% i6 S/ O& d; ]. y 商业文案创作
! [4 p) M! ~2 W- M0 t e 接下来,李彦宏又展示了一下文心一言在商业文案创作上的能力。
/ ]4 B: @/ T% U4 F$ z* d2 G! ]) h 比如给新公司起个名字。
! O3 S+ G" W" ?9 N* ]0 Y( x
+ [2 W& r t( I/ W 并且这个名字它还不是瞎起的:5 \2 o$ g w2 v$ ?* Y
! O9 m! |( o" ^: s3 Y
再来看看GPT-4起名的效果?# ^) t' l; Q+ g) f- M5 _; \. _
% j1 n3 v) h6 x1 r7 O8 c4 v) X1 O 看起来,GPT-4对中文的掌控能力相比之下还是少了一点精髓。' k- @; [$ p* L: y( f' y" |$ P
至于写个公司成立的新闻稿?对文心一言来说似乎也不成问题:
: U3 d7 r" w% p9 e1 _
, i2 Z# C2 e2 b: e 数理逻辑推算
" X2 [; H9 \( L' ~ 数学能力,是考验生成式大模型的一大难题。ChatGPT刚上线时,也翻了不少车。
3 H, k+ O2 @ J" o 不过在现场,文心一言处理的数学问题不算复杂,是小学数学竞赛常见的鸡兔同笼问题。& J3 _4 I8 L" Y! m8 I% m
$ X) S- c2 e2 l/ l- h2 r; V 彩蛋是,李彦宏现场展示的第一题,引得文心一言说出了《狂飙》里高启盛的经典台词:这题出得不对。* b7 L, w) P$ _$ Q$ B
& R o8 N5 H# W$ s: Q1 v
修改一下题目,OK,再扔给文心一言试试:
$ d& z/ m D% _( k4 K' [7 i9 i
9 h j( E8 `+ L* t) c 看起来,答案还算是有理有据,一步步逻辑推理出来的那种。+ d0 v0 A: w$ l: Y
李彦宏表示,这些题“不敢说百分之一百能做对,但至少体现了文心一言的思考历程”。5 H0 x4 U0 }3 C2 [' C+ s
中文理解
Z3 a' |1 x1 H' U& T 接下来,李彦宏着重展示了一下文心一言对中文的理解能力,并特意强调:
* l/ ? }' G7 S0 t 文心一言对中国文化的了解,理应超出任何一个预训练大模型。4 B! Z# `. g/ [
一上来就是一个成语,“洛阳纸贵。到底有多贵?”. ]& B0 r/ ]. c; w
`! ]) F+ i# t. x8 ^6 C9 e; A
这是文心一言的效果展示:
4 Y/ j( h& o+ N; ?% Q% s ; K# B5 a/ [+ B' |& b
还解释了一下这个成语背后的经济学原理:% B) v2 W+ I% c
( y" A) w* u- c$ J 那么,将这个问题抛给GPT-4呢?首先问问它,知不知道洛阳纸贵是什么意思:# V1 g# E$ v# m$ R* Q' G9 L4 g
5 j' o* ~, U1 Z: U: Y0 V% u
接下来,再问问他对应的经济学理论是什么:
( n9 e9 j# P$ N7 F8 W 3 ]+ g4 a' Z U& k" u- R
这波看起来,GPT-4的中文理解似乎也不输文心一言啊。4 Q- v+ G) w- Y3 M$ U
那么,再来看看二者写藏头诗的能力?
0 \6 v4 D% p3 @1 v2 g! K/ ]0 D 首先是文心一言的效果展示:" d/ m! a) C z; \& l0 [8 q
* r/ p) _8 y/ N* C
接下来,我们再看看GPT-4怎么说:- `3 g' e0 _0 q# C3 m$ S0 \$ Z, `) l
7 p* X0 ~- R) f' \- g
诶,看起来反而是GPT-4没有真正理解“藏头诗”的含义。% h- z- u& Z! J$ N0 b) x- W2 h4 u3 N
这波文化理解上,属实是文心一言“小胜一筹”了。
$ `7 l! w) o$ d: Q, s 不过在英文上,李彦宏也承认,虽然文心一言也能处理,但能力是显著不如中文的。" W1 h# w4 k9 k
这也和百度目前能用到的训练数据有关。
) K$ [6 |) z5 n/ Y% v, { 多模态生成
( N, e7 @5 \9 y r* V 最后,李彦宏还简单展示了一下文心一言多模态生成的能力。9 u g/ \+ s% h6 I5 s
首先来看看,为即将到来的2023世界智能交通大会创作海报——, k7 ~2 z5 R$ y9 E3 T x3 m
3 V9 X2 X1 E7 ~8 z" A# N/ Z
而除了前文展示过的文字转四川话能力,文心一言还能文字转视频。
" I! `7 ^5 C7 r 李彦宏一句指令“将以上内容生成视频”,很快啊,不到几秒钟,文心一言就把字幕和视频做好了:
# z5 F' B( W" A' H( ?7 C3 a/ d) r0 P
" S7 h7 D5 t) P+ ~+ q% D 有些遗憾的是,在ChatGPT被频频称赞的编程方面,文心一言并没有现场展示相关能力。
* [9 s0 I% ?: X/ @1 h H 但王海峰透露,文心一言的训练数据中同样包括代码。
3 V) ~6 b& g8 @8 {! @ 文心一言如何“跑通”?# x1 h, W; @) e, r# ]
正如ChatGPT脱胎于OpenAI的GPT系列,百度这次推出的文心一言(ERNIE Bot),背后也正是基于文心大模型技术打造。% H* H0 d- L* e! R- C' J5 |0 o
据王海峰介绍,文心一言主要脱胎于两大模型:2 B& ~- g; c) B4 m
百度ERNIE系列知识增强千亿大模型,以及百度大规模开放域对话模型PLATO。% N. w9 c1 X* `9 D. C
在此基础上,主要采用了六项核心技术。
) ]' d p5 h% G! O 其中三个是广为人知的大模型技术,包括有监督精调、人类反馈强化学习(RLHF)和提示构建。8 J" j* P! M- X% p2 h2 q5 H
p.s. 人类反馈强化学习也是ChatGPT的关键技术。9 I) x9 l- j* ]* u9 f
另外三个,则是“百度比较有特色”的技术,包括知识增强、检索增强和对话增强技术。
2 |( Y0 n2 q: Y! ]* ~
' i! @ W! h9 @7 t 首先来看与ChatGPT类似的技术:有监督精调、RLHF和提示构建。5 p- T9 ^: _( a
有监督精调,尤其指中文方面的数据精调。百度基于对中国语言文化和中国应用场景的理解,筛选了特定的数据来训练模型。
$ \* r7 I0 E# k( j$ l) G0 n - a! l# R& t3 p5 Z
至于人类反馈的强化学习(RLHF)和提示构建,操作上也与ChatGPT大差不差。
; `: \. ^) r9 P* |+ }: i 2 T- A6 D4 F4 w8 r8 Z- m: N
随后是百度提出的、用于进一步改善模型效果的技术。' x4 r. a6 e- i8 [* G5 C9 c9 l4 v8 z
知识增强,包括知识内化和知识外用两个部分。其中,知识内化即将知识“渗透”进模型参数中;知识外用指的是模型可以直接使用外部的知识。
8 Q1 ]* E3 Z5 N* ^8 y2 }
3 t' T! Q+ f6 F9 I s& K1 s0 u0 o 检索增强,则与百度搜索引擎积累的检索技术有关。+ }* ?! w6 j- s7 O0 R
百度将把检索技术和生成技术结合起来,先对内容进行检索后,将比较有用的部分用于生成,再整合输出结果:# m% _) I2 ?! H9 @0 q. j1 b$ q
4 N2 w* l2 \. K T3 N: ~. L8 O
最后是对话增强部分,包括之前百度积累的记忆机制、上下文理解和对话规划等技术:
# q9 H8 A9 n5 p9 r 4 A4 b* z$ V, ?- _- t& z8 ?4 R
概括来看,文心一言表现出的能力,被李彦宏称为“智能涌现”:
W9 a5 x0 a) R4 C* I 当参数达到千亿量级,训练语料达到足够多的情况下,这种现象就会发生。
+ E& O* d( T, @* \7 n 目前,百度拥有的AI技术可以分为四个部分,芯片(昆仑芯)、框架(飞桨)、模型(文心)和应用。2 R) d) U/ E3 s% C; T8 ]
之所以软硬件都要布局,百度称,是为了降低成本:: R6 u% v$ \& r! y1 [. U5 b
生成式AI需求的算力非常高,费用相当昂贵。3 @0 Z/ B5 i* F6 k1 k1 V) a
因此,如果在四层架构之间相互进行协同优化,就能让它的效率比别人更高,从而显著降低成本。, H+ Z; A* R& p# v& S
李彦宏认为,这也正是百度的优势所在:& M3 _7 ~7 e. n- w5 `: B
四层都有领先产品的公司,绝无仅有。# G/ }, @. @# z0 }* g2 z6 w
2 F1 B2 X% {- w$ v: _
这次文心大模型背后的硬件算力,也是通过百度智能云提供服务。
! Z; t& D% S; Q 目前,文心一言已经接入百度搜索,目的在于提升搜索资源效率。3 r5 X% \$ W0 Q' q. K a
同时,包括小度和自动驾驶Apollo等产品,以及爱奇艺等公司也已经接入百度的文心一言模型。" d' v) K$ u) c- P4 ~
* X* ]6 {# l6 ` x" k
网友:看来还不用提前退休
o9 E9 `, o8 D* C: u& K 截至发稿,百度港股股价在一波明显下跌之后,有所回弹。4 t1 P) `/ j' U5 v) C
) _4 b* t& @/ [
发布会结束,网友反应最多的是“提前录制有点败好感”:
. k# L, e) ]7 D0 t. x ' A6 R* P i1 ~+ R% P- ]
4 o5 W& v3 t7 v. i3 e; r6 g
对于这一点,李彦宏的解释是,给出的问题都比较长,为了节约现场时间,所以才用了提前录制的形式。
" e9 }9 M5 ?4 l6 q 还有不少网友对文心一言展示出的能力不太满意。有人调侃,看完之后感觉“提前退休的日子看起来还可以缓一缓”:
6 x Y) z4 k6 \: c
' E) l9 q9 F. c" k3 u) T 离GPT-4还差了20个老胡。
! X6 L- P; k2 S
" [/ T, f/ s& A% _+ l- P- N 还有网友感觉,文心一言的发布会像极了毕业答辩的自己(doge):
3 X( j0 S0 G" n& n8 A) q: |8 u
. K/ ]; y) k$ Q! t7 Y" O 不过也有网友表示,希望能给国产产品一点时间一点耐心。
% ~ P% K+ A; w: p6 @ , ]/ ]6 X# f* y; C! v" `7 s
发布会末尾,王海峰宣布,文心一言将从今天开始对外进行测试,包括个人用户和企业用户。. u* w- g: d! w7 B4 q
是骡子是马,相信接下来,会得到更多验证。
4 ^- `$ C% q8 @+ @% K+ E8 c One More Thing/ E2 l6 D, |2 ]+ d8 [$ |) e" F
对了,有网友表示,已经拿到了文心一言的内测资格:! K _& J8 p1 p7 ?, K
你好,感谢您体验文心一言,体验地址:
) g$ K8 O+ B! r8 G# D. p! Q https://yiyan.baidu.com/welcome,希望您在体验当中给予更多意见,文心一言邀请码:KFCVME50RMB,2023年3月16日24:00前有效。4 [1 c/ z; `" D6 l' h" t% ]) j
嗯,万物疯狂星期四(手动狗头)。 |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|