|
|
|
机器之心报道 * a( z) V9 }; ]* f0 H
参与：杜伟、张倩前几天，OpenAI 发布了 7.74 亿参数量的新一版 GPT-2，并表示将在几个月之内发布 15.58 亿参数量的完整版本。但还没等到完整版官宣，有人就已经等不及了，索性自己动手复制了一个 15 亿参数量的 GPT-2，并将其命名为 OpenGPT-2。项目作者是来自布朗大学的两位硕士研究生，他们复制 GPT-2 的花费大约是 5 万美元。 0 d3 C4 H' S; z
1 v; u8 k- T6 h: b- t# l5 C项目的两位作者：Aaron Gokaslan 和 Vanya Cohen 。& W$ q& b2 I( N9 x5 b
读者可以在 Google Colab 上访问该模型并生成文本。
5 C0 U. `4 s; d- R' _Google Colab 地址：https://colab.research.google.com/drive/1esbpDOorf7DQJV8GXWON24c-EQrSKOit
( T7 U( A1 L1 E
6 p, B! g6 M" p- `+ Z7 J$ `模型权重：https://drive.google.com/drive/u/0/folders/1KfK5MXtvgH8C615UUZoKPIUVJYIdJxX1
/ N$ G8 b3 V- a5 V/ W5 ~作者表示，复制 GPT-2 没有那么难，论文中的很多结果都是他们两人可以复制的，并且二人并没有语言建模的经验。所以，只要你感兴趣（壕），你也能自己复制一份。
/ ^/ Z! c. U/ W2 p3 l9 s3 i- _- y- R% X L- z5 K
5 ?8 H9 U: n( z3 e1 P# H7 s* b
复制方法和成本
) W. C. p, t0 f) F6 T" K# Z E! K* K
OpenGPT-2 的实现基于 Grover 模型，通过修改它们的代码库来达到 GPT-2 的语言建模训练目标。由于 Grover 模型是在类似的大型语料库上进行训练，所以很多代码和超参数很容易重复使用。他们也没有对 Grover 的超参数进行大量修改。6 J5 }- p/ M+ G0 p4 h
0 {1 c% T1 n: t& e5 o; U E至于成本嘛，他们使用自己的代码从零开始训练 GPT-2 模型大约花费了 5 万美元。但需要注意的是，5 万美元只是云计算的估算成本，没有包含更细微的内在成本（在其他效率更低的易用计算资源上训练模型的效果会更差）。/ h! M( a, o2 B: {% l) B
0 W. M2 b/ h; ~数据集
1 U3 U- A- g1 b* m. `' o: g9 C$ o: c
OpenAI GPT-2 的原始论文中有对清理数据集的详解。在该论文中，Open AI 的研究人员用到了一个名为 WebText 的数据集，其中包含数百万个网页。! d+ j4 C0 v5 ^8 |
2 [, e% n. J5 ~* i5 A* {) E4 b论文地址：https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
1 Z; Q* L/ K2 O# P, F3 L4 t, Z( ^8 k! \5 }- o
如 WebText 一样，本文中的两位研究者首先解析 Reddit 上 3 个 up-vote 以上的所有链接。同时，他们利用了 Pushshift Reddit scrape 数据集，该数据集集合了持续更新的 Reddit 帖子、评论和有关元数据。然后，作者对这些链接进行过滤，删除那些不太可能包含有用文本或 HTML 的文件类型（即视频文件、PDF 和 CSS 格式文件）的直接链接。- @" N/ s2 J, X9 |
- M+ P: G* x! n. F) O8 L8 @ A此外，作者还过滤了网页，以删除被各种评估基准和数据集所使用的 Wikipedia 内容。他们并不能确定自己的过滤方法是否符合 OpenAI 的标准。因此，他们使用 Newspaper Python 库从 HTML 网页上提取文本，然后使用 fastText Python 库只过滤掉英文文本。
/ D8 p& y/ J" R6 p8 @: p# O; k4 k4 `4 k: {1 m) Q) P8 ^! @
具体来说，作者使用了 WhatTheLang python Wrapper。他们利用局部敏感哈希（locally sensitive hashing，LSH）删除这些文档。最后，他们将这些文档散列到了 5-gram 的集合中，并删除了相似度阈值大于 0.5 的所有文档。
' d2 O/ w! M$ d2 j4 K$ ?/ C- D
$ Q- Z* g( q3 z, d2 u: R3 G" g. w作者还从数据集中删除了 token 数少于 128 的文档。这些短文档往往质量较低。作者将这一数据集作为 OpenWebTextCorpus 发布。
% y+ z! L6 H. [: Z: v: z; @2 `3 Z" T2 h
数据集链接：https://skylion007.github.io/OpenWebTextCorpus/
9 d. J, r( T/ c/ ~& T$ f4 Q3 @: ~8 w1 V! d1 Q& ^ Y
在编码数据集时，作者使用了 Radford 等人发布的适用于小模型的 Binary Pattern 编码器。他们还利用 OpenWebText 网页爬取代码库的修订版作为自身数据集集合的起始点。
( @. i, }5 Y+ e+ d. r1 S- T4 I% N) H: r
从公开发布的 WebText 的 26 万篇文档的集合来看，作者发现所有文档的双字节编码（BPE）长度最小为 40，最大为 1024。而 OpenWebText 的不同之处在于作者将文档长度的最低值设为 128 个 token（替代 BPE），并且不限制文档最大长度。此外，原始 WebTextCorpus 是在这些样本可用之前发布的，因此作者没有使用这些信息来生成清理启发式。
4 E+ z+ m) v C5 C; a8 ~; E$ C E( r+ ?' t
尽管在训练分布上存在差异，作者依然得出了与多数数据集接近的困惑度。. ]' h: K$ T, n( S9 X
+ ^! K5 }, T2 A3 [* B8 J. n% r. E! C
效果
* t- M' V9 ^- ?; y' B6 N! j& D# a4 M u! O3 t
两位作者在 medium 博客中展示了 OpenGPT-2 的生成效果。他们提供给模型的提示为：「Recycling is good for the world. NO! YOU COULD NOT BE MORE WRONG!!」，输入模型之后得到了以下输出：
8 f. `7 d* |, n) U: z4 z! u5 N, Q+ q
Z9 l- ?6 `! ^! c3 d$ A# e" m/ M# ]- i* x, Z$ y
reddit 网友也根据作者给出的连接进行了测试，并将测试结果与 OpenAI 前几天公布的 7.74 亿参数量版本进行了对比。有人表示：# K) k* R( l5 Y1 l- C. }! S
 我使用相同的提示分别测试了 OpenGPT-2 和 OpenAI 的 GPT-2 7.74 亿参数版本，结果还是 OpenAI 的输出效果更好，所以作者的复制过程或许存在一些问题。 - M- [- {0 m) `$ R
1 z8 k4 Q r7 e m, p当然，也有人认为 OpenGPT-2 的效果更好：) \% ^: S) v$ g5 O# t4 h" m
V# C+ I" ~. ~/ E' u
5 h# p% Y5 \% U# }& Q我认为作者的 OpenGPT-2 效果优于 OpenAI 的 GPT-2 7.74 亿参数版本，但还不足以用来制造令人信服的假新闻。几次尝试输入「Shocking revelation! Vladimir Putin and Donald Trump are」，我得出了以下效果最佳的文本。该文本能够更长时间地保持语义连贯性，语句也更有意义，但还是比较容易被识破。但不可否认，OpenGPT-2 对研究确实很有帮助。
8 M$ n" D8 r; w( p5 a3 ^, j$ n. G5 M: N$ [; Q2 y- x
但我还有一个疑问，OpenGPT-2 到底只是把它读过的文本随机组合到一起，还是真正地创造出了新文本。
# Y3 g$ Y" X3 l0 `% e" n5 X
1 G; o" X, C( s0 B9 E- l
( c4 m( h" R9 I _: N9 o( k0 U
; i0 W" I$ l' B$ k5 S% c8 f3 E至于 OpenGPT-2 的生成效果究竟如何，大家可以根据文中提供的链接测试一下。
: H9 I& Q( {5 G% t& x {; ~" ]" a
+ `) b7 \& N; B+ h参考链接：- S2 n+ g+ F) _$ {
- G( \8 j* x/ @ t8 v% v9 e* a8 e. }8 p" z1 h1 x
9 X' X8 H1 p* k2 G, @6 X
https://www.reddit.com/r/MachineLearning/comments/cu9xgi/p_opengpt2_we_replicated_gpt2_because_you_can_too/0 f" ^% G5 _; V- h+ l! I* z" e
https://medium.com/@vanya_cohen/opengpt-2-we-replicated-gpt-2-because-you-can-too-45e34e6d36dc
. m6 L9 Q9 {8 w( t3 b- ?' m
: R; A* }9 P i0 Y D
4 w" `3 u! J' k/ t, y
3 x+ {% H, m" K; I) wWAIC 2019 开发者日 将于 8 月 31 日在上海世博中心举办，包含 1 个主单元、4 个分单元、黑客马拉松比赛和开发者诊所互动区。 ' B/ g" f1 R. B5 I, C0 N, I7 Y
2 f2 Q6 w" o, x/ _! X; N届时，全球顶尖 AI 专家、技术大牛、知名企业代表以及数千名开发者将齐聚上海，围绕人工智能前沿理论技术和开发实践进行分享与解读。 % C0 X% i7 k) F! o% X6 K
点击阅读原文，立即报名。 ' h7 `; D5 `0 k. N+ } \
j- h+ Y; p$ y( T& H
) |; j8 u( z% R# I4 p0 @# r' w
来源：http://mp.weixin.qq.com/s?src=11×tamp=1566630003&ver=1809&signature=lixpkgck3Jci-PJs9nuYQ2-e-AoYyRsK9T2JfY8UTHbrfqeLiSdjvkGmvntU-OVvGe8*llf7XPaBdBKSdmrL7CrALKS1LX-KQs*HOTH8twOu5W3TN*s6mdYxiqgYsckc&new=1
[4 _6 x8 z* z, |, }3 p7 W- ~免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！ |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
×
|
|手机版|小黑屋|梦想之都-俊月星空
( 粤ICP备18056059号 )|网站地图
发表于 2019-8-24 15:03:59
