|
机器之心报道 2 a! Z3 W& _7 {$ e
参与：杜伟、张倩前几天，OpenAI 发布了 7.74 亿参数量的新一版 GPT-2，并表示将在几个月之内发布 15.58 亿参数量的完整版本。但还没等到完整版官宣，有人就已经等不及了，索性自己动手复制了一个 15 亿参数量的 GPT-2，并将其命名为 OpenGPT-2。项目作者是来自布朗大学的两位硕士研究生，他们复制 GPT-2 的花费大约是 5 万美元。 ! z2 a/ W: P% V' @) j
% z% K! S6 R+ _# T" w3 H& N
项目的两位作者：Aaron Gokaslan 和 Vanya Cohen 。
$ W) F8 n* \9 O' R读者可以在 Google Colab 上访问该模型并生成文本。
8 p. k% t1 P2 uGoogle Colab 地址：https://colab.research.google.com/drive/1esbpDOorf7DQJV8GXWON24c-EQrSKOit4 N% t6 O* t. z9 u- p3 r: _# K2 i$ A
/ x' a- B$ S! Z$ o: v3 s$ Z6 p1 d. o7 g模型权重：https://drive.google.com/drive/u/0/folders/1KfK5MXtvgH8C615UUZoKPIUVJYIdJxX12 Z% ~+ b+ t$ B0 Q; J# N/ p5 _
作者表示，复制 GPT-2 没有那么难，论文中的很多结果都是他们两人可以复制的，并且二人并没有语言建模的经验。所以，只要你感兴趣（壕），你也能自己复制一份。
# s! P6 k3 Y& v0 M3 s9 H, E/ }
8 r$ M2 A+ O/ B3 F+ R# S. u' O, d2 m. A
复制方法和成本
+ @6 q* B$ D, ^6 j" }2 V$ n; P
) R9 Y7 B5 c& o% l# Q7 BOpenGPT-2 的实现基于 Grover 模型，通过修改它们的代码库来达到 GPT-2 的语言建模训练目标。由于 Grover 模型是在类似的大型语料库上进行训练，所以很多代码和超参数很容易重复使用。他们也没有对 Grover 的超参数进行大量修改。
; O, @% s3 `+ Q1 s9 T x
5 p! Y0 G" ^& v6 K8 r) M至于成本嘛，他们使用自己的代码从零开始训练 GPT-2 模型大约花费了 5 万美元。但需要注意的是，5 万美元只是云计算的估算成本，没有包含更细微的内在成本（在其他效率更低的易用计算资源上训练模型的效果会更差）。1 e9 a- G3 O+ c
# L: E; Q+ X) c
数据集& ?- G/ c, _* P, Y, O
" h5 d* h c% O
OpenAI GPT-2 的原始论文中有对清理数据集的详解。在该论文中，Open AI 的研究人员用到了一个名为 WebText 的数据集，其中包含数百万个网页。
. c6 w2 ~1 ?/ K: y' ^6 J2 Y4 K( Z+ X: d" \" Y3 V/ q. k( c
论文地址：https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
2 \# [7 I9 Q# B, s
; d- u- h( y) ] H( @如 WebText 一样，本文中的两位研究者首先解析 Reddit 上 3 个 up-vote 以上的所有链接。同时，他们利用了 Pushshift Reddit scrape 数据集，该数据集集合了持续更新的 Reddit 帖子、评论和有关元数据。然后，作者对这些链接进行过滤，删除那些不太可能包含有用文本或 HTML 的文件类型（即视频文件、PDF 和 CSS 格式文件）的直接链接。
# n% t! ]: b w0 \- @0 `0 l J4 W/ K' D
此外，作者还过滤了网页，以删除被各种评估基准和数据集所使用的 Wikipedia 内容。他们并不能确定自己的过滤方法是否符合 OpenAI 的标准。因此，他们使用 Newspaper Python 库从 HTML 网页上提取文本，然后使用 fastText Python 库只过滤掉英文文本。
" |6 _8 q0 x" r+ F
$ k* x8 u) S: b2 o; _& K具体来说，作者使用了 WhatTheLang python Wrapper。他们利用局部敏感哈希（locally sensitive hashing，LSH）删除这些文档。最后，他们将这些文档散列到了 5-gram 的集合中，并删除了相似度阈值大于 0.5 的所有文档。; p. T* Y1 n" a
1 l* K0 b1 T3 g2 u. T, }$ k7 h3 ^作者还从数据集中删除了 token 数少于 128 的文档。这些短文档往往质量较低。作者将这一数据集作为 OpenWebTextCorpus 发布。8 n5 Q5 v8 T* b
: E: U4 U2 w) a
数据集链接：https://skylion007.github.io/OpenWebTextCorpus/) R1 G1 h) v9 w+ e0 L' X: u! a5 }
( G# q8 I# ?( j# B* E: |, j
在编码数据集时，作者使用了 Radford 等人发布的适用于小模型的 Binary Pattern 编码器。他们还利用 OpenWebText 网页爬取代码库的修订版作为自身数据集集合的起始点。) @. i( P. h- b8 T5 I6 e3 @7 P
& R- ^" V2 R; N. g( |5 q% b+ x w& N& u从公开发布的 WebText 的 26 万篇文档的集合来看，作者发现所有文档的双字节编码（BPE）长度最小为 40，最大为 1024。而 OpenWebText 的不同之处在于作者将文档长度的最低值设为 128 个 token（替代 BPE），并且不限制文档最大长度。此外，原始 WebTextCorpus 是在这些样本可用之前发布的，因此作者没有使用这些信息来生成清理启发式。
5 [ x! {+ l. }6 F. e: W( O! S* J( F7 C3 z9 f
尽管在训练分布上存在差异，作者依然得出了与多数数据集接近的困惑度。' Q1 q& }- _8 V' Q4 b
6 ~6 D1 `! t/ L# ~' L$ n1 L" s
/ \0 m5 \2 j3 b% R效果
7 `- x0 H- y- t! Q2 ~" f1 I5 [; [" l* F+ C8 E( j
两位作者在 medium 博客中展示了 OpenGPT-2 的生成效果。他们提供给模型的提示为：「Recycling is good for the world. NO! YOU COULD NOT BE MORE WRONG!!」，输入模型之后得到了以下输出：3 c5 U8 h) m2 C9 s
4 }. a, `# q0 I) \/ {! Z5 }- u3 G1 d0 }7 }% y$ @9 u: j. B/ l
% Y. D8 u" e9 l0 _& _$ h7 |+ \reddit 网友也根据作者给出的连接进行了测试，并将测试结果与 OpenAI 前几天公布的 7.74 亿参数量版本进行了对比。有人表示：# ~9 p# \6 `! m3 ?& v
 我使用相同的提示分别测试了 OpenGPT-2 和 OpenAI 的 GPT-2 7.74 亿参数版本，结果还是 OpenAI 的输出效果更好，所以作者的复制过程或许存在一些问题。
0 V3 A' J/ V+ P k7 W7 o
" f! } Q& w- q! f- v( K0 \当然，也有人认为 OpenGPT-2 的效果更好：
5 C5 J0 b* ~7 _
, n" g* I4 z# _: V, v
' ~! E) f! `% a2 p" v8 g我认为作者的 OpenGPT-2 效果优于 OpenAI 的 GPT-2 7.74 亿参数版本，但还不足以用来制造令人信服的假新闻。几次尝试输入「Shocking revelation! Vladimir Putin and Donald Trump are」，我得出了以下效果最佳的文本。该文本能够更长时间地保持语义连贯性，语句也更有意义，但还是比较容易被识破。但不可否认，OpenGPT-2 对研究确实很有帮助。" b1 R Q, {, q! J" c' R/ v
# h3 M+ w( I8 m w O+ X3 m但我还有一个疑问，OpenGPT-2 到底只是把它读过的文本随机组合到一起，还是真正地创造出了新文本。
/ n# R; {: H. D, F7 v- P- m
- A* y$ y2 t8 Z$ Y! X" ?* Y1 ^+ m) @: P# l. ?
' K0 t7 Z7 c9 x' e M至于 OpenGPT-2 的生成效果究竟如何，大家可以根据文中提供的链接测试一下。3 M& [. p, R# J' z( G. G& C
& O% l( p! f# g5 p: X参考链接：
/ T. b2 e# D4 y% p
/ O7 R) G& C' x- O$ I7 R2 a, Q) @7 U
4 D0 \- q6 I- N% g! r. |
5 V2 t! k. S9 C( i5 N5 }https://www.reddit.com/r/MachineLearning/comments/cu9xgi/p_opengpt2_we_replicated_gpt2_because_you_can_too/
e5 |- v- R3 H& |+ H# Y( @" ~- lhttps://medium.com/@vanya_cohen/opengpt-2-we-replicated-gpt-2-because-you-can-too-45e34e6d36dc0 _/ m* [4 n: W' i! K
- K# Z$ c n [0 U1 b$ \4 p1 a {
9 K& ]& `' K# u: t' U k' W0 e& {% m n! P
WAIC 2019 开发者日 将于 8 月 31 日在上海世博中心举办，包含 1 个主单元、4 个分单元、黑客马拉松比赛和开发者诊所互动区。
' C- h0 ]" Q0 H% u
% |% \1 }# P( [, W% G届时，全球顶尖 AI 专家、技术大牛、知名企业代表以及数千名开发者将齐聚上海，围绕人工智能前沿理论技术和开发实践进行分享与解读。
9 B" e+ N4 ?, V& Y: F0 m点击阅读原文，立即报名。 t" N U/ H9 D) i: q
3 l, ]+ _# x4 v
; R4 X3 N f, i+ y4 @! ]6 S来源：http://mp.weixin.qq.com/s?src=11×tamp=1566630003&ver=1809&signature=lixpkgck3Jci-PJs9nuYQ2-e-AoYyRsK9T2JfY8UTHbrfqeLiSdjvkGmvntU-OVvGe8*llf7XPaBdBKSdmrL7CrALKS1LX-KQs*HOTH8twOu5W3TN*s6mdYxiqgYsckc&new=1) S) T( m6 j% l& V3 ?2 c4 x5 F
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！ | 
|手机版|小黑屋|梦想之都-俊月星空
( 粤ICP备18056059号 )|网站地图
发表于 2019-8-24 15:03:59
