京东6.18大促主会场领京享红包更优惠

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 875|回复: 1

GPT-4背后的开发者:七大团队,三十余位华人

[复制链接]

1647

主题

726

回帖

6767

积分

论坛元老

积分
6767
发表于 2023-3-19 00:17:29 | 显示全部楼层 |阅读模式 来自 江苏苏州
始于谷歌,发迹于 OpenAI,这是很多 GPT-4 贡献者的职业轨迹。& ~) e7 E2 g+ {, G. b! M
            这个星期,OpenAI 大模型 GPT-4 的发布让全球科技圈的技术竞争进入了白热化。几天之内,ChatGPT、必应搜索和 Microsoft 365 相继接入 GPT-4,微软的 AI 应用瞬间比竞争对手拉开一个身位,甚至有人说,新的工业革命开始了。" R/ h5 r5 w) v8 x" E0 L( F
            一方面我们被 GPT-4 的效果所震撼,一方面我们也迫不及待的想要了解背后的技术,好奇它的训练方法、使用的算力等。
+ m" }) |) J7 r3 m. Y5 x( u            但遗憾的是,OpenAI 并不 Open。在公开的论文(其实更像技术报告)中,OpenAI 明确地说,GPT-4 模型使用 RLHF 精调外,不会公开任何技术细节。
! b1 o" U1 ]/ `4 g$ R                        
0 R$ g/ Y! \1 e( q, D% ?; @            鉴于 GPT-4 等大型模型的竞争性与安全影响,本报告不包含有关架构(包括模型大小)、硬件、训练计算、数据集构建、训练方法等更多详细信息。6 \  ~" {* _3 g' X
            不过,在此报告中,OpenAI 详细列出了贡献者及其负责的工作内容。这值得我们细致研究。这几百人的贡献者名单与分类,能让我了解到 GPT-4 的成功背后包含了哪些部门、技术分枝的努力。
+ z1 y2 d; y$ s1 U, D/ J( s            在这篇文章中,我们对有代表性的贡献者进行了盘点,期待能为读者带来启发。% B3 s; G: i3 k. C$ x' G
            研发人员占绝大多数
9 E' b$ {: r) e. P" v" ~" h            从组织架构的设置上看,GPT-4 幕后的研发团队大致可分为七个部分:预训练(Pretraining)、长上下文(Long context)、视觉(Vision)、强化学习 & 对齐(RL & alignment)、评估 & 分析(Evaluation & analysis)、部署(Deployment),以及其他贡献者(Additional contributions)。, t5 d6 g3 q! E
            预训练部分的工作细分为:
! I2 h) O" ?! l) r; _8 ]            计算机集群扩展(Compute cluster scaling)' N- e% l' d. p/ M; m/ X- `' s. G
            数据(Data)) N9 n3 \$ ?. ?3 p
            分布式训练基础设施(Distributed training infrastructure)/ g1 `6 \* H0 }0 @! ~/ w# |
            硬件正确性(Hardware correctness)" G3 N2 u) d; ^8 f8 q/ r# N
            优化 & 架构(Optimization & architecture)3 z) K, a8 |! d' x
            Training run babysitting# s2 [; B' p7 ?! z+ T
            长上下文部分的工作细分为:
, e: J3 k$ m8 Q' W            长上下文研究(Long context research)
3 o# m  b& \6 n# x  ]- B            长上下文内核(Long context kernels)
( m# V7 \1 D, X9 |" O            视觉部分的工作细分为:
! d5 C: Y8 g" @' A. b            架构研究(Architecture research)
6 v8 q/ }# I" R6 G' X) N            计算机集群扩展(Compute cluster scaling)
/ h# k! x) O( {1 W            分布式训练基础设施(Distributed training infrastructure)& s. y: P! r9 l" K1 M0 u$ t
            硬件正确性(Hardware correctness)% D& a4 ?1 J% `5 X, U
            数据(Data)! X" V, p4 v0 w" y! E4 [9 S
            对齐数据(Alignment Data)* P' S- E% p3 q: I
            Training run babysitting/ g2 @& g2 Q6 Z6 J3 k! x0 z3 A) l- ?
            部署 & 后训练(Deployment & post-training)
0 a9 U, E" M% C) ^0 P            强化学习 & 对齐部分的工作细分为:+ \- S8 L3 Q8 a3 Z) c) S
            数据集贡献(Dataset contributions)
1 o! M3 }9 B5 @. A3 e+ F/ @            数据基础设施(Data infrastructure)
2 Z  s5 S! j% W$ u- Y/ f- n' ^7 M            ChatML 格式(ChatML format)' u' `6 q$ p' y& j9 f" h9 a& f- n
            模型安全(Model safety)
, Q7 _) v; V* M. I- C" S; u2 q            Refusals
. Z0 p7 ?1 g' K5 g0 a  o( c7 P: S5 n            基础 RLHF 和 InstructGPT 工作(Foundational RLHF and InstructGPT work)
& N1 g$ Z( n, F            Flagship training runs# n& v) x- |, T- P
            代码功能(Code capability)
0 l& Z; _: r0 E( y& i; u  f            评估 & 分析部分的工作细分为:1 A$ V0 J! U+ b7 R' t
            OpenAI Evals 库) _2 N) ^' H" D  |  }- y
            模型等级评估基础设施(Model-graded evaluation infrastructure)2 o, M" t$ C1 q) p; N- a$ k' {
            加速预测(Acceleration forecasting)# n& q/ H# Y0 Y4 ~
            ChatGPT 评估
6 T5 [2 |" r7 V, h6 N# V4 w            能力评估(Capability evaluations)
, O  r/ X- `! _/ u4 I            编码评估(Coding evaluations)
4 w, P8 [8 S2 }* _0 _            真实世界用例评估(Real-world use case evaluations)  Y3 i( [0 V) s/ U8 R% e, `2 F
            污染调查(Contamination investigations)+ p6 q4 j8 f) P, d6 q: n
            指令遵循和 API 评估(Instruction following and API evals)
6 f3 p  Y; V% t7 M5 D) H$ R* H8 m            新功能评估(Novel capability discovery)# Q6 S. m) k0 D8 C  |9 C
            ……
5 t7 H7 H2 [7 |            细读贡献者名单,不难发现,GPT-4 项目团队的成员通常「身兼数职」。对于希望追赶 ChatGPT 的科技公司来说,OpenAI 提供的部门架构样板提供了一些可以学习的思路。另外,它对于 AI 领域人才的未来发展方向或许也有一些启示。: o, j7 G& s4 m0 t% s5 S0 `
            在 ChatGPT 发布之后,OpenAI 在人才招聘方面也做出了一些调整,招募了数十名前谷歌和 Meta 员工来创建人工智能聊天机器人。) P- }% m& i/ o# u- j
            在 OpenAI 上,谷歌作为「硅谷黄埔军校」的名头算是坐实了:根据 LeadGenius 和 Punks & Pinstripes 的数据显示,该公司的 300 多名员工(数据截止到 2023 年 1 月)中有许多来自谷歌和 DeepMind 的母公司 Alphabet。数据显示,OpenAI 目前雇佣了约 59 名谷歌前员工和约 34 名 Meta 前员工,同时包括几名苹果和亚马的前逊员工。
0 K3 Y2 o& C3 _6 f* L& I                        
5 [+ m/ |% M/ t6 v& {( ~            鉴于 OpenAI 在 GPT-4 发布的第一时间就公开了所有贡献者名单,机器之心整理了一部分参与工作的华人学者。如果遗漏,欢迎补充。) G# l6 q0 i' a- |
            预训练组. f( p) Q5 z8 j5 }& Z$ r9 f
            Trevor Cai
3 S9 c1 @- k  _. q' l            Trevor Cai 是 GPT-4 项目中吞吐量团队的负责人。Trevor Cai 本硕毕业于南加州大学,2022 年 3 月加入 OpenAI。在加入 OpenAI 之前,Trevor Cai 曾在 DeepMind 工作近 5 年,担任软件工程师。& {) g$ G% b- W0 I: G
            袁启明
& E# O# T/ h0 L5 l) T                        8 C- C9 [4 j% i4 L. @; h0 z
            袁启明(Qiming Yuan)是 GPT-4 项目数据集来源和处理团队的负责人。袁启明本科毕业于清华大学,硕士毕业于得克萨斯大学奥斯汀分校,2018 年加入 OpenAI。此前,袁启明曾在微软工作近三年。
$ F6 k! M& U  r7 l* D4 b9 D' u            Che Chang
2 h  \1 O5 o  d  V: F9 s. B' s1 \9 Z            Che Chang 作为 OpenAI 的副总法律顾问参与了 GPT-4 的研发,他博士毕业于美国西北大学,2021 年加入 OpenAI,此前在 AWS 领导了人工智能 / 机器学习和市场业务的法律团队。最近一段时间,OpenAI 的法律团队还在招聘 AI 产品顾问。
7 O) E" m9 b6 S1 x            欧阳龙
8 v; M' Z( I! r5 m& W            欧阳龙 2019 年加入 OpenAI,担任研究科学家。Long Ouyang 本科毕业于哈佛大学,博士毕业于斯坦福大学,曾在斯坦福大学任博士后研究员。欧阳龙也参与研发了 ChatGPT 相关的技术项目,他还是 InstructGPT 论文的第一作者。
: N6 }; Y* z, R4 F6 L% S& ^4 g. h/ T            翁丽莲
( g+ V* i' t* `0 g5 \/ \( V                        
2 N1 U2 H( c' ?0 q. c4 O4 o. i            翁丽莲(Lilian Weng)是 OpenAI 人工智能应用研究的负责人,2018 年加入 OpenAI,在 GPT-4 项目中主要参与预训练、强化学习 & 对齐、模型安全等方面的工作。) d- q# N; U' f% R
            Tao Xu( j8 O: l! R. h/ O" v  m# h$ \: }/ U  Z
            Tao Xu 2019 年加入 OpenAI,先后毕业于北京大学、康奈尔大学。Tao Xu 曾在微软的必应机器学习研究组工作四年。; n) H% c; Z) \
            Jie Tang, y7 o- y: f4 ]0 H
                        
) e+ ~% w0 ]. Y5 ?! |9 W: m0 p$ j            Jie Tang 在加州大学伯克利分校获得计算机科学博士学位,导师是 Pieter Abbeel。加入 OpenAI 前,他曾在初创公司和 Dropbox 工作约四年时间。Jie Tang 本科就读于哈佛大学,2008 年获得计算机科学和经济学学士学位。
. X" H- h% K" \            Ben Wang& U/ e  a) j- J* [2 J" K+ R* P
            Ben Wang 目前是宾夕法尼亚大学本科生,2021 年加入 OpenAI。Ben Wang 参与了 GPT-4 项目的预训练和长上下文方面的工作。
; [7 r9 S5 V+ @0 [9 O            视觉组
! e. k$ m( T8 l6 h/ b            Mark Chen/ D2 ~/ s0 |) E; t' j
                        2 X( o2 v  ?1 Y2 l& z5 [
            Mark Chen 2018 年加入 OpenAI,任研究科学家,毕业于麻省理工学院(MIT)。他参与了 GPT-4 项目中视觉方面的工作。
( G( d- P' ^- h, K1 K0 m1 ^            Casey Chu) F8 Y" i; d6 K* _! j; a! i
            Casey Chu2020 年加入 OpenAI,毕业于斯坦福大学计算数学专业。Casey Chu 的主要研究方向是多模态 AI 系统,他在 GPT-4 项目中主要参与视觉方面的工作。
3 w& c$ K6 E9 T! r! z$ y/ [7 b# k            胡绳丽
1 ]2 v& D. c9 _; s1 v2 R8 X                        
& D1 |7 Y' C) H. u            胡绳丽(Shengli Hu)2022 年加入 OpenAI,她硕士毕业于复旦大学、博士毕业于康奈尔大学。她的研究兴趣在于社会科学、计算语言学、计算机视觉和语音的跨学科研究。胡绳丽曾在自然语言处理、计算机视觉、语音和应用统计方面的顶级会议和期刊上发表过多篇论文,包括 CVPR、ACL、EMNLP、ECCV 等等,并获得过最佳论文奖提名。2 `/ P' `4 P9 B" w) U$ Q9 ]
            Tianhao Zheng
/ G" P% j( I- n            Tianhao Zheng2022 年加入 OpenAI。他本科毕业于清华大学,博士毕业于得克萨斯大学奥斯汀分校。再加入 OpenAI 之前,他曾先后在英伟达、谷歌、Twitter 工作过。Tianhao Zheng 在 GPT-4 项目中主要参与了视觉方面的工作。) u7 y3 ]9 H8 `3 b
            翁家翌( ^6 F6 \+ A0 }; R( b; @" L  y
                        + E7 i3 ^7 F4 E5 H0 E5 ?8 ~! \
            翁家翌(Jiayi Weng)2020 年在清华大学计算机科学与技术系获得本科学位。本科在朱军教授组学习期间,主要参与了强化学习算法库 Tianshou(天授)的开发,该项目已获得 5.9K GitHub Star。CMU 硕士毕业后,翁家翌加入 OpenAI 任研究工程师。
. b( Q: Z; ^( j+ b8 J            强化学习 & 对齐组* @1 d1 b2 b- J- \" d
            Chong Zhang. k1 u& Q) n# P) \* }( P
                        
- j+ b  M3 n0 L" C( H: p            Chong Zhang 2010 年就读浙江大学计算机系,2014 年在加拿大西蒙弗雷泽大学获得学士学位,随后在谷歌、苹果公司担任工程师。2019 年就读加州大学洛杉矶分校,2021 年获得计算机硕士学位后,在 OpenAI 工作至今。0 j/ W- O; |# w* n1 p4 H# P
            Shengjia Zhao
/ o* u4 `$ {; f2 J4 H: ^                        
$ v6 p$ ~- s  b            Shengjia Zhao2016 年本科毕业于清华大学,2022 年在斯坦福大学获得计算机科学博士学位,师从 Stefano Ermon,随后加入 OpenAI。/ Y0 `. j! O  d9 w4 s
            Stephanie Lin
. k0 ]7 I4 r3 h; }' |: O1 g                        , w6 o1 ^! g1 [8 e; w
            Stephanie Lin 本科和硕士期间分别就读于麻省理工学院和佐治亚理工学院。加入 OpenAI 之前,她曾是牛津大学研究学者。& r) P) }$ ^6 |' ~1 Q) F2 b) S2 c6 r6 V% s
            Tong Mu. W; `2 T5 r. y7 [6 ^# }( s: q
                        
( k+ c3 i3 {+ |; y# z. b3 U' c) g            Tong Mu 本科就读于加州大学洛杉矶分校,后在斯坦福大学获得博士学位。2022 年加入 OpenAI。
" Y4 w3 ]( r8 Y; c, I0 i! E# b            Jeff Wu$ \) c# P' t. k( x
                        
$ a, b2 D9 j% O5 a            Jeff Wu 本硕均就读于麻省理工学院。他是初创公司 Terminal.com 的第二名员工,该公司被收购后,他曾在谷歌工作约 2 年的时间。2018 年,Jeff Wu 加入 OpenAI。
* m, D  }7 c, }+ o            肖凯
9 w' x5 b% _  f' T                        
" w& f# \/ |0 `* I( R) {8 g            肖凯(Kai Xiao)在麻省理工学院获得了学士学位和博士学位,曾在微软、DeepMind 等机构实习。2022 年 9 月加入 OpenAI。  y1 Z# |: ^! m, q
            Kevin Yu: \$ f# H) ^! b7 I8 s
                        4 c: c( L$ k  [; @7 Q  n
            Kevin Yu 在加州大学伯克利分校获得物理学学士学位及神经科学博士学位。2022 年加入 OpenAI。
& e* @4 s, s2 [3 W            Haozhun Jin
3 i, b( v, `: K/ ~- S                        3 B3 @' z2 O- t# b. D# l
            Haozhun Jin2013 年本科毕业于清华大学计算机系,2015 年获得斯坦福大学硕士学位。2015 年到 2018 年,他在 Meta 担任软件工程师,2023 年 1 月加入 OpenAI。
- D1 ~4 W+ d! \& _            顾世翔
- Y0 \% t; u6 c# [: p                        
, B& ]' \' [; Y/ _7 Y            顾世翔是出生于日本的加拿大华人,曾是谷歌研究院研究科学家,研究领域包括深度学习、强化学习、概率机器学习和机器人技术。他拥有剑桥大学和马普所智能系统研究所的机器学习博士学位,在多伦多大学获得了工程科学学士学位,论文指导教授为 Geoffrey Hinton。" ^. ]! M, v( n2 ^* Z, X+ A
            评估 & 分析团队
* V8 H; t  o5 r2 m            Alvin Wang3 d1 V  x7 @& C; _+ d: g+ L
                        / M: x/ W3 g$ g( t8 t" y* r3 m
            Alvin Wang2022 年 8 月加入 OpenAI,为评估 & 分析团队核心贡献者之一。此前他曾在 VMware、Tesla 等公司工作过几年。2013 年本科毕业于南加州大学。
8 @" J* `  i/ H( L5 z0 y. N            Angela Jiang9 ?  }0 ]/ `5 E
                        
" Y# ]4 x: _1 q7 ~* V6 i            Angela Jiang 于 2021 年 11 月加入 OpenAI,在微软和谷歌有过短暂的工作经历,她本科毕业于西北大学,于 CMU 获得博士学位。9 ]/ ]- E8 ^6 W+ V
            Jason Wei0 v# ?# {7 \; e2 P% H: P
                        9 {# B, }6 g" G8 c9 g
            Jason Wei 于今年 2 月加入 OpenAI,主要研究 ChatGPT。此前他是谷歌 Brain 的高级研究科学家,在那里推广了思维链提示,并共同领导了指令调优工作。他在谷歌和 Jeff Dean 等人共同撰写了关于大模型涌现能力的论文。
6 G5 O* {: c9 X6 w            Juntang Zhuang
7 L5 G/ g8 I9 N; n3 N6 w4 `% s% ?                        
. n' @) ~4 `, H7 T, J. b7 N% i            Juntang Zhuang 于 2022 年 4 月加入 OpenAI,此前曾在谷歌实习四个月。他本科毕业于清华大学,硕士毕业于耶鲁大学,并在耶鲁大学拿到博士学位。他的研究主要是为生物医学应用开发新的机器学习技术。$ ?6 }4 ^: S  J( y
            Derek Chen
% a0 U! K0 {7 ~: X( f- V                        7 o; {' b( R$ d- s  D+ S
            Derek Chen 于 2021 年加入 OpenAI,是一名技术安全分析师。他毕业于美国东北大学,此前在谷歌工作过不到一年的时间。
0 _/ A& S( l* K2 F; r            宋飏% r6 s6 M0 Q* K
                        % |7 W+ T' x+ Q7 {$ s7 S7 E( d
            宋飏(Yang Song)目前在 OpenAI 担任研究员,并将于 2024 年 1 月加入加州理工学院电子系(Electrical Engineering)和计算数学科学系(Computing and Mathematical Sciences)担任助理教授。宋飏本科毕业于清华大学数理基础科学班,2022 年获得斯坦福大学计算机科学博士学位,师从 Stefano Ermon。他的主要研究方向是机器学习,包含深度生成式模型(deep generative models),概率推理(probabilistic inference),人工智能安全性(AI safety),以及人工智能方法与其他科学领域的交叉(AI for science)。他是扩散模型(diffusion models)和分数匹配生成式模型(score-based generative models)的主要奠基人之一。他发表在 NeurIPS 2019 的工作首次在图片生成质量上实现了对生成对抗网络(GAN)的超越。博士期间他的一作论文获得了 ICLR 2021 杰出论文奖,相关研究获得了苹果奖学金、摩根大通奖学金,以及 WAIC 云帆奖。
- M+ W( ~1 A& T$ y0 ~            模型部署
: ]1 a! G. }% B6 v% W            Michael Wu
, D* z4 ^# A! e1 _. [* c- [% I- }                        
) d" G: N+ k. R9 }6 L5 H- A" G& I7 @            Michael Wu 2021 年加入 OpenAI,主要的工作是人工智能应用研究。Michael Wu 毕业于 MIT,是 GPT-4 项目的推理研究负责人。
) L! R) h( S: i6 g9 a+ O/ W9 }            Andrew Peng
$ b* W& M0 n* u3 g: w/ w4 ^                        
, l) y# S, P2 m% A! a$ E            Andrew Peng 2022 年底加入 OpenAI,他曾经在微软工作两年。Andrew Peng 毕业于加州大学伯克利分校,主要参与 GPT-4 API 和 ChatML 部署方面的工作。
9 F- f7 }! |: N3 G% D0 x5 n            吴雪枫) V9 X3 c7 Q1 O$ G) s8 u# f
                        
  [% \5 f' H/ y2 q. }% G  i            吴雪枫(Sherwin Wu)2022 年加入 OpenAI,主要的工作是人工智能应用及 API 开发。吴雪枫毕业于 MIT,在 GPT-4 项目中主要参与 API 开发和 ChatML 部署方面的工作。: L' O: `/ F9 U
            Jason Chen: p7 y* i: h% f2 R! T
                        
4 Q: H3 K8 {& o9 O            Jason Chen 本科就读于麻省理工学院,2007 年到 2014 年期间在谷歌担任软件工程师,2014 年到 2019 年任职于初创公司 Apptimize,2019 年到 2023 年 2 月任职于 Argo AI,2023 年 2 月加入 OpenAI。
0 w. }( k' T5 J' G" d0 o9 g            其他贡献者
$ F9 W# K+ ?$ h$ E/ D9 @$ r            Xin Hu
/ C: ~9 P+ q! ~                        
( H; Z, m/ K) a; |1 J            Xin Hu 于 2022 年 6 月加入 OpenAI,主要负责开发用于云安全、k8s 安全、认证 / 授权和访问控制的安全服务和平台。
& t7 M( I2 @" }! o* X; D" o            此外,在 GPT-4 的开发上 OpenAI 也对微软表示了感谢,特别是微软 Azure 服务为模型训练提供了基础架构设计和管理方面的支持,微软必应团队、安全团队也对 GPT-4 的部署等工作作出了贡献。
+ z. j) n6 X" r5 V; Y+ ?- i2 v# A2 k            参考链接:
$ \/ F+ h2 h( U5 v0 V6 p+ b1 }            https://openai.com/contributions/gpt-4?continueFlag=ee0eebd278339fc5ba428add63b4b4fd
) F" d1 B! `* |$ j            https://cdn.openai.com/papers/gpt-4-system-card.pdf

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

帖子地址: 

梦想之都-俊月星空 优酷自频道欢迎您 http://i.youku.com/zhaojun917
回复

使用道具 举报

1592

主题

730

回帖

6661

积分

论坛元老

积分
6661
发表于 2023-3-19 01:17:59 | 显示全部楼层 来自 江苏苏州
有华人在很嫉妒吗
梦想之都-俊月星空 优酷自频道欢迎您 http://i.youku.com/zhaojun917
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|梦想之都-俊月星空 ( 粤ICP备18056059号 )|网站地图

GMT+8, 2026-3-25 22:10 , Processed in 0.041608 second(s), 24 queries .

Powered by Mxzdjyxk! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表