字节跑步进场“大模型”，人工智能黄金十年已开启

福特婚车队长

最新消息，字节跳动在大模型上已有所布局，分别在语言和图像两种模态上发力。
// 字节紧急布局 //
据报道，语言大模型团队由字节搜索部门牵头，团队规模在十数人左右。图片大模型团队则由产品研发与工程架构部下属的智能创作团队牵头。字节跳动语言大模型团队在今年组建，探索方向主要为与搜索、广告等下游业务的结合，" 搜索业务部门、AI Lab 和 AML（应用机器学习）团队都调了一部分人支援语言大模型，团队目前的预期是在今年年中推出大模型 "。据悉，语言大模型团队负责人与图像大模型团队负责人的间接和直接汇报对象，均为 Tik Tok 产品技术负责人朱文佳。
' S$ ~9 _  c- V/ x6 i对 AI 领域的布局，字节的反应速度一直较快。据了解，目前 AIGC（AI 生成内容）技术也已结合到头条的内容创作以及抖音的图文内容生成中。比如 2021 年，抖音上线的可以把人脸卡通画的 " 漫画脸 " 就小范围出圈。
ChatGPT 模式证明，大模型的训练是入场费高昂的长跑。在算力保障方面，字节旗下的企业技术服务平台火山引擎，在 2021 年正式进军基础云市场（IaaS 层），为大模型所需的算力奠定了基础。
// 大厂跑步进场 //
所谓 " 大模型 "，通常是在无标注的大数据集上，采用自监督学习的方法进行训练。之后在其他场景的应用中，开发者只需要对模型进行微调，或采用少量数据进行二次训练，就可以满足新应用场景的需要。
在大模型的框架下，ChatGPT 所使用的 GPT 模型，每一代参数量均高速扩张，预训练的数据量需求和成本亦快速提升。据资料，仅 GPT-3 训练一次的成本约为 140 万美元，对于一些更大的 LLM 模型，训练成本介于 200 万美元至 1200 万美元之间。因此说进入大模型首先得肯烧钱。另外从参数数量上，国内并不缺数据，百度、字节跳动这样的公司都有海量的数据积累，不过后续包括数据清洗、标注以及模型的结构设计，训练、推理等都需要时间积累。此外想做大模型，不仅是资金，还有人力和基础模型，对于互联网大厂而言，难度也是不小。
' X  U6 d9 a1 i7 |2 O6 cChatGPT 带动了国内互联网大厂大模型热潮。据悉，目前已经有多家互联网大厂宣布正开展 ChatGPT 相关研发。此前，百度高调宣布，已站上 ChatGPT 竞赛的跑道。按照百度的规划，其将于今年 3 月推出类 ChatGPT 产品文心一言，外界猜测，文心一言要么与百度搜索引擎入口打通，要么推出类似 AI 画作平台文心一格的独立入口。
阿里方面也确认，阿里达摩院正在研发类 ChatGPT 的对话机器人，目前处于内测阶段。三六零在互动平台表示，360 公司也计划尽快推出类 ChatGPT 技术的 demo 版产品。
9 P0 B$ u: _8 Z  a% p0 {! g6 w腾讯方面还没有确切的消息传来，不过，2 月 3 日，腾讯申请的 " 人机对话方法、装置、设备及计算机可读存储介质 " 专利获授权，该项专利与 ChatGPT 的原理十分相似。
( K: ?* R* }! g! ?4 l1 ~$ B// 将获得政策大力支持 //
* I& d' e* x0 i6 p8 ?2 月 24 日，国新办举行 " 权威部门话开局 " 系列主题新闻发布会。科技部高新技术司司长陈家昌在谈到近期引起广泛关注的 ChatGPT 时表示，科技部将把人工智能作为战略性新兴产业，作为新增长引擎，继续给予大力支持。将推动人工智能与经济社会深度融合，在重大应用场景中锤炼技术，升级迭代，培育市场。