一文看尽 TensorFlow“奋斗史”!|CSDN 博文精选

新鬼子

' m7 B" ^# A# S/ g作者 | 小宋是呢，CSDN 博客专家
本文精选自 CSDN 博客
封图 | CSDN 付费下载自东方 IC
* c/ C5 O6 P8 F
3 }- t4 u( j- u' K0 k4 e( U' L. s
7 t. Y7 N4 i  O) T  p' @1 _( G

序篇
/ }, h0 `) N% Q

2015 年 11 月，Google 正式发布了 Tensorflow 的白皮书并开源 TensorFlow 0.1 版本。
. r. n! E" n4 y" l. v2017 年 02 月，Tensorflow 正式发布了 1.0.0 版本，同时也标志着稳定版的诞生。
& \8 J+ B8 t* O7 E' m6 Q2019 年 10 月，TensorFlow 在经历七个多月(2019 年 3 月 1 日 -2019 年 10 月 1 日)的 2.0 Alpha 版本的更新迭代后，发布 2.0 正式版。
, G7 p; M/ X+ q/ j  W9 b7 C
2.0 正式版官方介绍视频
6 a9 |+ ?5 Z7 ?5 L* r虽然 2.0 正式版才刚刚发布，就已经引起了学术界与科研界广泛关注与好评：

• Google 深度学习科学家以及 Keras 的作者表示，TensorFlow 2.0 是一个新时代的机器学习平台，这将改变了一切。
  
• 深度学习研究和教育者、fast.ai 创始人 Jeremy Howard 也称赞 2.0 版本的发布是”令人兴奋的一步，与 TensorFlow 一代相比是一个巨大的飞跃“。
  ) Q% ]4 N0 I- L/ x
• 目前 GitHub 上排名第一的 NLP 机器学习课程 practicalAI 的作者以及苹果公司 AI 研究员 Goku Mohandas 在推特上说，他们正在从 PyTorch 转向 TensorFlow 2.0。
  

为什么 TensorFlow 2.0 的发布能够引发了广泛的讨论和关注？下面笔者通过对于 TensorFlow“奋斗史”介绍与解读来分析 TensorFlow 如何成就的王霸之路。
) j2 z1 `6 u0 ~4 U4 X$ ZTensorFlow 的“奋斗史”包括三个章节：锋芒初露（0.1），中原逐鹿（1.0），王者归来（2.0）。
  v3 x6 N& O4 i0 X4 h( h
/ m( p  {: l# e, o6 F( l2 W

锋芒初露·源起
( L2 O! J* N" q: {6 M

. V) @% E4 d0 k  f% h: _/ |) l在 2011 年，Google Brain 内部孵化出一个项目叫做 DistBelief，它是为深度神经网络构建的一个机器学习系统。虽然这个著名的系统并没有开源，但是 Google 研究者有大量关于它设计的论文被大家所熟知，它也被广泛应用于 Google 内部的科研和商业产品中。这个项目最早可以追溯到 2009 年，由 Geoffery Hinton 带领的团队开发的一个实现了广义反向传播算法的框架，基于这个框架，Google 内部可以快速试验新的深度学习算法并提高算法精度。比如在使用这套框架后，Google 内部语音识别的错误率降低了 25%。
后来，Google 决定将 DistBelief 打造成更加稳健、快速、通用的机器学习框架，调动了相当多的工程师和科学家投入到对 DistBelief 的改造，这其中就包括大名鼎鼎的 Jeff Dean。有了这样的豪华开发阵容，DistBelief 迅速成熟蜕变，成为一个高鲁棒和工业级的机器学习框架，这就是后来于 2015 年 11 月发布的 TensorFlow 0.1 版。
虽然相较于较早开源的 Caffe、MXNet 等优秀的机器学习框架，TensorFlow 还略显年轻，但是作为 Google 内部的第二代机器学习框架，TensorFlow 有了更加有趣的灵魂。相较于侧重于卷积的 Caffe 与刚从校园走出来的 MXNet，TensorFlow 以更加成熟完备的姿态展露锋芒。它是基于 DataFlow 的计算模型，算子相组合形成一个计算图，计算的过程就是数据在这个计算图的节点进行计算并流动。同时，这个计算图可以被切成不同的子图，并分配到不同的 Device 上，包括 CPU、GPU 和其他的计算设备，这样天然地对分布式友好。此外，TensorFlow 从一开始就被设计成运行在多个平台上，如 inference 可以运行在 iOS 和 Android 设备上，训练则可以运行在不同的硬件设备上。
2016 年 4 月 14 日，Google 发布了分布式 TensorFlow，版本号为 0.8，这是 TensorFlow 发布之后的比较重大的版本更新。Google 的博文介绍了 TensorFlow 在图像分类的任务中，在 100 个 GPUs 和不到 65 小时的训练时间下，达到了 78%的正确率。在激烈的商业竞争中，更快的训练速度是人工企业的核心竞争力。而分布式 TensorFlow 意味着它能够真正大规模进入到人工智能产业中，产生实质性影响。
: N! t2 Y( B/ ]; a9 y9 w在 2016 年 6 月，TensorFlow 发布了新版本的早期版本，版本号为 0.9，增加了对 iOS 的支持。随着谷歌增加了 TensorFlow 对 iOS 的支持，应用程序将能够在更聪明的功能集成到它们的应用程序，最终使它们更聪明和能干。

从 0.9 版本开始，TensorFlow 支持了多平台，并且进入高速发展时期，开始不断赶超并拉开与其他深度学习框架的距离。虽只是源起，却锋芒毕露，初现王霸之气。
; z1 i4 s( f" p  L
% c( n/ ]$ A: n( ]2 J$ b+ i

! ~, y, r9 w  a' i. W中原逐鹿·盛极
7 n5 I$ ?& [, p$ s( j1 |! z

0 T8 Q* v4 b! v/ n  l& W/ C, [时间到了，2017 年 1 月初，谷歌公布了 TensorFlow 1.0.0-alpha ，即 TensorFlow 1.0 的第一个“草稿”版本。2017 年 2 月，TensorFlow 在发布了 1.0.0 版本，也标志着稳定版的诞生。
( }$ J) T$ P/ R0 A! b6 z. k3 ?与已有版本相比，全新的 TensorFlow 1.0 主要有以下改进：
* Y* S7 x' p# n7 T' ^; S

• 更快：TensorFlow 1.0 超乎想象地快！TensorFlow 1.0 为未来更多的性能改进打下了基础，而 tensorflow.org 现在可提供模型优化的提示和技巧，以达到最高速度。
  
• 更灵活：TensorFlow 1.0 为 TensorFlow 引进了带有 tf.layers，tf.metrics 和 tf.losses 模块的高级别应用程序界面。TensorFlow 团队引进能够与 Keras 完全兼容的新 tf.keras 模块。
  8 Z0 b' p4 v$ s# O; \0 ~4 y8 z
• 随时就绪：TensorFlow 1.0 可确保 Python 应用程序界面的稳定性 Python 能够在不打破现有代码的情况下，更容易地获取新功能。
  

1.0 版本不仅为 TensorFlow 机器学习函数库带来多重升级，而且为 Python 和 Java 用户使用 TensorFlow 做开发降低了难度。另外，新版本的修补也得到了改善。更有意思的是，由于对 TensorFlow 计算做优化的新编译器，在智能手机上运行基于 TensorFlow 的机器学习 APP 将成为可能。Tensorflow 它已成为 GitHub 最受欢迎的开源项目。
5 e# `" P8 \) t0 l5 D下图是 KDnuggets 网站对 2018 年的机器学习框架的使用做的一个调查统计，可以看出当时 TensorFlow 已经遥遥领先于其他竞争（Keras 是一个上层封装，底层调用的还是 TensorFlow），奠定了其深度学习霸主的地位。

中国有句古话：盛极必衰，否极泰来，这句话对于 Google 的 TensorFlow 也同样适用。1.x 版本在高速发展过程中，也为自己后来发展筑起一道山，TensorFlow 也产生了很多被人诟病的地方，比如 API 的稳定性、效率和基于静态计算图的编程上的复杂性等。同时，坚持静态图模式也培养起来了足以撼动 TensorFlow 霸主地位的框架（上述图中默默无闻的第三名，后来强势崛起的 PyTorch）。
1.x 版本后期，TensorFlow 发展由于自身原因（1. 为自己后来发展筑起一道山 2.坚持静态图模式）遭遇到瓶颈。PyTorch 以动态图开发模式，统一化的模块命名方式，更加人性化的编程的方式（Pythonic），强势出道。这些优势无一不击中 TensorFlow 的痛点，不断追赶、威胁 TensorFlow 霸主地位。
下图通过搜索全世界对机器学习和人工智能类别的兴趣（Google Interest），采用过去六个月的平均兴趣分数，并将其与前六个月的平均兴趣分数进行了比较。可以看出，TensorFlow 的平均兴趣分数处于下降状态，PyTorch 却呈上升趋势。

) K! V1 H" I, ]9 t6 D下面谷歌的图表显示了过去一年的搜索兴趣。TensorFlow 为蓝色，Keras 为黄色，PyTorch 为红色，fastai 为绿色。可以看出 TensorFlow 总体呈现下降趋势，而 PyTorch 却呈现持续增长姿态，不断缩小与 TensorFlow 的距离。
- ~( y9 \. c# Y2 y4 g) X3 D( ^0 {
按这样的趋势，PyTorch 在用户搜索兴趣方面追赶上 TensorFlow 指日可待了，TensorFlow 遭遇到出生以来最大的挑战（其实 TensorFlow 也就才三岁多）。TensorFlow 会如何应对这个挑战呢？是按部就班，在 1.x 版本上进行小修小补，得过且过（这个词用得有些过了，之所以会用是刚好写到这里的时候听到这首歌，同时这个词语与表达笔者对上述方法的不苟同）；还是推倒重来，重新设计新版 TensorFlow，涅槃重生。这个选择会关乎到以后 TensorFlow 数年的发展和与 PyTorch 竞争的成败。笔者相信，Google 并不会做选择，小孩才会做选择，大人全都要。以谷歌的巨大体量，在内部执行两个方案，最后看市场反馈推出最合适的。Google 是大公司，以稳为主的策略还是很容易让人理解的。
+ Z" P# }! D. b

3 V. [5 j8 k9 L& m5 @* `. l

王者归来·槃涅
9 z5 T$ d; k2 x3 ~; @+ z; y

我们都知道 Google 推出了后者方案，选择涅槃重生，重塑自身。那么全新的 TensorFlow 2.0 究竟新在哪里呢？TensorFlow 官网给出了答复：

• Keras 与 TensorFlow 紧密集成，默认 eager execution，执行 Pythonic 函数。官方表示，对开发者来说，TensorFlow 2.0 用起来跟 Python 差不多；对于研究者来说，新框架也在低级 API 方面进行了重点投入。
  * |2 a" m1 Q2 e# K
• 为了在各种平台上运行，SavedModel 文件格式进行了标准化。
  
• 针对高性能训练场景，可以使用 Distribution Strategy API 进行分布训练，且只需进行少量代码修改就能获得出色的性能。支持 Keras Model.fit、自定义训练循环、多 GPU 等等。
  % ^, w, r3 }2 _7 I+ I
• TensorFlow 2.0 提高了在 GPU 上的性能表现。以 ResNet-50 和 BERT 为例，只需要几行代码，混合精度使用 Volta 和 Turing GPU，训练表现最高可以提升 3 倍。
  
• 新增 TensorFlow Datasets，为包含大量数据类型的大型数据集提供了标准接口。
  
• 虽然保留了传统的基于 Session 的编程模型，但官方现在建议使用 eager execution 进行常规的 Python 开发。tf.function 装饰器可以把代码转换成可以远程执行、序列化、性能优化的图。在 Autograph 的帮助下，能把常规的 Python 控制流直接转成 TensorFlow 控制流。
  - T- _% R5 ~" s+ o- e0 Q# Q7 O
• 官方提供了 TensorFlow 1.x 升级 2.0 的迁移指南，TF2.0 还有一个自动转换的脚本。
  $ x. W+ I- R0 q4 @) L' O
• TensorFlow 2.0 提供了易用的 API，能够灵活快速的实现新想法。模型的训练和 serving 也已经无缝集成在基础架构中。
  
• 更多关于 TensorFlow 2.0 的信息，可以访问官网：https://www.tensorflow.org/
  " q; m. {) I1 c

几乎每一条都直击 TensorFlow1.x 用户的痛点，广大使用 TensorFlow1.x 转到 PyTorch 的用户表示 TensorFlow 2.0 真香，纷纷倒戈。
. x7 {# B+ v6 ^& ]" TGoogle 深度学习科学家以及 Keras 的作者表示，TensorFlow 2.0 是一个新时代的机器学习平台，这将改变了一切。
$ D+ N3 c; e+ b# I深度学习研究和教育者、fast.ai 创始人 Jeremy Howard 也称赞 2.0 版本的发布是“令人兴奋的一步，与 TensorFlow 一代相比是一个巨大的飞跃”。
目前 GitHub 上排名第一的 NLP 机器学习课程 practicalAI 的作者以及苹果公司 AI 研究员 Goku Mohandas 在 Twitter 上说，他们正在从 PyTorch 转向 TensorFlow 2.0。
; O9 ~3 Q. r- D# i: [/ x此后，PyTorch 在与 TensorFlow 的争霸中将再难有胜算，TensorFlow 1.x 版本的失误给了 PyTorch 赶超的机会，PyTorch 已尽力追赶了，但是还是没有实现赶超。Now，TensorFlow 2.0 已经补全缺点，同时具备比 PyTorch 更加完备的多平台支持、更成熟的部署方式与数量巨大的用户基数。如果 PyTorch 早出生一年，或者 TensorFlow 2.0 晚发布一年，PyTorch 还是有机会的，但是没有如果，Google 依旧是最强大科技公司之一，很难反复给对手机会赶超。TensorFlow 再次呈现对于其他框架压倒式优势，实现王者归来。
2 O- A! Q3 Q1 U5 y+ A1 C% ?

6 L/ T7 W7 R2 o) }* Z1 B  P- o* |+ z终章


) |9 c( z0 J9 ]2 x) y$ G! D: C
5 K  q% \9 D9 @5 D0 T! WTensorFlow 从最开始 0.1 版本诞生时受到广泛关注，到 1.0 版本的全面爆发，再到今年 2.0 版本正式发布，它已趋于完美。TensorFlow 的成长依托于 Google 的强大研发与号召力，但 TensorFlow 的成功更归功于设计的完备性、审时度势和适时革新。
经历四年时光，TensorFlow 的发展与成功离不开先天的优秀天赋（Google Brain），更有赖于后天的努力拼搏（适时革新）。有天分又有努力，TensorFlow 的成功理所应当。
附：
1 r% J2 G% n" L! L5 e想要体验正式版本 TensorFlow 2.0 可以访问=>『TensorFlow2.0 正式版教程』极简安装 TF2.0 正式版（CPU&GPU）教程：
https://xiaosongshine.blog.csdn.net/article/details/101844926
扫描下方二维码，下载 CSDN App，即刻与博主互动起来！

9 F; x" B* }# \8 Q【END】

 热 文 推 荐 
☞ 蚂蚁金服自研数据库打败Oracle拿下世界第一；三星手机全面退出中国；微软发布Windows 10X双屏系统 | 极客头条☞ 中国物联网激荡 20 年！
4 J/ M9 [( h& Y7 U  o☞ 鸿蒙 OS 的微内核技术究竟是什么？☞ 200 行代码解读国产数据库阿里 OceanBase 的速度源头！| CSDN 博文精选
☞ 程序员 45 岁怎么了？！☞对比C++和Python，谈谈指针与引用☞肖仰华：知识图谱构建的三要素、三原则和九大策略 | AI ProCon 2019☞以太坊交易量第一合约FAIRWIN被爆漏洞, 竟是因为这个接口被滥用……点击阅读原文，即刻与博主互动起来。
你点的每个“在看”，我都认真当成了喜欢
来源：http://mp.weixin.qq.com/s?src=11&timestamp=1570273204&ver=1894&signature=wbyR5eEK5ZNuCYUNykmgSbu7lZdav7yVeotRnfrhvE*aLGBype63FQP9YgT5B2PjfShoStsKB9izwIC-OLC2YyqInaVXUYykzxGSKYW*HJypZrly6mkJ98trZtQEPJrN&new=1
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！