新数据时代：谁能占据新的C位

lkamxmk

; _, o; y2 v1 ^0 Z' O, T
撰文 | 懂懂   编辑 | 秦言
+ F3 \: X- J& l% f0 D来源：懂懂笔记

: _5 Q5 j7 I4 J% e- y
据说苹果的iCloud在中国布置了1000个PB，已经可以满足所有国内苹果用户的云存储需求。而在普通人看来，1000个PB应该是一个难以想象的数据存储量。但是，这些来自于消费者（C端）产生的数据，在企业级（B端）数据面前，则是小巫见大巫了。
4 O) H, m2 t& e& L

目前华中科技大学进行的脑科学研究，第一期数据量规划就是25个PB，未来要扩大到100PB；一辆达到L4级别的自动驾驶车辆，一天产生的数据就是0.5个PB，如果有1万辆这种L4级别的汽车上路，一天就会有超过5000PB的数据量产生；而智慧城市场景中的1000路视频设备，平均15天就会产生近1个PB的数据。按照一个城市需要几万个到几十万个视频设备来计算，随便一个智慧城市的数据存储就超过苹果这些手机巨头了……


这些只是今天我们能看到的数据量，“数据采集器的精度，每几年就会提高一个数量级。所以每过两三年时间，整个数据就会上一个数量级。”浪潮存储产品线总经理李辉表示。


$ X; v9 S  J/ J不仅如此，5G网络高速率、广连接的特点，促使IoT以更快的速度爆发，未来会有更多的终端、采集器联入网络。IDC数据显示，2025年全球新创建的数据将达到175ZB，如果把这些数据全部存在DVD中，那么DVD的高度会是地球至月球距离的23倍，或者环绕地球整整222圈。

9 B- s/ {) t- J
' Y0 x5 f6 b1 F  f从PB到ZB，传统数据存储方法显然已经无法应对数据量的裂变——2019年，新数据时代元年已经到来。
5 C% }+ |$ o1 K' tNo.1需求倒逼存储迭代，新数据时代降临在清华大学的一个实验室里，28台3500万像素的高速相机正对着一只实验台上的小鼠，这是一个极具挑战的实验。


  W: t$ y1 i! G; e5 ]' C0 T1 C8 E& y3 M当给小鼠注入萤光剂后，血液开始循环，实验随即开始。此时，28个镜头组成一个矩阵，以每秒钟30帧记录着小鼠血液流动的轨迹，每一帧的记录都要形成一张大图，追踪每一帧里药物的流动曲线，这样的连续拍摄必须72小时不能间断。
: S2 t: G! q% l2 C( U
+ ~- Y1 d8 Z2 Z
实验最大的挑战，要求数据必须实时在线，绝对不能有任何一点点的阻塞，更不能有宕机。

* F& f) [) e# c' v. `
# }: q% ~' [. b; X0 o; u一只实验用小鼠的价格不菲，而且通常这样一个实验项目要准备很长时间。所以说，这是一个不容有丝毫闪失的项目。这项实验对数据存储提出了三大挑战：第一是精细化，每一张照片的颗粒度都非常高；第二是数据的实时性、准确性；第三是数据的可靠性，绝不能丢失其中任何一帧。在精密甄选后，浪潮分布式存储AS13000扛住了这项挑战。
6 e$ S# Z3 Q" W" P

在清华大学实验室里的这项应用，是新数据时代最典型的应用项目。类似的数据挑战，在未来将成为常态。

3 N, o' i: h" j5 V  `
& \7 g, q# X6 D3 }. p

我们无论是步行还是开车，都会在城市的角落发现越来越多的道路视频设备。智慧城市对于道路视频设备的分辨率提出了更高要求，这也意味着数据量将呈几何倍数增长。


. Z  D& ?1 X" b在成都市的三环路，为了高效管理这条主干道的交通状况，路面各处一共安装了6000多个道路视频设备，带来的存储需求高达数百个PB。存储系统需要支撑三环路共计6000路+的高清视频设备，以及每天1亿张300~800KB视频卡口数据的存储量。而浪潮AS13000面向海量非结构化和结构化数据混合存储又一次胜出，通过横向扩展，这台系统提供了EB级别存储空间。
' X. L9 E7 J1 e2 _3 e% {

2 C+ }7 O  \& |, @: L# d6 B1 j/ Q如此庞大的数据不仅要存储好，更要管理好。浪潮为分布式存储平台AS13000开发了智能运维功能，面对智慧交通海量硬盘管理需求，提供了统一资源存储管理平台，其两周时间预测准确率已经达到85%以上。

! O0 ^' U* o( b. e
! D5 ?4 k# M, A& i& \: ~, o这些助力，为成都交管部门带来了智能化运维体验——从以前被动地硬盘发生故障再进行抢救，变成了主动提前预测，提供足够时间窗口对坏盘进行数据重构，进而让20PB的存储“巨无霸”实现了自动化、智能化运维。

/ [" F0 F* T: Y8 L3 g2 w& |$ j
9 v) l2 N  c9 K. z: ^+ k. M在完成存储、管理的基础上，运营管理者最迫切需要的是从这些数据中挖掘价值。


' S- l7 w! I4 k3 p% \1 s以智慧交通应用为例：从数据收集到数据挖掘分析的演变过程中，对存储资源带来最直接的改变就是读写比例发生巨大变化，从原来的重写入轻读取，变为读写比例5:5，并且对读取的即时性提出很高要求。对此，浪潮分布式存储AS13000提供了三大创新：一是单目录可以有效支持千万级的文件，整体支持十亿级的文件数量，；二是拥有元数据服务集群技术，满足了海量小文件的快速检索需求；三是基于分级存储，使用SSD建立一级存储，热数据的IO速率提升了10倍。

3 v; ~" q: H& J+ E9 ~
可以说，也只有这样的极速性能，才能满足智慧交通每天上亿图片的违章识别AI新应用的爆发式需求。


浪潮分布式存储平台在成都三环路的指挥交通项目中起到了关键作用，目前车辆管控效率提升了500%，违章行为纠察中减少了80%的人力，三环路智能交通管控系统延时降低了3倍，交通流量效率提升了15%。这些改变有效疏导了交通状况，缓解了城市交通压力。
) c+ i- M" ?0 D+ T. c- s6 i- E& ?

; Y% W4 L, ?/ K  ?从小鼠到成都三环路的众多案例中，我们可以看到数据的“存——管——用”三大核心步骤都对存储设备提出了新的要求。这样的需求正在越来越多的应用场景中呈爆发式增长。

  p. h: t5 @7 v
, V2 b* ]+ d1 E% s: @. n: M根据IDC全球数据圈报告显示，目前能够存储下来的数据只有1%左右，其中真正挖掘出价值的数据量不足存储数据的10%。这也就意味着还有巨大的市场空间需要填补。传统的存储解决方案，已经无法适应今天数据快速的增长，以及数据价值挖掘的巨大需求。

1 v% i0 @) ?0 E0 B1 z
" r- q6 Y" B3 s  k显然，需求倒逼着存储市场的迭代，新数据时代已经来临。
No.2每一个人都被数据包围，数据淘金时代开启新技术、新应用驱动了新数据时代的到来，这并非偶然。

6 K1 a/ v* ]+ @, e
8 `/ n$ r0 m  {/ k6 o在IDC与浪潮联合发布的《2019年数据及存储发展研究报告》（以下简称《报告》）中可以发现，2019年企业数字化转型IT支出首次超过非数字化IT支出。IDC称之为企业数字化转型拐点——开启新数据时代元年。
. e' c$ V( }, f0 b
3 {" P; a7 L' E
0 S$ e- D& L. ~“51%是一个突破，标志着IT领域进入了一个数字化为主的一个时代。” IDC企业研究部助理副总裁周震刚告诉懂懂笔记，这个数字在全球的平均值为37%，而中国、美国因为互联网化的应用发展迅猛，明显高于全球平均水平，已经提前进入新数据时代。
% U. H4 d5 m% f; `
5 i  k( q, f8 ]& a; a9 Y

浪潮李辉对“新数据时代”也有自己的理解。他认为传统的IT解决了连接，以及简单记录数据的需求。而现在的IT核心都是围绕数据去做更多智能化的应用。
2 S  D. ~0 S$ C# Y  _& ]
* Q1 y4 o+ L5 Q1 h0 p2 T
% q! }) L7 H  U3 f4 P" C* M8 h例如，手机、家电、智能工厂、自动驾驶汽车……都安装了大量的传感器来采集数据。采集这些数据之后需要存储、清洗，数据处理需要的IT支出，以及后续围绕这些数据展开的经营活动、管理活动，所有投资都是数字化转型的IT支出。


凝练为一句话就是：“这些投资都是为了数字化转型，为了在数据里淘金。”李辉强调，新数据时代也是数据淘金时代的开始。


' f0 ]0 U7 i3 q0 u“这个转折点的意义在于，每一个人都会感受到数字化对他们生活的影响，无论是购物、出行、吃饭、工作……”李辉解释道。今天的用户会有一个明显的感觉：无论在哪个场景里都会发现数字化的东西：一位70岁的老奶奶去医院看病，现在也要拿着一张卡片在自助机前挂号、缴费、打印化验结果；一位山村小镇的年轻人可以整天抱着手机打游戏、看快手、购物；一个小学生无论是学校的作业，还是课外辅导课，也都离不开PC和Pad……


在数据里淘金，首先依赖于数据。每一个人、每一件物或者每一件事情都会被数据记录，然后再被数据所影响。未来的企业将更加重视如何挖掘数据价值，并以此提供优质的产品和服务，以数据作为最重要的资源的新数据时代已经来临。
$ V! i+ c0 u0 n) C1 I" n/ O: w, I

在《报告》中，可以看到很多新数据时代的变化趋势，总结一下可以归纳出四大特征：新数据形态（海量、多元和非结构化成数据常态）、新部署环境（基础架构向云-边-端演进，多云、数据管理成为企业关注重点）、新应用模式（应用场景逐渐细分，个性化存储解决方案需求上升）以及新价值需求（创新存储技术和架构将助力数据价值释放）。
8 z7 g& ~9 f9 M8 s3 [# S1 @
/ n2 {7 A2 X4 R; C% n4 C3 ?3 I7 ]1 @
那么，存储作为新数据的载体，也变得更加重要。新数据时代对新存储提出了新的要求，比如闪存阵列成为关键业务首选，分布式平台是新趋势，多云环境下提升存储可用性，存储同样进入了智慧运维时代。
0 \1 s( W2 d  T- u: o* U1 j& MNo.3穿越技术周期，新数据时代的中国力量

/ ]+ |$ I8 o8 S. t, u0 b
7 F8 W& W! v- A+ w3 j. `“在过去传统的存储架构上，国外厂商的优势还是比较明显的。但是今天，国内厂商与他们已经站在同一个起跑线上。因为整个应用模式跟过去完全不一样，大家都是从头开始。”IDC周震刚认为，浪潮等中国IT企业在新数据时代已经跑在全球前列。“其实相对新数据时代，中国因为互联网行业发展迅猛，同时浪潮这样的科技企业与互联网公司合作也非常紧密，因此在这方面的积累反而跑在了别人前面。我觉得未来中国企业还是会有很多相对来说更好的机会。”
# D  J! t2 [/ n6 D
) S: R3 x% H, h; X
% Y& _. D& \3 U4 |2 H浪潮大约在2000年开始投入企业存储的相关研发，彼时国外企业已经拥有相当成熟的技术。“那时候我们没有太多核心技术，存储又是技术门槛比较高的领域。但我们清楚，这是一个长期战略，我们必须坚定不移地去投资，去掌握存储领域里面的全套技术。”李辉说道。

' K! ~& R- x0 L
" u) C5 i% Q3 A0 t- f) ^! r5 B这个“长期”真的非常不容易。首先浪潮、华为这样的中国企业几乎是零基础开始，没技术没客户，必须要忍耐很长时间没有任何回报的投资过程。而前面的巨头有技术、有资金、有客户，技术也在不断更新，一直处于领跑的位置，追赶绝非一蹴而就。
9 W% G7 B2 X. {0 b. a

同时，IT技术变化非常快，这导致存储技术也在不断迭代，“我们这个长期投入的战略穿越了很多个技术周期。”显然，这对浪潮的研发也是巨大的挑战。

+ W1 }. s* W: y3 K- Y
  O3 ~$ }* i1 b/ t) Y/ @' Z多年来，浪潮积累了一流的存储研发团队，在浪潮集团的五个研发中心构建了千人级研发团队，并且有六个国家级研究机构一起支撑存储研发工作。
( q; f; N+ C( \  R# U8 @: T! ^
/ `5 U* S2 |( M, a! g
. B5 H' W7 U7 _7 @% t- d% H另外，浪潮也一直在积极参与核心存储产业技术组织，是存储产业技术创新战略联盟理事长单位，也是海量存储标准委员会成员。近年来，浪潮积极参与国家存储领域的标准制定，主导了国内存储领域三个最基本的、最核心的存储国家标准，包括磁盘阵列标准、网络存储和备份存储标准。在这些过程中，浪潮同时积累了相当多的发明专利。
' K9 L: B) Q0 r% ^8 x  u& m1 ^/ o

8 Q. I1 ~# s' H3 F+ s8 N' L9 E源于持续投入的决心，经过多年的技术积累，浪潮逐渐掌握了全栈技术。“应该说我们已经掌握绝大部分的技术，也有实力去做一些底层芯片的设计 。我们的技术能力已经到了一定程度，现在到了释放我们这种技术能力的阶段。” 李辉如今的底气很足。

  {% P1 K4 D' ?. ~1 w# J
数据应用最重要的几个领域，例如管命的地方（医院）、管钱的地方（银行）、管数的地方（运营商），这些行业对存储的要求极高，浪潮的存储设备已经在上述领域被大量使用。
& I+ ~5 S; o4 |3 ^3 P* n% J$ ]

除了技术上的长期积累、厚积薄发，中国厂商还拥有一个绝好的机遇：中国互联网的快速发展，给了他们一个弯道超车的机会。中国互联网发展在全球都处于领先地位，很多创新的应用都来自于中国，特别是在移动互联网、AI这些新的方向，中国也跑在了前面。与此同时，浪潮也跟着客户一起跑在了技术的潮头。 
3 c) G: X( T& `( _  q
& S1 w4 K, c6 u! r. ]! r' g: y
比如中国移动正在推进的“大云战略”，演进目标就是把所有的通讯基础设施当中的存储设备，从原来的架构换成分布式架构，这在新数据时代就是浪潮这些中国厂商的机遇。

; r. M1 ~2 s6 F' d
可以说，经过近二十年的投入与追赶，新数据时代的到来，给浪潮这样的中国IT企业一个领跑下一阶段的绝佳机会。
8 n" z6 B! g9 @8 }9 k

+ A6 s' J( M$ g  G/ R$ |$ [/ H当下的存储市场是一个转折点，在数据淘金时代，中国厂商将成为真正的主角。

& ]3 A+ g! b. l

3 r. H; j% @* `: O  a2 Y9 {# u9 T

# ]0 |6 n, W) l' q+ k
• “车黑”之战
  8 C" u, @3 f7 \. M$ }/ s. w
• 潮鞋越“炒”越邪
  
• 如果B站不再需要答题
  ' p" v: m0 @; j$ f
• 房企巨头“触电”，先入局的中小玩家为何炸营？
  
• 网络文学二十二年：从免费、收费再到免费的轮回
  
• 贴一张一毛钱，日贴千辆共享单车的“幕后黑手”是谁？
  ( o. U" w; y' ]0 W* x5 o! m

, ?4 {6 g7 l% B" F4 `
! q, q0 _" Y% `1 ?" q. P6 i- F

来源：http://mp.weixin.qq.com/s?src=11&timestamp=1571932805&ver=1932&signature=lkKIWGq-HDafAnaJfc*edZ5hoo0GHAPk-9kmyeYcA0bpRAHDYTIptDWedjTMEuuHJtNoCw*XCUkADvNPwO-oqEyqWn9gZ5CiIqdLxgVwy8vfOebF0Z2z8MKJCC90L9nV&new=1
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！