欧盟最新《AI网络安全政策发展框架》

buffona

- ^: D( u% j8 ?( \$ H' _欧盟网络信息安全局（ENISA）于2019年3月发布了题为《建立网络安全政策发展框架——自主代理的安全和隐私考虑》的报告，旨在为欧盟成员国提供一个安全和隐私政策发展提供框架，以应对日益普及的AI应用。
7 x' s8 Q; q+ H! R0 W* ?0 }  m
- c0 K  @; H. E, \& j4 @3 d1 ~
; ~" b8 _$ ?7 M: t5 [$ F7 l$ Z
! a; M( y% r+ ~3 k8 z+ y
本文主要观点一览：



: S1 k6 S5 o/ X0 n1. AI进入主流商用，数据收集是关键。
: R6 E6 f0 W' n8 u/ P

1 b/ z  W# D0 v" q2. 欧盟提出有关相关倡议，涵盖安全和隐私设计原则、技术规范和标准、道德准则方面。


3. 全面梳理AI的安全与隐私问题。其中安全问题包括：数据劫持和误用/系统干扰/透明性、可审计性的局限/坚持安全原则；隐私问题包括：普适性与最小化原则/数据的保护、聚集和再利用/数据处理不透明性。
! e9 x* v# y0 V1 S! K1 @8 a7 T
8 k, ?) }$ `1 B+ ]/ m
4. 网络安全领域的政策发展框架应该坚持2个原则：包容性与开放性原则
/ D& f' }& ?2 Y6 Y2 B, H, X+ G
; b2 o- `) u# ~
9 w8 ]7 z( Q2 K6 N* z/ j. t5. 本月8日发布了正式版的人工智能道德准则，提出可信赖人工智能的七个要素： 人的能动性和监督；稳健性和安全性；隐私和数据管理；透明度；多样性、非歧视性和公平性；社会和环境福祉；问责制。


一、概要


AI进入主流商用，数据收集是关键
+ t. a4 q1 Y' n
1 [+ Z; R0 o  N0 b' ~; A
" V, q/ x  y% x- k4 J, y: ^2 t# y在过去几年，人工智能（AI）迅速超越研究和学术范畴，进入主流商用，创新的自主代理利用人工智能并改变信息的访问和使用方式。自主代理多种多样，从智能手机中的数字助理到支持供应链的自动机器人。因自主程度和操作环境的差异，安全性和隐私考虑可能会有所不同。自主系统的一个关键方面是数据收集，主要用于以定性和及时的方式支持要求苛刻的功能。然而，由于处理的数据丰富，可能还涉及个人数据，除了依赖第三方提供商之外，还需要考虑安全和隐私等诸多因素。


' N# b5 f6 G$ N) |$ p# p欧盟倡议：安全与隐私
4 J5 W( _" l: p7 Q4 W% O7 [7 M! f
) j. F- T! J6 t, s0 h" W% A
7 R0 @- X0 g, |; k本报告强调了一些需要考虑的因素，例如未经授权的自主系统，劫持和滥用透明度和问责制，普遍性，存储和处理的不透明性，并给出了一系列影响未来欧盟政策倡议的建议，包括：

5 a8 C6 e2 U* X+ }
; ^% f+ B" h# A" w# F$ v●欧盟委员会、欧盟相关机构以及公私营部门利益相关方应进一步促进和支持采用安全和隐私设计原则，作为自主代理和系统的启动、设计和实施的先决条件。
, K9 X5 V' s5 g( G( r4 u# b

$ u) x# _8 R: l; D& I●欧盟委员会、欧盟相关机构、公私部门利益相关方应促进识别和交流最佳实践的合作方法，逐步提出一系列基线安全要求，然后转变为可广泛接受的技术规范和标准。
% Q0 }) z- i9 a' m! M6 H2 z+ R
7 r- q1 d& I6 [1 h2 v$ `2 Y
! `) u5 m( ?5 d( P) w9 g●欧盟委员会、欧盟相关机构、公私部门利益攸关方应通过建立适当的道德准则，进一步保障和支持关于促进和保护人权的现有举措。
2 K1 H. p6 P: p+ z9 G. Y3 n8 S5 o

二、安全和隐私
5 m9 |2 a2 f# W  X- D

（一）安全问题


1. 劫持和误用
6 f9 ~3 t) l/ ^; `4 F5 \3 G
' p8 _- M( k% L
2 X0 {% J* L! r, @+ @8 Y7 h
. i1 v' ?$ q$ L+ c自主无人机、无人驾驶汽车、机器人和其他设备都是通过软件系统来控制的。软件开发过程中使用的方法、以及软件测试的范围和广度都会影响漏洞数量和严重程度。开发者应该证明设计过程中采用了可管理安全（managed security）方法，包括记录安全软件开发、质量管理和信息安全管理过程。

, G9 s9 y7 g7 m6 \, |0 E" U& K8 ]
$ w) e4 x8 e" P0 y$ Y5 h2. 干扰

& s: P. R) V, m% r0 H- N
( u6 \7 i. S; w自主系统非常依赖传感器来感知环境，因此可能会遭遇来自传感器的安全风险。安全研究人员在2016年就证明了自动驾驶汽车使用的传感器易受到非接触式攻击的影响。供应商应该确保交付的产品的设计和预配置是基于良好的安全实践，并严格遵守最小权限等安全设计和开发原则。


3. 透明性，可审计性的局限

* V* Q* i) M5 t1 u9 F' g
1 p/ h2 [+ G8 s0 b
自主代理的行为并不全都在软件代码中有详细的规定，而是根据软件、训练和感知的环境的不同，其行为具有一定不确定性。在许多高级自主代理中，训练和操作阶段是没有区别的，因为训练过程是持续贯穿代理的整个生命周期的。因此，训练的过程并不是完全由厂商控制的。那么厂商就应当提供关于代理设计的综合性和可理解的文档，描述自主代理的架构、功能、使用的协议、软件组件或硬件的实现，与其他组件和内外部服务的交互和接口，以确保代理是以一种最安全的方式实现和应用的。
# s5 H- W% e# d% f8 Q1 [
: o  A  T; m5 o' R# s. E/ R' |
) Z' x' X* A: }5 m: V4. 坚持安全原则
7 i$ p  m. Q0 V0 v  Y9 b* K2 ]
) X) M  l+ ?0 L  }
8 a* m8 `1 f' g5 T( E1 \# L6 W
4 P3 s- V6 Y5 f( [8 {与信息系统设计、开发和应用的基本安全规则类似，应当识别、定义和应用自主代理全生命周期应当坚持的基本安全原则。因此，自主代理的组件、使用和提供的服务应当是安全的：   


● 安全设计。代理或服务的设计和应用应该是安全的，以确保可用性、机密性、完整性和可审计性等关键安全特性；


/ u3 Z1 I: j3 C$ `' k● 默认安全。代理或服务在初始实现时就应该提供能支持这些安全特性的能力；
+ Y5 \5 Z' N; J2 i2 i$ l/ D
/ r% k. L; h  \0 y+ [
/ F" f7 `7 t" Q. F  a● 全生命周期安全。安全应该贯穿初始应用、维护到不再使用的全生命周期中；


1 x: p% {$ B) c5 @, t4 t7 A6 n4 |● 可验证安全。上述安全特征和原则都应当是可验证的。
7 g8 m4 Z% K: C! R# i
6 P2 ~7 h; ]1 N0 J7 x
8 ^  _3 I! J+ `: H# g(二) 隐私问题

# o6 s) L. Q$ h1 K2 |6 C8 X
/ j: P+ R6 }" ~+ M% i! j/ H1. 普适性与最小化原则
$ E$ i% V1 ?0 N$ o9 A$ P8 u8 r' h. ^

自主代理的学习能力是基于机器学习算法的，而机器学习算法本身就需要大量的数据集作为输入。也就是说代理会去不断地收集尽可能多的数据，以自动驾驶汽车为例，自动驾驶汽车装备的传感器会收集半径300m范围的数据信息，通过还装配了摄像头和麦克风、雷达和激光传感器，可以创建环境中物体的高分辨率3D表示。


. h8 |3 k& G  p1 ^0 {从目前来看，自主系统还不具备区分有用数据和无用数据的能力。自主系统的能力高度依赖环境感知的能力，而环境是复杂和动态的，因此很难区分哪些信息是有用的，哪些信息是无用的。
. Z- a. X' L3 _+ L5 Y# x0 a
4 e5 M$ @1 k( g6 L/ `1 M: n
. b7 g/ F1 u: ~+ ?# D2. 数据保护：删除数据仍能利用

, B" z, C  I6 R) Q$ M- k

" ~1 U! s3 `' P3 F自主代理处理的实时数据可以在使用后不影响性能的情况下删除。出于不同的原因这些数据一般都会长时间保存，包括事故和意外的调查取证。以自动驾驶汽车为例，训练数据也可能会用于事故和意外调查取证，因此也要保存。

( P/ B$ _# X+ w/ H1 c/ d& I; A5 _
即使数据被删除了，也会留下可以被利用的痕迹。研究人员在2017年就证明了在不访问机器学习模型内部结构的情况下确定特定记录是否是机器学习算法训练集的一部分的可能性。同时研究人员证明了机器学习易受到推断攻击。因此，对机器学习来说，删除训练集数据并不是隐私保护的有效手段。而且工程师、开发者、研究人员、调查人员和其他利益相关方都可能会访问到数据集，因此数据机密性保护也是一个复杂的问题。

5 v! K0 m- n, l: ~% [) {% W
3. 数据聚集和再利用
) u9 B3 Z% B0 W6 r; C


- c$ W( T# ?" [$ u5 U3 c
数据的聚集和再利用已经非常普遍。比如，自动驾驶汽车和无人机都连接着所属公司的控制中心，收集的数据会发送到控制中心做进一步分析。同样地，软件代理也会与厂商共享数据，这样厂商才能提供更好的服务给用户。开发者和服务提供商将从不同用户处收集的数据与其他源的数据融合在一起，就可以创建详细的用户画像、预测用户行为、猜测用户的需求。
2 h6 Z- Z5 @* n, W+ a

* k8 r$ p3 r; _4 L( n. l从活动A收集的数据可能会被进一步利用和分析，用作活动B，这就叫做再利用。比如自主代理训练所收集的数据也可能会用于市场营销，事故调查所收集的数据可能会被用于用户画像等等。
: R/ z/ }; @+ U% X: W, ]
& h! I! w) J2 Z4 Y
3 J* M6 e* r% i# S2 N: Q4. 黑盒：数据处理的不透明性
" C8 d+ O6 E0 g( b2 T
. p2 _  J' a4 s

% H; e$ H* _9 X机器学习是以一种黑盒的方式处理和展现给用户的。机器学习算法并不对结果进行解释，也无法确定某个特定的数据实例是否会影响最终的决策。对基于机器学习算法模块的自主代理来说，无法证明个人数据处理的合法性、公平性和透明性。因此需要监管和执行机构参与来分配和确定相关的责任。



" @1 i! K. s+ ~三、网络安全政策发展框架

' N! J( {0 u8 E3 P, P& c9 Y
本文为欧盟成员国提供自主代理和相关应用领域在安全和隐私相关的政策发展提供一个框架。基于对人工智能技术的分析，研究人员提出网络安全领域的政策发展框架应该坚持的2个原则：


# D* U! Z" z- C( y  Q+ @( x2 A

+ }  c9 ^5 }3 {- e: Y0 J
• 包容性原则（Inclusiveness）：应当反映和考虑更广泛的利益相关方的兴趣和优先事项；
  
• 开放性原则（openness）：应当支持未来数字革新技术在不同领域的应用。
  

具体来说，该框架应该：促进技术标准和规范的开发和采用；鼓励最佳安全实践和经验；促进利益相关方的协同和合作关系。
# d8 v* \/ J" t( \- P3 }
. z7 u* A3 j* ~2 G8 ]
7 o& g# C: g9 B" r1 F# b四、总结与建议

# k0 g- U3 y5 k' t7 Y7 G' ~7 R) ]& G
2 M0 D4 M5 K+ [(一) 应用安全和隐私设计原则
- K) P, ~8 j% M5 ]. j
+ v1 l" y) o7 p, R. d
* {" _* H7 n1 @$ x自主系统的关键就是能够处理大量数据，但自主系统必须以一种可以确保安全关键特性可用性、机密性、完整性和可审计性的设计方法。通过在从安装开始的全生命周期拥有保证其安全特性的能力。


/ c& @. h3 h( r6 m( A! X* J欧盟委员会、欧盟相关机构以及公私营部门利益相关方应进一步促进和支持采用安全和隐私设计原则，作为自主代理和系统的启动、设计和实施的先决条件。



(二) 开发基线安全需求
0 p+ E* n$ ^$ w* i0 N

人工智能和自主代理的快速发展催生了系统和产品设计、开发等过程对应的方法和指南的需求。开发者也可以从解决安全和隐私挑战的指南中获益，这种指南可以通过最佳实践、基线安全需求标准的开发来得出。
# p4 ?5 \/ O- l  }" i8 F6 Y
; ~1 ^) ]0 ]. ^7 `) s  K
) `9 t6 J% f' B欧盟委员会、欧盟相关机构部门利益相关方应促进识别和交流最佳实践的合作方法，逐步提出一系列基线安全要求，然后转变为可广泛接受的技术规范和标准。

7 n! V' Q0 k# H1 z( T
, l* ], h5 D+ I" g
9 t1 J& P3 W& E, u1 D; c, q, a(三) 解决伦理问题
4 g2 ^0 T' ^. z+ w

自主代理和系统常常需要做出一些复杂的决策，因此引入了与人权、尊严和非歧视等相关的伦理问题。解决这一困境需要一种跨学科和协调的方法。


欧盟委员会、欧盟相关机构部门利益攸关方应通过建立适当的道德准则，进一步保障和支持关于促进和保护人权的现有举措。
! x% Z& I9 T0 X5 A2 E4 E+ w; @
' x4 |1 D" k7 C) P8 A+ S" f! z; j



另外，欧盟委员会还于本月8日发布了正式版的人工智能道德准则，提出了实现可信赖人工智能的七个要素，要求不得使用公民个人资料做出伤害或歧视他们的行为。


实现可信赖人工智能的七个要素分别是： 人的能动性和监督；稳健性和安全性；隐私和数据管理；透明度；多样性、非歧视性和公平性；社会和环境福祉；问责制。
/ A5 T# P* @: c

, \% h: R% l& X, Z% ]【报告下载与参考链接】
: f! h  w9 [+ k9 F' L/ fhttps://www.enisa.europa.eu/publications/considerations-in-autonomous-agents
https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai

" M- L( q& J; U8 ]- a7 m
* w( s9 h( a) X! C7 w转自丨学术plus
" |  G6 o8 |- m译者丨张涛




研究所简介
5 O& B1 F! M( J& J; ]5 C. ~
" I# V! b' T% ?# I) {
国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。

* v4 U. n+ f1 ~

地址：北京市海淀区小南庄20号楼A座
, Q/ r% G: ]( i6 n1 N8 g5 o- ^/ Q$ m电话：010-82635247/6558
微信：iite_er

. K5 y& ~( m" ]- `

9 N2 ]0 g2 [6 k0 D

/ g$ O) _$ o' B1 s
  q$ n* a/ _+ l( Z9 ~& Y来源：http://mp.weixin.qq.com/s?src=11&timestamp=1555428606&ver=1550&signature=6VKG3vaE2U1o8iyg82mtSrk*fg1LJXkb*Y1gCk5MWChBmxbFISOFP0qhQ8-PaqEDLgpNVH7kH40Cke46IfYsp8RBzNEv0tZ6Hiup*X9ZcQCSCL1We8*D9yRYEnm6c6rU&new=1
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！