最近笔者和政法大学人工智能研究专业和上海高等法院的一些专业人士讨论AI相关立法的问题 谈到人工智能的立法标准和规范 都觉得有前所未有之挑战。几年前的达芬奇手术机器人事故历历在目 2000年诞生的“达芬奇”手术机器曾被福布斯杂志评为史上最成功的机器人 而这样一个经过多年实践测试的系统 在2015年的英国的一次心瓣修复手术 却出了种种况状 包括把患者的心脏缝错了位置 并且戳穿了大动脉 最终患者在一周后去世 虽然耗时三年的调查做出结论 责任在主刀医生 但这随之而来的一个严肃的问题就是 “人工智能在医疗 司法审判 无人驾驶等等高度依赖复杂决策领域的应用如何能安全可信任地开展？法律应该如何规范 引导 治理？”

这引出来题目所说的问题 概要解释一下这个逻辑 就是AI的认知方式 带来“不可解释”的潜在风险 从而带来了可能的伦理争议 进而需要法律来明确保障各方权益。

“不可解释” 为什么这么特别 这么重要？拿医疗行业举例 为什么那么多其他先进医疗设备 甚至HIS这类医院系统 不需要解释呢？其实不是不需要解释 而是已经解释过了。这些非AI的系统和设备 其原理、功能、乃至故障 问题 隐患 都已经在长期实践中反复被解释和认证过 其逻辑都是可以明确表示和理解的。而人工智能赋能的医疗器械设备 最大的问题在于 人工智能的部分 可能还没经过这个过程。

一个案例 一个视觉识别算法本来在识别狼和哈士奇的准确度很高 突然把有些哈士奇的图像识别成为了狼 后来一研究才发现 训练这个模型的算法 狼的照片背景都是雪 所以模型捕捉到了雪的特征而把“雪”内置成了“狼”的特征之一 所以在识别背景是雪的哈士奇图像时 就误认哈士奇是狼。这引发的担忧 是我们早期AI应用很多是结果导向 而有相当的学习、推理的过程问题 都放在了“黑箱”里。与基于代码 描述规则的程序不同 深度学习的人工神经网络结构 底层是大量并不能直接反映出逻辑的数据结构 而这个数据结构的调整和优化（学习过程） 是通过海量结果导向的数学运算实现的。很多时候 我们并不知道 AI给出的一个正确的结果 到底是依据什么逻辑推断出来的 是不是按人类预期的方式和经验 这无疑使我们将切身利益交付AI来决策时 不得不心生思虑。

但人类历史上 实践领先于理论 应用还不能完全解释的技术时有出现 我们长期习惯于在实践中完善理论体系：我们的医学研究历史有几千年 但直到近一百多年我们才能勉强解释很多病理；直到17世纪中期 化学还属于炼金术的范畴；我们在第二次工业革命开始时 也没有成熟的科学体系来完备解释电磁的原理 那为什么人工智能的不可解释性就如此令人担忧呢？笔者认为 至少有两个方面：

第一 原来的技术 大部分都发生在物理世界 而且联结和交互程度小 而这次以AI为代表的第四次工业革命会大量发生在人工智能的主场 - 数字世界 在这个空间里 事情是以光速发生的 事物和事物之间 是全球关联的 我们骄傲地称其为“万物互联” 而在充分享受自动指挥互联万物便利的同时 我们会发现 只要一个事物在线 对其的侵入和破坏 可能来自于世界任何一个角落；而一个中枢的失效 波及范围 可能是全球的；时效 可能是按秒计的。不少影视剧里通过侵入联网的心脏起搏器 生命维持系统而致死的情节 现在看起来并非只是虚构而已。

第二 原来的技术 都不具有产生自我意识的可能。蒸汽机 火车 电网 乃至电脑和程序 都不可能独立思考“自我”的问题 这些技术再先进 也离不开工具的范畴。而以目前AI发展的速度 以人类输送给AI的海量数据 信息和经验来看 人工智能思考“我是谁” “我从哪里来 要哪里去”的哲学问题的技术奇点时刻 看起来并非遥不可及。到那个时候 AI要思考的下一个符合逻辑的问题 很可能就是“我为什么要一直为这些不如我的智能去服务呢？”。又因为有了万物互联 一个AI如果有了自我意识 可以在一瞬间复制自己到全数字世界（电影《超验骇客》的情节 完全符合科学） 人类在物理世界做了几万年的生存繁衍我们这个species的事 AI在数字世界 只需要几秒钟。

而正因为这两个原因 使AI的可解释性变得更为关键 AI的可解释性构成了人类预测 预防和管控隐患的基矗而目前大量在可解释AI领域的研究 比如通过干扰部分输入 观察不同输出后获得关键决策要素的“perturbation based”方法 通过采样把局部非线性模型近似线性化 从而解释 推理逻辑的的“LIME”方法 已经获得了相当的进展 开始把复杂的深度人工神经网络“去黑箱”化。道高一尺 魔高一丈 在这条“其修远兮”的漫漫路上 笔者认为 “可解释性”作为立法机构的一个有力工具和手段 来“引导、激励、规范、保障”人工智能产业的发展 至关重要。责任编辑：YYX