编译 T客汇 Felix

在AI技术受到持续关注的今日，许多大型组织正在寻求算法来驱动自动化的业务流程或构建智能机器人服务以满足客户的需求。但是在一些CIO热衷于大规模应用自我学习式软件的同时，别的CIO却对此表示质疑，因为他们对于AI的“黑箱”问题表示担忧。

百度百科对于“黑箱”的解释为：“所谓‘黑箱’是指这样一个系统，我们只能得到它的输入值和输出值，而不知道其内部结构。黑箱可以是任何系统，只要是仅根据对其外部性质的研究来对它进行判断的系统。其次，黑箱问题实际是个认识问题。所谓黑箱，是相对于人这个人是主体而言的。在这个研究领域里，客观事物无所谓“黑”“白”之分，而人的认识却有一个不知与知、知之不多与知之较多的问题，对某个事物有个确定的知识，‘黑’就转化为‘白’。”对于AI来说，我们为其输入数据与信息，然后AI得出结论与推测，但是这其中AI如何进行运算与推断的过程及方法我们却不得而知，这就带来了AI的黑箱问题。

在那些受监管行业（比如金融服务行业和无人汽车驾驶行业）中，这种“黑箱问题”（算法如何推导出结论）将尤为重要。如果一辆自动驾驶的车辆在测试中突然偏离了正取的道路，那么工程师就需要知道为什么AI的算法会推导出这种结论。同样，金融服务公司希望能够通过了解“黑箱”来谨慎地审查客户的信用风险，以免在资格评分中出现偏差。由于以上这些问题以及其相关的种种风险，公司正在寻求更多的方式来审视甚至是解释其AI工具所提供的预测与分析。

就目前而言，大部分自动化业务流程软件都是通过可编程逻辑编写的。如果这些软件按预期工作的话，它们会执行编程人员既定的事情。不过在现在这第二波的自动化潮流中，能够自我学习的软件正在称王称霸。但是，在充分了解这些软件如何进行推断与结果预测前，那些受到风险和法规监管的公司就不得不对这些程序持有怀疑态度。

大数据推动了AI的成长，但也带来了挑战

人们为AI构置了广泛的认知技术，以实现情景推理，规划和学习以及模仿人类和其他自然动物的智力。确实，AI早已不再是个天马行空的幻想，随着计算能力的增长，算法和模型的日益复杂，以及每天从连接设备中涌出的数十亿兆字节的数据，AI已经引发了自动导向技术爆炸式的增长。机器人已经可以模仿人类的行为，从而帮助自动驾驶汽车应对复杂而棘手的路况与地形。根据IDC的统计，企业应用的认知系统和AI的全球营将收从2016年的80亿美元增长到2020年的470亿美元以上。

同时，AI软件的技术和他们的学习能力也正在高速的增长，但其复杂性亦是如此。大多数公司用两个AI子集来在机器学习和深度学习的核心中建立神经网络，以模仿人脑中的神经元网络节点模型。但是随着这些技术的愈发强大，在这些自我学习型的神经网络系统中进行发射信息数量的跟踪几乎是不可能的，更不用说进行解析了。这就带来了一个问题：我们可以相信算法告诉我们的结论吗？比如一个房屋的前房东是否可以偿还30年的抵押货款而不违反公平贷款规则？

房利美（Fannie Mae）公司运营和技术负责人Bruce Lee就对此表示，这是一个很大的问题。像房利美这样的抵押公司当然可以利用AI技术向监管机构进行更加清晰的决策解释。同时，AI也可能会做出一些很符合逻辑的推断，比如使用Nest恒温器等产品的房主可能会有更多的自由现金来偿还贷款。但是，监管机构并不对此表示信任。

“在考虑如何避免样本偏好的公平货款问题前，你会为那些Nest用户提供更好的抵押率吗？”Lee说道，“事实上，事物中的AI就像信货决策一样，是一个需要面对很多监管障碍的领域。 所以，我们的很多决策都需要反复的验证的以确保其中没有偏见并有利于住房基础设施。AI 必须是能提供充分解释说明的。”

“可解释型AI”（explainable AI）, 如同字面意思，本质上依然是一种AI技术，但其决策，结论和预测的AI都可以用合理的方式进行验证 。Lee指出像ThoughtSpot软件，可以对如何应用图表和分析来查询通知结果中的特定词语进行说明。Lee表示，金融服务需要AI具有这样的功能。“人们需要AI能够以人类相同的水平进行解释与说明，比如解释如何避免做出偏见型的决策。”

有关可解释型AI的争论

很多学者看衰未来人们对于可解释型AI的需求。但MIT首席研究科学家Andrew McAfee却不同意这一点。在五月的MIT的CIO 斯隆研讨会上，McAfee在谈到无法检验AI结论的问题说道：“很多人对此表示担忧，但我并不认同这一点，因为人们的解释总是过于快速从而使得其中很多的决定或预测都是错误的。”“我们无法完全利用我们自己的知识，所以我完全不担心于机器黑箱的计算能力。”McAfee认为给可解释型AI设立监管障碍可能会是市场经济的“绊脚石。”

但是，MIT的另一位教授Erik Brynjolfsson则表示如果机器不能对其结论提供明确的解释，人们就很难与这些机器一起工作。Brynjolfsson说道，“一台机器拥有数十亿的连接路径，我们很难说某个特定的加权算法就能决定最终的决策。”

而其他的IT主管也在MIT的活动上发表了看法，他们对于AI技术的实施保持谨慎态度，尽管他们也承认AI对其业务的重要性。Scott Blandford, TIAA（美国教师退休基金会）的首席数字官说道，公司不得不对AI的黑箱问题表示担心因为“你的决定将影响人们的生活，所以在确保对AI具有足够信任前公司还是保持谨慎为好。”Blandford表示，尽管TIAA可以使用AI来增强其用于监控数字业务运作的分析系统，但是由于缺乏进一步的测试和验证所以Blandford并没有准备去应用这些AI技术。GE的CIO Jim Fowler说道，可解释型AI在很大程度上取决于技术的使用背景。例如，有助于更有效处理应收账款的自我学习软件可能不需要进行解释，但是对于GE来说，AI必须能够解释其对于喷气式发动机是否要启动的判断。“你必须明确AI的使用目的，并且设置对其的关注度以及解释与理解的方法。有很多的流程是需要经过测试的，你必须向监管者展示你已经测试和证实了你的软件， 如果你的算法在有关生活等事物上不断的发生改变，那么监管者就很难相信这些黑箱技术。” Fowler说道。

版权声明：

凡本网内容请注明来源：T媒体（http://www.cniteyes.com）”的所有原创作品，版权均属于易信视界（北京）信息科技有限公司所有，未经本网书面授权，不得转载、摘编或以其它方式使用上述作品。

本网书面授权使用作品的，应在授权范围内使用，并按双方协议注明作品来源。违反上述声明者，易信视界（北京）信息科技有限公司将追究其相关法律责任。