尽管人工智能前途无量,但这一快速增长的领域现在正经历着各种各样成长的烦恼。除了我在前一篇文章中所讨论的偏见的问题,还有一个“黑匣子”问题:如果人们不知道人工智能是如何做出决定的,他们就不会相信它。
事实上,这种信任的缺失是最著名的人工智能项目之一IBM Watson诸多失败的核心,尤其是Watson for Oncology。
专家们很快就指出了这一问题。谷歌UX研究员和Avantgarde Analytics创始人Vyacheslav Polonski博士表示:“IBM试图向癌症医生推广其超级计算机项目Watson for Oncology,然而,这是一场公关灾难。Watson for Oncology的问题在于,医生根本不信任它。”
当Watson的结果与医生的一致时,它就能够帮助确认诊断结果,但是它并没有帮助得出诊断结果。当Watson提出不同的意见时,医生们就会认为这是错误的。
如果医生们知道它是如何得出结论的,结果可能就会有所不同。“人工智能的决策过程对大多数人来说通常太难理解了,”Polonski继续说道。“与我们不理解的东西互动会导致产生焦虑,让我们觉得自己失去了控制权。”
对可解释性的需要
如果肿瘤学家们知道了Watson是如何找到答案的——业界称为“可解释性”——他们的信任度可能就会更高。
在除医疗保健领域之外的许多情况下,可解释性已经成为了人工智能的关键需求。以Twitter为例。“我们需要做的更好,以便能够解释我们的算法是如何工作的。理想情况下,开放它们,让人们可以看到它们是如何工作的。这对任何人来说都不容易做到,”推特首席执行官Jack Dorsey说到,“事实上,人工智能领域有一个叫做‘可解释性’的研究领域,它试图明白如何让算法解释它们是如何做出决策的。”
在其他情况下,人们正在要求人工智能做出生死攸关的决定。而在这些情况下,可解释性是至关重要的。
因此,美国国防部(DoD)投资于可解释性AI(XAI)就不足为奇了。“如果未来的作战人员要理解、适当信任和有效地管理新一代的人工智能机器合作伙伴,可解释的人工智能——尤其是可解释的机器学习——将是必不可少的,”DoD属下行政机构国防部高级研究计划局(DARPA)的项目经理David Gunning解释说:“新的机器学习系统将有能力解释它们的基本原理,描述它们的优缺点,并诠释对其未来将如何行为的理解。”
然而,医疗领域仍然是人工智能最有前途的领域之一。UnitedHealth Group应用数据科学OptumLabs中心的副主席和主管Sanji Fernando表示:“在医疗领域,可解释的AI对我们来说是十分重要的,因为它实际上可以弥合了解可能的情况与你的健康会发生什么之间的差距,并且还可以为临床医生提供不同的工具,这样他们就会觉得很舒服并去了解如何使用它们。这就是为什么我们认为,学术界、学术机构、大公司以及联邦政府内部正在进行一些令人叹为观止的工作,以便安全地批准这种决策。”
可解释性的折中
虽然像DARPA这样的组织正在积极投资XAI,但仍有一个未解决的问题,即这种努力是否会偏离让AI算法变得更好的核心重点。
更令人担忧的是:我们是否需要“简化”人工智能算法来让它们变得可以解释?加利福尼亚大学欧文分校计算科学助理教授Sameer Singh指出:“算法越精确,解释起来就越困难,尤其是对于深度学习而言。计算机越来越成为我们生活中更为重要的一部分,随着时间的推移,自动化将会得到改善,因此,了解这些复杂的人工智能和ML系统为什么会做出这样的决定将变得越来越重要。”
因此,一些AI研究成果可能会与其他的目标背道而驰。奥塔哥大学博士后、AI可解释性研究人员John Zerilli表示:“系统越复杂,就越难解释。如果你想让你的系统变得可解释,你就必须设法开发出一个不那么强大或精确的、更为简单的系统。”
然而,美国国防部高级研究计划局(DARPA)正在投资20亿美元研发所谓的“第三波人工智能系统”,这很有可能足以解决这一难题。DARPA的Gunning补充说:“XAI是目前DARPA计划中为数不多的能够实现‘第三波人工智能系统’的项目之一,在这个系统中,机器能够理解它们所处的情境和环境,并且随着时间的推移,可以建立起潜在的解释模型,从而帮助描述真实世界的现象。”
天网,请解释你自己
解决当下的信任问题十分重要,但未来也会存在信任问题。如果我们把不断发展的XAI放到一些AI怀疑论者所描绘的反乌托邦未来中去,我们可能会找到一条防止此类噩梦的道路。
无论是HAL 9000、天网,还是其他好莱坞电影中的AI反派,在这个邪恶程序的开发过程中总有一个点,即它可以从人类创造者的控制中挣脱出来,横行霸道。
然而,如果这些创造者在这样的系统中构建了可解释性,那么疯狂运行的可能性就会大大降低——或者至少是更容易预见。
因此,多亏了XAI,我们大家都可以松一口气了。