新技术将机器学习模型的推理与人类的推理进行比较

虽然有工具可以帮助专家理解模型的推理，但这些方法往往一次只能提供一个决策的见解，而且每个决策都必须经过人工评估。模型通常使用数百万的数据输入进行训练，使得人类几乎不可能评估足够多的决定来识别模式。

现在，麻省理工学院和IBM研究院的研究人员创造了一种方法，使用户能够对这些单独的解释进行汇总、分类和排序，以快速分析机器学习模型的行为。他们的技术被称为“共享兴趣”（ Shared Interest），它包含了可量化的指标，可以比较一个模型的推理与人类的推理的匹配程度。

Shared Interest可以帮助用户轻松发现模型决策中的相关趋势--例如，也许模型经常被分散注意力的不相关特征所迷惑，比如照片中的背景物体。汇总这些洞察力可以帮助用户快速和定量地确定一个模型是否值得信赖，是否可以在真实世界中部署。

“在开发Shared Interest的过程中，我们的目标是能够扩大这个分析过程，这样你就可以在更大的范围内了解你的模型的行为是什么，”主要作者 Angie Boggust说，她是MIT计算机科学和人工智能实验室（CSAIL）可视化小组的研究生。

Boggust与她的导师Arvind Satyanarayan（领导可视化小组的计算机科学副教授）以及IBM研究院的Benjamin Hoover和资深作者Hendrik Strobelt共同撰写了这篇论文。该论文将在计算系统中的人的因素会议上发表。

Boggust在IBM的暑期实习期间，在Strobelt的指导下开始了这个项目的工作。回到麻省理工学院后，Boggust和Satyanarayan扩大了该项目，并继续与Strobelt和Hoover合作，他们帮助部署了案例研究，展示了该技术如何在实践中使用。

人类与人工智能的协调

Shared Interest利用流行的技术来显示机器学习模型是如何做出具体决定的，即所谓的突出性方法。如果该模型是对图像进行分类，突出显示图像中对该模型做出决定的重要区域。这些区域被可视化为一种热图，称为显著性图，通常被覆盖在原始图像上。如果模型将图像归类为狗，而狗的头部被高亮显示，这意味着当模型决定该图像包含一只狗时，这些像素对它很重要。

Shared Interest的工作方式是将突出度方法与地面真实数据进行比较。在一个图像数据集中，地面真实数据通常是人类生成的注释，围绕着每张图像的相关部分。在前面的例子中，方框将围绕着照片中的整只狗。在评估一个图像分类模型时，Shared Interest比较了同一图像的模型生成的显著性数据和人类生成的地面真实数据，看它们的一致性如何。

该技术使用几个指标来量化这种一致性（或不一致），然后将一个特定的决定分为八个类别之一。这些类别的范围从完全与人类对齐（模型做出了正确的预测，并且突出显示的区域与人类生成的盒子相同）到完全分心（模型做出了错误的预测，并且没有使用人类生成的盒子中的任何图像特征）。

“在光谱的一端，你的模型做出这个决定的原因与人类完全相同，而在光谱的另一端，你的模型和人类做出这个决定的原因完全不同。通过对你的数据集中的所有图像进行量化，你可以用这种量化来对它们进行分类，”Boggust解释说。

这项技术对基于文本的数据也有类似的作用，在这些数据中，关键词被突出显示，而不是图像区域。

快速分析

研究人员用三个案例研究来说明Shared Interest如何对非专家和机器学习研究人员都有用。

在第一个案例研究中，他们使用 Shared Interest来帮助一位皮肤科医生确定他是否应该相信一个机器学习模型，该模型旨在帮助从皮肤病变的照片中诊断癌症。Shared Interest使皮肤科医生能够迅速看到该模型正确和错误预测的例子。最终，这位皮肤科医生决定他不能相信这个模型，因为它根据图像伪影而不是实际病变做出了太多的预测。

“这里的价值在于，使用Shared Interest，我们能够看到我们的模型行为中出现的这些模式。”Boggust说：“在大约半小时内，皮肤科医生就能够做出是否信任该模型以及是否部署该模型的自信决定。”

在第二个案例研究中，他们与一位机器学习研究人员合作，展示了Shared Interest如何通过揭示模型中以前未知的陷阱来评估一种特定的突出性方法。他们的技术使研究人员能够在典型的人工方法所需时间的一小部分内分析数以千计的正确和错误的决定。

在第三个案例研究中，他们使用Shared Interest来深入研究一个特定的图像分类例子。通过操纵图像的真实区域，他们能够进行假设分析，看看哪些图像特征对特定的预测最重要。

研究人员对Shared Interest在这些案例研究中的表现印象深刻，但Boggust警告说，该技术只和它所基于的突出性方法一样好。如果这些技术包含偏见或不准确，那么Shared Interest将继承这些限制。

在未来，研究人员希望将Shared Interest应用于不同类型的数据，特别是用于医疗记录的表格数据。他们还想用Shared Interest来帮助改善目前的突出性技术。Boggust希望这项研究能激发更多的工作，寻求以对人类有意义的方式量化机器学习模型的行为。