自学习计算机模型对于语音识别、欺诈检测和评估医疗风险具有价值。然而，例如福利丑闻表明，必须极其谨慎：这就是为什么法律规定必须始终解释模型如何得出特定结论的原因。为了帮助数据专家解决这个问题，Ph.D.研究员DennisCollaris开发了交互式可视化工具，可以深入了解人工智能模型的“思维过程”。

“这有点接管世界，”丹尼斯·科拉里斯谈到人工智能(AI)时说。而他对此非常认真。“人工智能几乎被用于你能想到的所有事情，尤其是用于预测。”

这些应用程序通常是相对无辜的;想想语音识别或机器翻译。“如果那里有一个小错误，那并不是世界末日。但当然，也有一些应用，比如欺诈检测，人工智能系统的预测可能会对人们产生巨大的影响。福利丑闻表明如果你被错误地贴上欺诈者的标签，这些后果会有多严重。”

因此，欧洲隐私立法GDPR规定，必须始终解释计算机模型如何得出某个建议。然而，对于自学AI系统来说，这是非常困难的：它是一个众所周知的“黑匣子”，它根据大量数据吐出答案，并且无法简单地追踪它得出答案的方式。

问题的症结在于，计算机模型并没有遵循明确的分步计划，而是逐渐自己弄清楚——例如——潜在的保险客户的哪些特征表明他们打算进行欺诈的可能性.

动机

最重要的是，这些自学习模型提出了明显有用的建议，但它们不提供任何动机，而动机是拒绝某人投保或开始欺诈调查所必需的。

而“计算机说不”不能被视为正当理由。“在我与Achmea这样的保险公司合作进行研究时，数据专家需要做大量的工作来解释他们的预测模型，”Collaris指出。埃因霍温大学的毕业生在TU/e的数学和计算机科学系学习了网络科学，并作为JackvanWijk教授领导的可视化小组的一员毕业，后者随后要求他留下来攻读博士学位。

要了解计算机模型采用了什么策略，必须清楚地了解使用和处理的数据。为此，Collaris开发了两个交互式软件工具，“ExplainExplore”和“StrategyAtlas”，让用户洞察自学模型的灵魂。

StrategyAtlas展示了自学计算机模型用于将个人分组在一起的特征。学分：丹尼斯·科拉里斯

团体

除其他外，StrategyAtlas在数据中寻找模式，特别是显示模型如何将个人分成不同的组(见上图)。

在图2A中，每个点代表一个个体，具有相似特征的个体被紧密地分组在一起。图2B显示了这些相同的个体，但根据模型分配给这些特征的权重进行分类。此可视化中的每个点簇都对应于模型用来进行预测的“模型策略”：模型对该簇中的所有个体使用大致相同的特征。权重取决于模型的目标(例如，估计客户是欺诈者还是潜在违约者)。

自学模型的世界观通常与您的预期截然不同，博士。研究员强调。从“StrategyAtlas”中的可视化可以明显看出这一点。“您可以看到，模型认为非常不同的红色和蓝色组，根据输入数据似乎并不如此。因为在2A中，蓝色和红色都混合在一起，”Collaris指出。

Collaris的其他软件工具ExplainExplore非常清楚地表明了模型计算中特定特征的权重，以确定预测。“我们称之为‘特征贡献’，”Collaris说。例如，他提到预测糖尿病的风险(见下图)。

对于每个人，软件会在其预测中显示每个特征的权重(左，在本例中：患糖尿病的几率为28%)。皮肤厚度(“皮肤”)、血糖水平(“glu”)和BMI是最重要的因素。“如果从该分析中出现意外的特征贡献，这可能是对模型进行另一次批判性研究的理由，但从理论上讲，意外的结果当然也可能带来有趣的医学见解。”

右侧是数据集中其他人的特征贡献。例如，这表明该模型通常不太重视个人经历的怀孕次数，但“家谱”的权重(衡量怀孕频率该疾病发生在家庭中)。最后，中间部分说明了模型对值的小幅调整的弹性。“如果皮肤厚度如此重要，那么如果皮肤只是稍微厚一点或薄一点，你就不会期望皮肤厚度突然变得几乎与预测无关。”中间的图提供了相关信息，从而说明了模型的可靠性。

论文封面

他的论文封面还展示了一个包含三个条形的图表，这是Collaris使用ExplainExplore创建的。只是为了好玩，他教了一个计算机模型来预测技术文档属于哪个类别，基于17个特征。然后他输入了他自己论文的pdf。果然：结果是：博士。论文。他当然知道这一点，但现在他知道为什么了。“最重要的‘特征贡献’原来是页数以及图像的最大高度和宽度。显然，这就是使我的博士论文成为博士论文的原因。”

标签：