宣布了一项基于“可解释AI”原则的新技术，该技术可根据AI数据结果自动向用户呈现实现预期结果所需的步骤。富士通实验室有限公司和北海道大学今天宣布开发一项基于“可解释人工智能”原则的新技术，该技术可根据人工智能结果(例如，来自体检的数据)自动向用户展示实现预期结果所需的步骤。

“可解释的人工智能”代表了人工智能和机器学习领域越来越感兴趣的领域。虽然人工智能技术可以根据数据自动做出决策，但“可解释的人工智能”也为这些决策提供了个人原因——这有助于避免所谓的“黑匣子”现象，即人工智能通过不明确且可能存在问题的手段得出结论。

虽然某些技术也可以提供当个别项目出现不良结果时可以采取的假设改进，但这些技术并没有提供任何具体的改进步骤。

例如，如果对受试者健康状况进行判断的人工智能确定一个人不健康，则可以应用新技术首先从身高、体重和血压等健康检查数据中解释结果的原因。然后，新技术可以另外为用户提供关于最佳健康方式的有针对性的建议，从过去的数据中识别大量复杂的体检项目之间的相互作用，并显示考虑到可行性和实施难度的具体改进步骤。.

最终，这项新技术提供了提高人工智能决策的透明度和可靠性的潜力，让未来更多的人能够以信任和安心的方式与利用人工智能的技术进行交互。更多细节将在AAAI-21，第三十五届AAAI人工智能会议上公布，该会议将于2月2日星期二开幕。

发展背景

目前，深度学习技术广泛应用于需要人脸识别和自动驾驶等高级任务的人工智能系统中，使用一种黑匣子预测模型，根据大量数据自动做出各种决策。然而，未来，确保人工智能系统的透明度和可靠性将成为人工智能为社会做出重要决策和建议的重要问题。这种需求导致对“可解释人工智能”技术的兴趣和研究增加。

例如，在体检中，人工智能可以根据体重和肌肉质量等数据成功确定疾病风险水平(图1(A))。除了对风险等级的判断结果之外，人们越来越关注呈现作为判断基础的属性(图1(B))的“可解释AI”。

由于人工智能根据输入数据的属性确定健康风险高，因此可以更改这些属性的值以获得低健康风险的预期结果。

图1AI的判断和解释

问题

为了在AI自动化决策中达到预期的结果，不仅需要呈现需要更改的属性，而且还需要尽可能少地呈现可以更改的属性。

在体检的情况下，如果想要将AI的决策结果从高风险状态变为低风险状态，那么不费吹灰之力似乎可以增加肌肉量(图2变化1)——但这样做是不现实的只增加一个人的肌肉质量而不改变一个人的体重，所以实际上同时增加体重和肌肉质量是一个更现实的解决方案(图2变化2)。

此外，体重和肌肉质量等属性之间还有很多相互作用，比如体重随着肌肉增长而增加的因果关系，做出改变所需的总努力取决于属性改变的顺序。因此，有必要呈现属性更改的适当顺序。在图2中，为了从当前状态达到变化2，是否应该首先改变体重或肌肉质量并不明显，因此考虑到变化的可能性和顺序，找到合适的变化方法仍然具有挑战性。在众多潜在候选人中。

图2属性变化

关于新开发的技术

通过机器学习和数据挖掘的联合研究，富士通实验室和北海道大学信息科学与技术研究生院有村实验室开发了新的人工智能技术，可以向用户解释人工智能决策的原因，从而发现有用的、可操作的知识。

LIME和SHAP等AI技术已被开发为支持人类用户决策的AI技术，是通过解释AI做出此类决定的原因来使决策具有说服力的技术。联合开发的新技术基于反事实解释的概念，将属性变化中的动作和执行顺序呈现为一个过程。在通过分析过去的案例避免不切实际的变化的同时，人工智能估计属性值变化对其他属性值的影响，例如因果关系，并据此计算用户实际需要改变的量，从而实现动作的呈现。将以正确的顺序以最少的努力获得最佳结果。

例如，如果一个人必须增加1公斤肌肉质量和7公斤体重以降低输入属性及其顺序(图1(C))中的风险，他们会改变以获得所需的结果体检时，可以通过预先分析肌肉质量和体重之间的相互作用来估计这种关系。这意味着如果增加1公斤肌肉质量，体重将增加6公斤。在这种情况下，在体重变化所需的额外7公斤中，肌肉质量变化后所需的变化量仅为1公斤。换句话说，一个人实际需要做出的改变量是增加1公斤肌肉质量和1公斤体重，因此与首先改变体重的顺序相比，人们可以更轻松地获得所需的结果。

Fig.3属性间的交互和变化

效果

利用联合开发的反事实解释人工智能技术，富士通和北海道大学验证了三种类型的数据集，用于以下用例：糖尿病、贷款信用筛选和葡萄酒评估。通过将机器学习的三个关键算法——逻辑回归、随机森林和多层感知器——与新开发的技术相结合，我们已经证实可以识别适当的动作和序列以将预测更改为所需的结果比在所有数据集和机器学习算法组合中由现有技术派生的动作所付出的努力要少。事实证明，这对于贷款信用筛选用例特别有效，可以以不到一半的努力将预测更改为首选结果。

使用这项技术，当人工智能自动判断预期出现不良结果时，可以提出将结果更改为更理想结果所需的操作。这将使人工智能的应用不仅可以扩展到判断，还可以支持人类行为的改进。

未来的计划

展望未来，富士通实验室将继续将该技术与单独的因果发现技术相结合，以提供更合适的行动。富士通还将利用该技术扩展基于其专有“FUJITSUAITechnologyWideLearning”的动作提取技术，目标是在2021财年实现商业化。

北海道大学旨在建立人工智能技术，从各种现场数据中提取对人类决策有用的知识和信息，而不仅限于行动的呈现。

标签：