科研人员正确理解AI决策的三种方法

　　理解AI决策对科研人员、决策者和广大人民来说十分重要。幸运的是，有一些方法能确保我们了解更多。前沿AI企业和学术届使用的深度学习模型已经变得非常复杂，以至于即使是构建模型的科研人员也难以理解正在做出的决策。

　　这一点在某锦标赛上得到了最明显的体现。在这场比赛中，数据科学家和职业围棋选手经常被AI在比赛中的决策所迷惑，因为它做出了非正式的游戏，而这并不被认为是最强的一步。

　　为了更好地理解他们构建的模型，AI科研人员开发了三种主要的解释方法。这些是局部解释方法，只解释一个具体的决定，而不是整个模型的决定，考虑到规模，这可能具有挑战性。

　　科研人员正确理解AI决策的三种方法

　　特征归因

　　通过特征归因，AI模型将识别输入的哪些部分对特定决策是重要的。对于X射线，科研人员可以看到热图或模型认为对其决策最重要的单个像素。

　　使用这种特征归因解释，可以检查是否存在虚假相关性。例如，它会显示水印中的像素是否被突出显示，或者实际肿瘤中的像素是否被突出显示。

　　反事实解释

　　当做出决定时，我们可能会感到困惑，不知道为什么AI会做出这样或那样的决定。由于AI被部署在高风险的环境中，如监狱、保险或抵押贷款，了解AI拒绝因素或上诉的原因应该有助于他们在下次申请时获得批准。

　　反事实解释方法的好处是，它确切地告诉你需要如何更改输入来翻转决策，这可能具有实际用途。对于那些申请抵押贷款却没有得到的人来说，这个解释会告诉他们需要做些什么来达到他们想要的结果。

　　样本重要性

　　样本重要性解释需要访问模型背后的基础数据。如果科研人员注意到他们认为是错误的，他们可以运行一个样本重要性解释，以查看AI是否输入了它无法计算的数据，从而导致判断错误。​

　　图片使用申明：原创文章图片源自‘Canva可画’平台免费版权图片素材；引用文章源自引用平台文章中所使用的原图。