本网讯（通讯员唐瑞雪）6月16日晚，应策略冠军论坛陈波教授邀请，香港中文大学哲学系张寄冀教授做了主题为“可解释人工智能与反事实生成模型”的线上讲座。本次讲座由陈波主持，中国科学院哲学研究所吴东颖博士评议。来自国内外的400余名听众参与本次线上讲座。

本次讲座针对可解释人工智能研究中的反事实解释进路，围绕着“如何利用反事实解释有效地指导人们的行为”这个问题，在对比无回溯（Non-backtracking）、部分回溯（Partial backtracking）、全部回溯（Full backtracking）这三种方案的优缺点的基础上，给出了一种按需回溯的方案。

∧

讲座中，张寄冀介绍在可解释人工智能中，一种解释机器学习模型输出的分类或预测结果的方式是给出反事实解释，即输出一个与给定实例足够相似的反事实个例，其在该模型中得到的分类或预测会与实例得到的不同。实际个例与反事实个例的对比会揭示模型输出对某些特征的依赖关系，以此作为对模型输出的解释或说明。

这样的对比式解释通常用虚拟或反事实条件句来表达，比如“如果你的身体质量指数（以下简称BMI）降为30（实际BMI是40），那么模型会预测你患糖尿病的风险值为0.5（实际风险值是0.8）”。但问题是如何解读这样的条件句，不同的解读对应不同的选择反事实个例的标准。最开始提出反事实解释的论文采取如下解读:如果BMI为30，并且在其他特征不变的情况下，那么模型会预测你患糖尿病的风险值为0.5。但是这种解读没有考虑到BMI与其他特征之间的因果联系。如果BMI对其他特征有影响，那么改变BMI通常不会让其他特征都保持不变。因此，如果用户想参照反事实解释来制定行动方案以达到改变模型预测的目的，上述的解读很可能误导用户。

更好的解读，也是哲学文献里经常采用的解读，是考虑因果关系（或过去与将来的区别）：如果BMI降为30，并且受BMI影响的特征也随之发生相应变化，那么模型会预测你患糖尿病的风险值为0.5。虽然此种因果解读能更可靠地指引行动，但是它仍然面临着诸多问题。首先，这种解释要依赖因果关系，如何获得可靠的因果性知识依然是知识论里的大问题。其次，即便考虑因果关系的反事实解释在理论上有明确的行动指引，要在实践中遵循这样的指引有相当的难度。最后，即使我们可以获得因果知识，但通过这种解读得到的反事实个例，经常是在训练数据集中没有得到足够支持的个例（out-of-sample instances）。因为当下的机器学习模型还不具备强大的泛化能力，在这种个例上的分类或者预测往往既不准确也不稳定，因此其作为行为的指引还是不可靠。

本次讲座聚焦最后一个问题，在假设可获得因果结构知识的基础上，探究我们能否找到一种对反事实条件句的解读，来避免或者减轻这个问题。张寄冀用哲学文献里一个著名的例子¾ 对比“如果我现在跳下10楼，那么我会严重受伤”与“如果我现在跳下10楼（因为我知道下面有安全网），那么我不会受伤”这两个反事实条件¾ 引入回溯的反事实推理（backtrackingcounterfactual）。不同于第一个语句，第二个语句体现的推理是在考虑反事实假设时，回溯到导致此假设实现的因素。这样的回溯可以用来避免产生样本外事例。张寄冀介绍了避免样本外事例的两种回溯推理方式。第一种为部分回溯（Partial backtracking），第二种为全部回溯（Full backtracking）。部分回溯是指只回溯到因果图的某些中间节点，而不用回到初始值。而全部回溯是指回溯到初始值，并不破坏原有的因果联系。张寄冀指出，虽然全部回溯更容易避免样本外事例，但因为需要回到无法控制的初始值，指导行动的意义就消失了。另一方面，无回溯（Non-backtracking）指导行动的意义相对明确，但因为样本外事例的出现，在现有的机器学习模型中应用并不可靠。因此，部分回溯有希望达到两者兼顾的平衡。

张寄冀与合作者提出了一种平衡方案——通用回溯（General backtracking），即根据解决样本外事例的具体需要进行回溯。如果要解决样本外事例，只需要回溯一步，那么就回溯一步；如果需要回溯到初始值，那么就回溯到初始值，此时通用回溯就相当于全部回溯。如果没有产生样本外事例，不需要进行回溯，那么此时通用回溯就相当于无回溯。在通用回溯中，回溯到哪个环节是由人们解决样本外事例的需要决定的。比起无回溯，它可以处理样本外事例，增强预测可信性；比起全部回溯，它在处理小概率事件的同时，能保持对人们行为的一些指导作用。

在评议环节，吴东颖博士就“通用回溯的选择标准问题”和“如何确定回溯到哪个环节”进行提问。他指出，在因果图中，面对小概率事件，可以采取多种干预方式。如何确定要使用哪一种干预方式，通用回溯方案面临着选择标准问题。相比之下，全部回溯则不会面临这样的问题。张寄冀回应称，所提出通用回溯方案只是一个方案，确实面临着哪种选择标准最优或者最合理的问题。但总体上通用回溯仍坚持按需回溯，从直觉上讲，回溯得越少越好。比起全部回溯，通用回溯的优点在于可以指导人们的行为，这毕竟是人工智能发展的一个重要目的。

策略冠军论坛谢凯博副研究员就“如何从可能世界的角度理解全部回溯”进行提问。他质疑按照全部回溯的方式，要回到初始值来解决样本外事例，这样的思路似乎不应该称为反事实推理。张寄冀回应称，虽然在哲学界，如何理解反事实推理仍存在争议。但是从人工智能这样的技术性角度看来，全部回溯是指面对样本外事件，要回溯到一个（局部）因果模型的初始值，与哲学里讨论的宇宙的初始状态和（全局）自然律还是有所不同。但就算是用（全局的）可能世界来给出反事实条件句的语义，也有哲学家反对刘易斯式的诉诸“奇迹”的非回溯语义，而推崇保持所有自然律的回溯语义。

讲座最后，陈波教授寄语张寄冀、吴东颖、谢凯博等中青年学者，希望他们充分利用曾在海外学习的经历，融入国际学术共同体，专心科研，争取在国际学术共同体中占有一席之地。

（编辑：邓莉萍   审稿：严璨）