随着深度学习的成熟化规模化，人工智能技术广泛应用在医疗、交通、城市管理等多个领域中，发挥着越来越不可替代的作用。但另一方面，其潜在的风险与隐患也开始显露，全球范围内逐步涌现出对于AI安全的信任焦虑。

如何建立人与系统的互信，让人工智能技术更好更安全地为人所用？蚂蚁集团长期致力于安全科技研究，并成立了九大安全实验室，聚焦在可信AI、系统安全、数据安全等前沿安全技术。据知识产权产业媒体IPRdaily统计，2021年蚂蚁在AI安全可信关键技术方面专利授权数量位列全球第一。

今年上半年，蚂蚁安全实验室围绕可信AI的可解释性、鲁棒性、公平性，与清华大学、上海交通大学、中国科学院等高校合作，在计算机视觉、机器学习、自然语言生成等领域开展新型课题研究，10篇论文被CVPR、KDD、ECCV等CCF-A类顶级会议及期刊收录，本文将对部分论文进行分享解读。

关于计算机视觉在当前的发展趋势，中山大学网络空间安全学院院长操晓春教授表示，“计算机视觉作为人工智能最活跃的研究领域之一，正与国民经济全场景深度融合创新。一方面，计算机视觉算法的鲁棒性不断增强，正从公知的实验室场景走向现实客观世界的复杂场景，从千奇百怪的票据、表单、卡证，到屡禁不止的赌博、暴恐、色情；另一方面，计算机视觉算法依赖的深度学习模型具有对抗性扰动上的内生脆弱性，其对抗攻击与防御研究如火如荼，启发实验室发明了水印疫苗，从一种全新视角防止去除可见版权水印。”

◆蚂蚁联合浙大提出“基于标签关系树的层级多粒度残差分类网络”，论文收录于CVPR2022

在《建模客观世界丰富语义知识的层级多粒度标签分类算法》一文中，该团队研究发现基于数据驱动的传统算法不能有效映射现实客观世界主体具有的丰富关系。为此，针对赌博、暴恐、色情等现实场景中的多元化风险要素，他们提出了一种基于标签关系树的层级多粒度残差分类网络，可以有效利用具有不同层级粒度标签样本的知识，目前已在公开数据集获得了比同类方法更优的结果。

基于该标签体系设计复合损失函数，首先构建层级多粒度标签体系，在训练时层级间的知识可以进行有效迁移，即父子关系知识、兄弟关系知识迁移；网络结构设计层面，父类层级的专有属性可以利用残差结构的方式被子类继承。多方实验结果表明，HRN有效利用层级知识的同时达到了SOTA（state-of-the-art）的实验结果。

此外，实际业务应用的元素类别较为复杂，以层级多粒度标签的方式进行组织，能够有效建模层级知识的同时，满足业务在不同场景下对不同层级粒度标签的需求。相对地，传统分类算法只能利用某一层级的样本。

◆蚂蚁联合中科院首次提出去水印防御机制，论文收录于ECCV2022

可见水印作为一种常见的安全工具，已被广泛应用于保护数字图像的版权。然而，最新的数据表明，深度神经网络 (DNN) 能够在不损坏其宿主图像的前提下去除可见水印，这种去水印技术对图像的所有权构成了极大的威胁。

受 DNN 在对抗性扰动上的脆弱性的启发，该团队针对对抗性机器学习，在《水印疫苗：防止去水印的对抗攻击》中共同提出了一种新颖的防御机制。作为首个提出用于盲水印去除网络的水印不可知扰动的团队，他们实际上优化了对主机图像的不易察觉的对抗性扰动，以主动攻击水印去除网络，称为水印疫苗。

具体而言，该团队提出了两种类型的疫苗，其中，破坏水印疫苗 (DWV) 在通过水印去除网络后会导致主机图像与水印一起破坏。相比之下，隐藏水印疫苗 (HWV) 以另一种方式工作，试图保持水印不被去除并且仍然引人注目。大量实验证明了该团队的 DWV/HWV 在防止水印去除方面的有效性，尤其是在各种水印去除网络上。此外，水印疫苗还可以抵抗一些常见的图像处理操作。

针对上述两个缺陷，该团队提出了关注文本阅读顺序的多模态文档理解XYLayoutLM模型方案，希望改善文档在自动化读取过程中，表单结构复杂、文本过长等导致的错误理解问题，提高内容读取的准确率，从而提升全网巡检业务中的网站登陆页面理解、风险行业定性等各项子业务。同时通过算法创新，生成不同的合理阅读顺序，并考虑可变长度的文本输入，以提升模型的鲁棒性，帮助模型更好得理解图像讯息。该方法比基准方法在FUNSD和XFUN两个数据集上的指标高出了2%左右，现已被应用于蚂蚁集团的自动化表单理解业务中。

“随着机器学习技术的广泛应用，我们面临着大量数据偏差、样本外分布等问题，严重影响了各类决策模型的稳定性和鲁棒性”，中科院自动化所副研究员刘强谈到，“未来的机器学习算法需要更多地挖掘稳定、鲁棒的因果性特征，消除数据中存在的偏差与歧视，实现公平、鲁棒、可信的人工智能。”

◆蚂蚁联合北大提出针对微调算法的高一致性概念，论文收录于ICLR2022

该团队在《logit anchoring：一种样本层面高一致性的后门学习算法》中提出了一种高一致性的小样本模型微调算法。工业场景中，神经网络可能会因为安全问题或者需求变化，需要对网络进行高频的微调。而传统的微调算法，只关注微调前后模型的准确率是否下降，没有显式考虑微调过程中的模型在样本级别上的行为一致性。经研究发现，除了整体的准确率，还存在样本级别的一致性问题：以分类系统为例，即使分类正确率保持不变，但是模型微调后可能会出现出错样本的特点改变，不同类的预测正确率改变等样本级别的行为变化。

因此，该团队首次提出样本一致性的概念并提出了系统样本一致性的衡量方案。在需求轻微变动的时候，用原始模型在少数样本上预测中间状态，来监督模型的微调，保证模型在预测正确标签的基础上，尽量少修改与更新无关的特征表示，进而以较低计算代价，来获得高一致性的微调后模型，减少因为微调数据不足造成的性能损失，实现低代价轻量级频繁的需求更新和微调。

◆蚂蚁联合中科院提出“面向风控样本有偏场景的拒绝感知多任务网络”，论文收录于TKDE2022

在风控决策、核身决策等场景中，所有的观测标签都会受到决策策略的影响，从而存在选择偏差问题。因此，该团队基于因果推断和多任务学习进行算法创新，引入全局信息，提出了拒绝感知的反事实多任务网络RMT-net，并应用在支付宝登录核身推荐场景中，比其他SOTA算法在准确率上提高3%，最重提升用户登录成功率0.1%，有效提升了模型的稳定性、准确性。

多任务学习方法并不能直接在拒绝推断问题中取得很好的建模效果。团队分析了其中的原因并提出了拒绝感知的多任务学习网络，可以大幅提升多任务学习拒绝推断问题中的建模效果，并远超现有的常规金融风控数据建模手段。

在进一步将反事实学习和多任务学习结合后，该团队提出了拒绝感知的反事实多任务网络，融合两种学习方法的优势，并利用拒绝感知模块对两种学习方法进行赋能，进一步提升模型性能，使模型在多变的样本特征分布下均可取得稳定、准确的预测效果。

北京航空航天大学庄福振研究员介绍：“随着人工智能在社会生活中越来越广泛和深入的应用，AI决策的透明化和可解释性成为AI领域非常热门的话题。而最直观的解释方法，可能就是让机器自己陈述理由，比如自动生成一段逻辑清晰的语言来讲清楚。因此，针对可解释AI和自然语言生成（NLG）这两个前沿课题的有机结合，有着广阔的应用前景。”

◆蚂蚁联合北航提出“基于逻辑的可解释性文本生成神经网络”，论文收录于KDD2022

因此在该工作中，该团队针对反洗钱应用场景介绍了一种基于逻辑图谱的Data2Text方法，首先将人工知识以图谱的方式进行表达，不仅利于知识的管理，也利于后续模型的利用；同时将图谱中每个用户满足的条件对应的路径以比较完备的方式加入到模型的输入中，即图中的mata_path，这样使模型能充分利用专家知识；该方法还利用attention的方式回溯生成的文字和哪条路径有关，具备较好的可解释性；另外采用知识检索器和规则约束可以更好的利用专家知识和动态选择相应知识，也可以自我修正生产的错误字或词，使结果更加精确。实验结果表明，提出的方法相比之前的方法效果有较大提升。

近几年蚂蚁安全实验室持续在可信AI技术上投入且得到了应用成果，并研发了业界首个工业级可信AI检测平台。未来可信AI技术的发展需要继续产学研界结合的方式，开展面向真实场景的创新技术研究，才能走得更远。

入选论文附录：

1、《一种基于逻辑的可解释性文本生成神经网络》

2、《拒绝感知网络：面向风控样本有偏场景的拒绝感知多任务网络》

https://ieeexplore.ieee.org/abstract/document/9785714/

3、《XYLayoutLM：面向视觉丰富文档的多模态布局理解神经网络》https://arxiv.org/pdf/2203.06947.pdf

4、《logit anchoring：一种样本层面高一致性的后门学习算法》https://iclr.cc/virtual/2022/poster/6256

5、《蚂蚁集团OLR2021多语种识别双料冠军方案》

6、《使用符号验证框架设计领域优化的神经网络》https://www.atatech.org/paper/2421?spm=ata.25287382.0.0.3f6875360QxyRF

7、《一种基于噪声语义引导的双向年龄变化方法》

https://ieeexplore.ieee.org/document/9745962

8、《基于频域分析的隐私保护人脸识别方法》

https://aaai-2022.virtualchair.net/poster_aaai370

9、《建模客观世界丰富语义知识的层级多粒度标签分类算法》https://arxiv.org/pdf/2201.03194.pdf

10、《水印疫苗：防止去水印的对抗攻击》