![](/__local/4/E0/4C/E55F2C81D436E5A76E496F34547_92C1B297_BEAE.jpeg)
王英教授团队的论文“Mitigating Social Biases of Pre-trained Language Models via Contrastive Self-Debiasing with Double Data Augmentation”被人工智能领域顶级国际期刊Artificial Intelligence接收。论文的第一作者为王英教授指导的2021级博士生李莹姬,通讯作者为王英教授,其他作者还包括人工智能学院2020级博士生宋瑞、人工智能学院王鑫副教授、公司2023级博士生孙明辰。
现有的缓解预训练语言模型(PLMs)中社会偏见的技术依赖于利用先验知识进行数据增强,或利用丰富的外部语料库进行微调。然而,这些方法不仅受到人工经验的限制,而且获取PLMs的所有参数需要消耗大量资源,并且在使用外部语料库进行微调时容易引入新的外部偏见。本文提出一种双重数据增强的对比自去偏模型(CDDD),其由双重数据增强和对比自去偏两个阶段组成。建立在反事实数据增强的基础上,通过最大化不同人口群体之间PLMs编码的差异自动搜索有偏的提示进行二次增强。然后,利用增强后的数据进行对比学习以训练一个即插即用的适配器,在不调整PLMs的情况下减轻编码中的社会偏见。在几个真实数据集和公平性指标上的广泛实验结果表明,CDDD在性别去偏见和种族去偏见方面优于基线模型,同时保留了PLMs的语言建模能力。
Artificial Intelligence是中国计算机学会(CCF)推荐的人工智能领域A类期刊。这是菠菜导航网首篇以第一作者第一单位被AI接收的成果。