Chinook算法设计存在偏见和歧视,NDP呼吁进行调查
加拿大移民局在2018年引入人工智能系统(AdvancedAnalytics高级分析系统AA)进行机器学习, 通过成千上万的案例来让这些系统熟悉整个审理流程,并且给出一些指标。2018年8月开始对中国和印度进行测试,2019年秋季开始转入稳定处理阶段。
目前,该系统基本上负责处理所有的网络递交的短期签证申请,包括访问签证申请,学习许可申请和工作许可申请,连调档记录上也清楚可见Chinook系统的身影。
更多信息,可参见往期:
加拿大移民局引入人工智能参与签证审理,未来感十足!我们该如何应对?
加拿大移民局AI模型和审理逻辑分享,签证官将不会告知分类依据
加拿大新⺠主党呼吁对Chinook进⾏调查,因英国政府暂停使用签证申请审批算法,担心该技术会导致无意识的偏见和种族主义。IRCC 助理主任杰夫罗杰斯(Jeff Rogers)表示,虽然这是⾮常⽚⾯和有倾向性,但它确实表明在使⽤此类系统时存在偏⻅和歧视的⻛险。
系统会导致官员以社会正义的名义⾃我审查和破坏⻛险完整性策略,最终使⽤和依赖的所有⼯具都被质疑为种族主义或歧视性。IRCC可以对所做的事情进⾏的那种审查,在未来也会受到很多监督。
根据豁免信息获取法,系统还必须继续主要依赖既定的外部指标,⽽不是决策的反馈回路。虽然加拿大移⺠制度不完善,但绝对是⽬前最好的,且可能是⽬前在 26 国集团所有国家中唯⼀得到所有⼈⼝阶层普遍⽀持的制度。
此前,英国移民福利联合委员会(JCWI) 和竞选律师事务所 Foxglove 已要求法院宣布签证申请算法,并下令停止使用,等待司法审查。法律诉讼尚未完成,但似乎已迫使内政部采取行动,已承诺重新设计该系统,使其更加精简和安全的。重新设计计划于秋季完成,内政部表示将同时实施一个临时流程,排除使用国籍作为分类标准。
该算法被内政部描述为数字流媒体工具,可以为申请人分配红色、琥珀色或绿色风险评级。一旦被算法分配,这个评级在决定签证申请的结果中起着重要作用。考虑到它对某些国籍的处理,该技术被称为种族主义和设计歧视。
签证算法在设计上基于国籍进行歧视。持有“可疑”国籍的人提出的申请获得了更高的风险评分。他们的申请受到内政部官员的严密审查,受到更多怀疑,需要更长的时间来确定,并且更有可能被拒绝。早些荷兰政府被勒令停止使用算法风险评分系统来预测社会保障索赔人实施福利或税务欺诈的可能性。当地法院发现该系统违反了人权法。