测试人工智能在预测大学辍学率方面的公平性

为了在为时已晚之前帮助陷入困境的大学生，越来越多的大学正在采用机器学习模型来识别有辍学风险的学生。进入这些模型的信息会对它们的准确性和公平性产生重大影响，尤其是在涉及性别、种族和家庭收入等受保护的学生特征时。但在一项新研究中，这是迄今为止对大学人工智能系统进行的最大一次审计，研究人员发现没有证据表明从模型中删除受保护的学生特征可以提高预测的准确性或公平性。

这一结果令信息科学助理教授兼未来学习实验室主任 René Kizilcec 感到惊讶。

“我们预计去除社会人口特征会降低模型的准确性，因为这些特征在研究学术成就时是如何建立的，”他说。“虽然我们发现添加这些属性并没有提供经验优势，但我们建议将它们包含在模型中，因为它至少承认仍然存在与它们相关的教育不平等。”

Kizilcec 是“大学辍学预测模型应该包括受保护的属性吗?”的资深作者。将于 6 月 22 日至 25 日在虚拟计算机协会大规模学习会议上发表。该工作已被提名为会议最佳论文奖。

共同作者是未来学习实验室成员汉娜李，计算机科学领域的硕士生，主要作者是加州大学欧文分校的博士生余仁哲。

在这项工作中，Kizilcec 和他的团队检查了住宿学院和完全在线课程中学生的数据。研究中的机构是西南部的一所大型公立大学，论文中没有提及。

通过系统比较有和没有受保护属性的预测模型，研究人员旨在确定包含受保护属性如何影响大学辍学预测的准确性，以及包含受保护属性是否影响大学辍学预测的公平性。

研究人员的数据集非常庞大：共有 564,104 门住宿课程——93,457 名独特学生和 2,877 门独特课程的学习记录;以及 81,858 条在线课程学习记录，用于 24,198 名独特学生和 874 门独特课程。

从数据集中，Kizilcec 的团队在四个类别中构建了 58 个识别特征，包括四个受保护的属性——学生性别;第一代大学地位;代表人数不足的少数群体的成员(既不是亚洲人也不是);和高财务需求。为了确定使用受保护属性来预测 dropout 的后果，研究人员生成了两个特征集——一个有受保护的属性，一个没有。

他们的主要发现：当常用特征(包括学术记录)已经在模型中时，包括四个重要的受保护属性对整体预测性能的三个常用度量没有任何显着影响。

Kizilcec 说：“识别高危学生的重要性已经由其他属性解释了。” “受保护的属性并没有增加太多。可能存在性别差距或种族差距，但与之前的 GPA 等特征相比，它与辍学的关联可以忽略不计。”

也就是说，Kizilcec 和他的团队仍然主张在预测建模中包含受保护的属性。他们指出，高等教育数据反映了长期存在的不平等，他们引用了更广泛的机器学习社区最近的工作，这些工作支持“通过意识实现公平”的概念。

“有研究表明，某些属性，比如学业成绩，影响学生坚持上大学的可能性的方式可能因不同的受保护属性群体而异，”他说。“因此，通过在模型中包含学生特征，我们可以解释不同学生群体之间的这种差异。”

作者总结道：“我们希望这项研究能激励更多学习分析和教育数据挖掘社区的研究人员参与他们开发和评估的模型和系统中的算法偏见和公平性问题。”

Kizilcec 的实验室在教育中的算法公平性方面做了很多工作，他说这是一个研究不足的话题。

“这部分是因为[教育中的]算法不那么明显，与刑事司法或医学相比，它们的工作方式通常不同，”他说。“在教育中，这不是把某人送进监狱，或者被误诊为癌症。但对于个别学生来说，被标记为有风险可能是一件大事。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！