机器学习大赛又出骗子！窃取私有数据集，一万美元到手

世界最知名的数据挖掘以及机器学习竞赛平台Kaggle刚刚宣布，获得最新竞赛的冠军团队Bestpetting因涉嫌作弊而被剥夺了冠军头衔。该团队通过宠物领养网站Petfinder.my收集Private Leaderboard的答案，然后将这些数据隐藏在他们提交的文件中，并于2019年4月9日赢得年度冠军。在总共25000美元的奖金池中，Bestpetting团队获得了10000美元，如今这笔资金已经无法追回。

何为Kaggle竞赛？

Kaggle(谷歌子公司)是一个围绕建立机器学习模型的竞赛而建立起来的在线社区，该平台的奖金池高达150万美元，吸引了各种各样的数据玩家。Kaggle为竞赛提供数据集，以及将用于决定获胜而提交的指标。参赛者分析给定的数据，构建模型以匹配期望的结果，然后提交结果(通常与代码一起提交)。为了防止有人作弊，机器学习竞赛使用没有标记的数据，并分两个阶段使用：

第一，当比赛结束后，参赛者只拥有作为未标记数据的数据集中的“私人”部分，用于帮助选择获胜者。在理想情况下，此数据可以表示模型将如何对以前从未见过的数据执行相关操作。

第二，为了在比赛期间对参赛者进行排名，参赛团队提交的作品会根据数据集中专门用于leaderboard(临时成绩)的部分进行评分。就像“私人”测试数据一样，参赛者可以使用这些数据，但没有标准。单独针对leaderboard指标进行优化的团队，通常会因为不适用于数据集的“私人”部分而失败。

使用私人数据作弊

这种竞赛形式的结果是，如果某个团队获得了私有测试数据集的基本事实答案，那么它获胜的可能性就会大增。但作弊团队构建的模型往往是无效的，会使竞赛变得毫无意义。在这种情况下，作弊者会在提交答案的同时附上自己的答案。

其他的作弊方式可能更难以察觉。其中一种方法是使用完整的数据集来优化超参数，从而创建一个看似更有效的模型。也许作弊团队会选择更容易检测的方法，因为他们根本没有能力创建值得被选入leaderboard的模型，也有可能是因为他们不愿费更多心思。

解决这些问题的办法可能是将私人数据完全排除在竞赛之外，提交必须包括提供API来生成预测的代码，但这也将防止参赛者知道私人和leaderboard数据中的功能分布。

Kaggle竞赛的阴暗面

Kaggle竞赛有很多潜在的问题。有人在检测信用卡诈骗的竞赛中偶然发现了一个例子。一种流行的模型正在使用来自未来的信息进行培训，这将使其在实践中无法使用，毕竟银行无法预测这些尚未发生的事情。许多模型使用数据集的方式会产生更高的分数，但会使模型对竞赛组织者毫无用处。不过，这些模型仍然可以赢得竞赛，因为他们没有违反任何规则。

由于可能存在的这些漏洞和无用结果，竞赛组织者必须对他们的数据和规则格外警惕和谨慎。有些人要求举行多轮竞赛选拔胜者，有些人建议平均分配奖金给更多的顶级参赛者。

作弊惯犯

Bestpetting团队由帕维尔·普莱斯科夫（Pavel Pleskov）、纳雷克·马洛扬(Narek Maloyan)和费多尔·多布里扬斯基(Fedor Dobryanski)组成。这并不是普莱斯科夫第一次破坏Kaggle竞赛，也不是第一次被指控作弊，只是过去Kaggle竞赛组织方没有相关预防措施，而且普莱斯科夫本身也是Grandmaster级别的大牛。

图2：在Kaggle竞赛中被曝作弊的帕维尔·普莱斯科夫

普莱斯科夫被剥夺冠军头衔，并被禁止进入Kaggle平台，记者还联系了普莱斯科夫的雇主H2O.ai，请其发表评论。后者的发言人英格丽德·伯顿（Ingrid Burton）回应称：“今天早些时候，我们已经知道了情况。普莱斯科夫不再与H2O.ai有关联，立即生效。我们还将与Petfinder.my联系，看看我们能为他们提供什么帮助。”

我门没有找到费多尔·多布里扬斯基(Fedor Dobryanski)的进一步信息，他也被禁止进入Kaggle平台。不过，纳雷克·马洛扬(Narek Maloyan)没有被禁。

Kaggle有更光明的未来

在推动机器学习向前发展方面，Kaggle始终是一股强大的力量。通常获奖的作品会展示出最好的工具和实践，并激发发明新技术的灵感。尽管不实用的模型和作弊行为伤害了竞赛组织者、Kaggle品牌和整个生态系统，但好的和潜在的影响远远大于坏的影响。

也许这是Kaggle翻开新篇章的标志。如果他们想要重建人们对其平台及其社区失去的信任，他们有很多事情需要去做。推动可重复性、公平性和实用性的建模竞赛，正是机器学习所需要的，希望我们能实现这样的目标。