分析称19.42%的Twitter活跃账号是虚假或垃圾邮件账户

在过去的三年里，SparkToro一直在运营一个名为 Fake Followers的Twitter个人资料免费工具。在过去的一个月里，许多媒体和其他好奇的各方都使用该工具来分析可能成为Twitter收购者的埃隆·马斯克(Elon Musk)的粉丝。上周五，马斯克发推文说他对Twitter的收购被 “搁置”了，因为有人质疑Twitter的用户中有多少是虚假或垃圾邮件账户。

SparkToro是一个只有三个人的小团队，Fake Followers旨在进行非正式的免费研究（实际业务是受众研究软件）。然而，鉴于公众的重大兴趣，SparkToro与Twitter研究工具Followerwonk（其所有者Marc Mims是一个长期的朋友）联手进行了严格的分析回答。

• 什么是垃圾邮件或虚假Twitter账户？
• 多大比例的活跃Twitter账户是垃圾邮件或虚假账户？
• 马斯克的粉丝中，有百分之多少是垃圾邮件、虚假或不活跃的账户？
• 为什么SparkToro的方法应该被信任？

SparkToro在下文中逐一讨论这些问题。

什么是垃圾邮件或虚假Twitter帐户？

SparkToro的定义（可能与Twitter自己的定义不同）可以最好地描述如下。

“垃圾邮件或虚假Twitter账户是指那些不经常有人类亲自撰写其推文内容、消费其时间线上的活动或参与Twitter生态系统的账户。”

这个定义下的许多 “虚假”账户既不邪恶也没有问题。例如，相当多的用户发现关注@newsycombinator（它自动分享黑客新闻网站的头版文章）或@_restaurant_bot（它推送通过Google地图发现的随机餐厅的照片和链接）这样的机器人有价值。可以说，这些账户使Twitter成为一个更好的地方。他们只是没有一个人在设备后面，亲自参与到Twitter的生态系统中。

相比之下，大多数“垃圾邮件”账户是一种不受欢迎的滋扰。他们的活动范围从兜售宣传和虚假信息到那些试图销售产品、诱导网站点击、推送网络钓鱼尝试或恶意软件、操纵股票或加密货币，以及（也许最糟糕的）骚扰或恐吓平台用户。

SparkToro的假粉丝方法（下文有详细描述）试图识别所有这些类型的不真实的用户。

然而，SparkToro的系统并不试图识别可能由人类不定期操作但有一些自动化行为的Twitter账户（例如，一个有多个用户的公司账户，如他们自己的@SparkToro，或一个由一个人操作的社区账户，如Aleyda Solis的@CrawlingMondays）。他们无法知道Twitter（或马斯克）可能会选择如何对这些账户进行分类，但他们偏向于对“垃圾邮件/虚假”的相对保守的解释。

多大比例的活跃Twitter账户是垃圾邮件或虚假账户？

为了得到最全面的答案，SparkToro在五个独特的数据集上应用了一个单一的垃圾邮件/虚假账户分析过程（如下所述）。

以上所代表的数据集是：

1.Followerwonk随机样本（44058个账户）--Followerwonk目前有10.47亿个Twitter资料索引，以连续的周期更新，需要30天左右。任何被删除的账户（由用户或Twitter）都会被删除，不包括在统计中。根据Followerwonk的定义，其中1.3亿是 “近期活跃”的，即在过去9周内曾发布推文，并且是公开的，而不是“受保护”的（Twitter对私人账户的术语）。

Marc 写了代码，从Followerwonk的活跃数据库中随机选择公共账户，并将它们传递给SparkToro进行分析。SparkToro团队的Casey进一步刷新了这个名单，并通过他们的虚假粉丝垃圾邮件分析程序运行了44058个公共活跃账户，发现8555个账户的特征与虚假/垃圾邮件账户高度相关。他们相信这个数据集代表了对有多少活跃的Twitter用户可能是垃圾邮件或假的问题的最佳、单一答案。

2.虚假追随者工具的汇总平均值（约50万个配置文件运行，分析了1亿多个账户）--在过去3年半的运作中，SparkToro的虚假追随者工具已经在501532个独特的账户上运行，并分析了其中每个账户的数千个追随者，总计超过10亿个配置文件（尽管这些并不一定独特，而且他们没有跟踪哪些配置文件被分析为该过程的一部分）。

这代表了他们可以获得的最大的账户集，但它包括对许多老账户的分析，这些账户在过去90天内没有发送过推文，因此，很可能不符合Twitter对mDAUs（可盈利的日活跃用户）的定义。他们把它包括在内是为了进行比较，并表明包括简单的随机Twitter账户（与那些最近活跃的账户相比）的分析可能不那么准确。

3.Twitter上@ElonMusk的所有追随者（9340万个账户）--鉴于人们对马斯克的账户的独特兴趣，以及它在触发这份报告中所发挥的核心作用，研究团队认为包括对关注@ElonMusk的近亿个账户的完整分析是明智的。这个数据集包括了在过去90天内没有发过推文的旧资料（不符合Twitter的mDAUs定义）。

4.Twitter上@ElonMusk的活跃粉丝（2680万个账户）--对马斯克的Twitter粉丝进行更公平的评估，只包括在过去90天内发过推文的账户。为了与Followerwonk的分析方法相匹配，SparkToro团队只选择了那些符合这一标准的26,878,729个账户，并在上图中把它们细分出来。

5.对关注@Twitter账户的100个用户进行随机抽样（100个账户）--在5月13日周五的推文的后续报道中，马斯克说，“我的团队将对@twitter的100个关注者进行随机抽样；我邀请其他人重复同样的过程，看看他们有什么发现。”

虽然SparkToro团队不认为这个过程是一个严格的、具有统计学意义的样本集，但他们还是把它包括在内，以便进行比较。5月14日，他们从@Twitter的粉丝公共页面中手动抽取了一个随机账户样本。为了得到偏差最小的样本，他们只包括公共账户，只包括在过去90天（2022年2月12日之后）发送推文的账户，只包括2021年5月之前创建的账户，即他们已经在Twitter上呆了1年以上（许多最近的账户，特别是考虑到马斯克的活动，可能使样本产生偏差）。

6.Twitter最近的收益报告估计（账户数量不明）--马斯克在最近的推文中引用了Twitter的公开收益报告，分享了<5%的mDAUs（可盈利的每日活跃用户，在他们的2019年报告中定义）是虚假或垃圾邮件。SparkToro在图表中加入了这一估计，以便进行比较，并指出其方法未被披露。

毫无疑问，其他研究人员将作出其他估计，希望有同样大和严格的数据集。鉴于Twitter公开数据的局限性，SparkToro团队认为最准确的估计是：在过去90天内发送过推文的公共账户中，有19.42%是虚假或垃圾邮件账户。

马斯克的Twitter粉丝有多大比例是垃圾邮件、虚假或不活跃的？

2018年10月，SparkToro分析了当时的美国总统唐纳德-特朗普在.Twitter上的所有54,788,369名追随者。在这份报告中，SparkToro复制了这一过程，分析了马斯克个人资料中的所有93,452,093名粉丝（截至2022年5月14日）。

当通过SparkToro的公共工具运行虚假追随者报告时，其团队分析了一个Twitter用户的追随者样本（几千个）。当一个账户有非常多的追随者时，这种方法可能会偏离对每个追随者的全面分析所显示的情况。在5月14日星期六和5月15日星期日，SparkToro的Casey Henry 对马斯克的账户进行了这一全面分析，以提供尽可能精确的数字。

上面是SparkToro的垃圾邮件分析系统中使用的一些因素的分类，总的来说，70.23%的@ElonMusk的粉丝不太可能是看到他的推文的真实、活跃用户。这远远高于假粉丝的中位数，但并不令人惊讶，原因有几个。

非常大的账户往往比其他账户有更多的虚假/垃圾邮件粉丝

受到大量媒体报道和公众关注的账户（如美国前总统特朗普和马斯克）往往比其他账户吸引更多的虚假/垃圾邮件追随者

Twitter向新用户推荐的账户（通常包括@ElonMusk）往往会获得更多的虚假/垃圾邮件关注者。

与其他Twitter账户的分布情况相比，@ElonMusk的虚假/垃圾邮件追随者数量可能显得不正常，但SparkToro不认为或暗示马斯克对获得这些可疑的追随者负有直接责任。最有可能的解释是上述因素的组合，而马斯克对Twitter的积极使用、媒体对其推文的报道以及Twitter自己的推荐系统更加剧了这种情况。

SparkToro团队也只对那些在过去90天内发过推文的2680万@ElonMusk的粉丝进行了分析。这个过滤器与他们应用于Followerwonk数据集和@Twitter的随机关注者的过滤器相匹配。

这种更有选择性的分析发现23.42%的人可能是虚假或垃圾邮件账户，这个数字与估计的全球平均数相差不远。

为什么要相信SparkToro和Followerwonk的方法学？

上述分析的数据集（除了@Twitter的随机100名粉丝，研究团队不赞成这种方法）范围足够大，过程足够严格，其结果可由任何具有类似公共权限的Twitter研究人员复制。研究团队邀请任何有兴趣的人在他们自己的数据集上复制在这里使用的过程（并在下面详细描述）。Twitter在这里提供了关于他们的API产品的信息。

Followerwonk只从那些在过去90天内有公开推文发表的账户中随机抽取样本，这是"活动"的明确标志。此外，Followerwonk定期更新其个人资料数据库（每30天），以删除任何受保护或删除的账户。他们相信，这个样本的规模足够大，具有统计学意义，并且经过精心策划，最接近于Twitter可能认为的可盈利的每日活跃用户（mDAU）。

SparkToro的虚假粉丝分析认为，如果一个账户触发了SparkToro在他们的虚假粉丝工具中显示的许多信号，那么它就是虚假的。

SparkToro识别虚假账户的模型来自于对数万个已知的垃圾（和真实）Twitter账户进行的机器学习过程。以下是SparkToro如何建立这个模型的。

2018年7月，SparkToro团队从3个不同的垃圾邮件和机器人账户供应商那里购买了3.5万个虚假Twitter粉丝账户。他们的供应商让这些账户关注一个空的Twitter账户，该账户创建于2016年，在2018年7月有0个粉丝。花了~3周的时间来交付这35,000名粉丝。在接下来的3周里，他们每天都会收集这些虚假/垃圾账户的数据。

除了这35000个已知的垃圾邮件账户，团队又从SparkToro的大型档案索引中随机抽取了50,000个非垃圾邮件账户。这给了我们总共85,000个账户，在亚马逊网络服务上通过机器学习程序运行。

这85,000个账户被分成两组，其中混合了垃圾邮件和非垃圾邮件账户。A组作为训练集，B组作为测试集，以分析模型的性能。

以下数据被用于初始模型的生成：

• 资料图片
• 简介URL
• 已验证的账户状态
• 语言
• Twitter语言
• 帐户年龄（天数）
• 个人简介的长度
• 追随者的数量
• 他们关注的账户数量
• 距离上次发推的天数
• 推文的数量
• 帐户出现在名单上的次数
• 地点
• 显示名称

在找到符合数据的模型后，SparkToro团队分析了结果，以确定与垃圾邮件密切相关的特征。不出所料，没有一个特征与垃圾邮件有1:1的相关性。但是，很多特征在组合使用时显示出前景。以下是与垃圾邮件账户相关的特征的例子。

• 资料图片 - 缺乏这些资料的账户往往是垃圾邮件。
• 账号年龄（天数）--某些模式显然与垃圾邮件有关（例如，当一天内创建的大量账号关注特定的账号或发送几乎相同的推文）。
• 追随者的数量 - 垃圾邮件账户往往只有很少的追随者
• 自上一条推文以来的天数--许多垃圾邮件账户很少发推文，而且是以协调的方式发推文
• 帐户出现在名单上的次数 - 垃圾邮件帐户几乎从不出现在名单上
• 显示名称 - 某些关键词和模式与垃圾邮件密切相关

然而，这些并不是唯一的，其他与垃圾邮件有适当相关性的信号（特别是当多个信号适用于一个账户时）也有助于建立一个有效的模型。通过试验和错误（当然还有模式拟合），他们精心设计了一个评分系统，可以正确识别超过65%的垃圾邮件账户。他们故意偏向于遗漏一些虚假/垃圾邮件账户，而不是意外地将任何真正的账户标记为错误的。

关键是要记住，没有一个因素能告诉他们一个账户是垃圾邮件！这一点很关键。触发的垃圾邮件信号越多，一个账户就越有可能是垃圾邮件。我们的虚假追随者系统要求在将一个账户评为"低质量"或虚假之前，至少要有17个垃圾邮件信号中的一小部分，有时甚至多达10多个（取决于哪些信号，以及它们的预测性）。

这种方法可能低估了垃圾邮件和虚假账户的数量，但几乎不包括假阳性（即声称一个账户是假的，但其实不是）。

对Followerwonk提供的约4.4万个随机的、最近活跃的账户应用这一模型，可以得出每个账户的质量分数，如下图所示。

一个账户触发的垃圾邮件相关标志越多，其在该系统中的质量得分就越低。Sparktoro的保守方法意味着我们只将3、2和1的分数视为虚假/垃圾邮件账户，而这三个的组合产生了他们的最终估计，最好的说明是：19.42%的最近活跃的公共Twitter资料极有可能是虚假或垃圾邮件。