游戏显示人机协作的“黑暗面” OpenAI要求Latitude立即采取行动

发表于 4年以前 | 总阅读数：707 次

去年夏天，OpenAI让Latitude提前接触到了其技术的更强大的商业版本。在营销材料中，OpenAI将《AI Dungeon》作为编写算法的商业和创意潜力的一个例子来吹捧。

上个月，OpenAI表示，它发现《AI Dungeon》也显示了人类与AI合作的“黑暗面”。一个新的监控系统显示，一些玩家输入的词语导致游戏产生了涉及儿童的性爱故事。OpenAI要求Latitude立即采取行动。OpenAI首席执行官Sam Altman在一份声明中说：“在某些情况下，内容审核的决定是困难的，但这一次不是。这不是我们任何人想要的人工智能的未来。”

上周，Latitude开启了一个新的审核系统，并在其用户中引发了反感。一些人抱怨它过于敏感，他们不能在不触发警告信息的情况下提及一台“已使用8年的笔记本电脑”。另一些人说，该公司计划手动审查被标记的内容，这将不必要地窥探私密的、虚构的创作，这些创作是色情的，但只涉及成年人--这是AI Dungeon的流行使用案例。

简而言之，Latitude试图将人和算法结合起来，对由人和算法产生的内容进行监管，结果变成了一团糟。在Twitter和AI Dungeon的官方Reddit和Discord社区，愤怒的模因和关于取消订阅的说法纷至沓来。

“社区感到被背叛了，Latitude会扫描并手动访问和阅读私人虚构的文学内容，”一位AI Dungeon的玩家说，他的名字叫Mimi，并声称在AI的帮助下，估计总共写了超过100万字，包括诗歌、暮光之城的模仿和情色冒险。Mimi和其他不高兴的用户说，他们理解该公司对公开可见的内容进行监管的愿望，但他们说该公司做得太过分了，毁掉了一个强大的创造性游戏场所。Mimi说："它使我能够探索我心理的某些方面，而我从未意识到这些方面的存在。

Latitude发言人说，其过滤系统和可接受内容的政策都在不断完善。工作人员以前曾禁止那些他们得知利用AI Dungeon产生以儿童为主角的性内容的玩家。但在OpenAI最近的警告之后，该公司正在进行 “必要的改变”，该发言人说。Latitude公司上周在一篇博客文章中承诺，AI Dungeon将 “继续支持其他NSFW内容，包括双方同意的成人内容、暴力和亵渎”。

阻止人工智能系统创建某些类型的性或成人内容，同时允许其他内容，将是困难的。像OpenAI这样的技术可以生成许多不同风格的文本，因为它是使用机器学习算法构建的，这些算法已经消化了从网络上获取的数十亿字中的语言使用统计模式，包括不适合未成年人的部分。该软件能够进行惊人的模仿，但并不像人们那样理解社会、法律或流派类别。

OpenAI在2019年年底将其文本生成技术作为开源技术发布，但在去年将一个大幅升级的版本，即GPT-3，变成了一项商业服务。像Latitude这样的客户付费输入文字串，并得到系统对后面应该有什么文字的最佳猜测。在被授予早期访问权的程序员分享了由该技术产生的令人印象深刻的流畅笑话、十四行诗和代码之后，这项服务引起了科技行业的注意。

OpenAI表示，这项服务将赋予企业和初创企业权力，并授予OpenAI的大额支持者微软对基础算法的独家授权。WIRED和一些尝试过该系统的程序员和人工智能研究人员表明，它也可以生成不受欢迎的文本，如反犹太主义的评论和极端主义的宣传。OpenAI表示，它将仔细审查客户以剔除不良行为者，并要求大多数客户--但不是Latitude--使用人工智能供应商创建的过滤器来阻止亵渎、仇恨言论或性内容。

在风口浪尖之外，AI Dungeon为OpenAI的文本生成技术提供了相对不受约束的机会。在2019年12月，也就是使用OpenAI技术的早期开源版本推出游戏的那个月，它赢得了10万名玩家。一些人很快发现并开始珍惜它对性内容的流畅性。其他人则抱怨人工智能会不由自主地提出性主题。

Latitude联合创始人Nick Walton在游戏的官方Reddit社区上承认了这个问题。他说有几个玩家给他发了一些例子，让他们 "感到非常不舒服"，并补充说该公司正在研究过滤技术。从游戏的最初几个月开始，玩家们也注意到了，并且在网上发帖标明，游戏有时会把儿童写进性爱场景中。

AI Dungeon的官方Reddit和Discord社区增加了专门的频道来讨论游戏中产生的成人内容。Latitude增加了一个可选的 "安全模式"，可以过滤掉来自人工智能的某些词汇的建议。然而，像所有自动过滤器一样，它并不完美。一些玩家注意到，所谓的安全设置改善了文本生成器的色情写作，因为它使用了更多的比喻和委婉语。该公司还增加了一个高级订阅层以创造收入。

2020年7月，当AI Dungeon加入OpenAI更强大的商业写作算法时，写作变得更加令人印象深刻。"一位资深玩家说："创造力和讲故事的能力的纯粹跳跃是天堂般的。这个人说，该系统在探索性爱主题的能力方面也明显更有创造力。去年有一段时间，玩家注意到Latitude在试验一个过滤器，它可以自动将出现的 "强奸 "一词替换为 "尊重"，但这个功能被放弃了。

这位资深玩家是人工智能地牢的爱好者之一，他们将游戏作为人工智能增强的写作工具来探索成人主题，包括在一个专门的写作小组中。算法中不需要的建议可以从故事中删除，以引导它向不同的方向发展；结果不会公开发布，除非有人选择分享它们。

Latitude公司拒绝分享关于有多少冒险包含性内容的数字。OpenAI的网站说，AI Dungeon每天吸引了超过2万名玩家。

一名AI Dungeon玩家上周发布了一个安全漏洞，该漏洞使游戏中产生的每一个故事都可以被公开访问，他说他在4月份的四天里下载了几十万个创建的冒险内容。他分析了其中18.8万个样本，发现31%的样本含有暗示它们是性爱的文字。这一分析和安全漏洞（现已修复）增加了一些玩家对Latitude公司新的内容管理方法的愤怒。

Latitude现在面临的挑战是如何赢回用户的信任，同时满足OpenAI对其文本生成器进行更严格控制的要求。OpenAI的一位发言人说，这家初创公司现在必须使用OpenAI的过滤技术。

如何负责任地部署摄取了大量互联网文本的人工智能系统，包括一些不光彩的部分，已经成为人工智能研究中的一个热门话题。在经理们反对一篇主张谨慎使用此类技术的论文后，两位知名的谷歌研究人员被迫离开了公司。

该技术可以在非常有限的情况下使用，例如在谷歌搜索中，它可以帮助解析长篇查询的含义。OpenAI帮助AI Dungeon推出了一个令人印象深刻但又充满问题的应用程序，让人们提示该技术或多或少地解开它所能做的事情。

华盛顿大学的研究人员Suchin Gururangan说：“真的很难知道这些模型会有什么表现。”他与华盛顿大学和艾伦人工智能研究所的研究人员一起参与了一项研究和互动式在线演示，显示当从网络上借来的文本被用来提示五种不同的语言生成模型时，包括来自OpenAI的模型，都能够喷出有毒文本。

Gururangan现在是许多试图找出如何对人工智能语言系统进行更多控制的研究人员之一，包括对他们学习的内容更加谨慎。OpenAI和Latitude表示，他们也在研究这个问题，同时也试图从该技术中赚钱。