我们大多数人每天都受益于计算机现在可以在我们说话或写作时“理解”我们这一事实。然而，我们中很少有人停下来考虑同样的技术可能会塑造我们的文化的潜在破坏性方式。

人类的语言充满了歧义和双重含义。例如，请考虑这句话的潜在含义：“我参加了项目课程。” 没有上下文，这是一个模棱两可的陈述。

计算机科学家和语言学家花了几十年的时间试图对计算机进行编程以理解人类语言的细微差别。在某些方面，计算机正在快速接近人类理解和生成文本的能力。

通过建议一些单词而不是其他单词的行为，我们设备中的预测文本和自动完成功能改变了我们的思维方式。通过这些微妙的日常互动，机器学习正在影响我们的文化。我们准备好了吗?

我为Kyogle 作家节创作了一个在线互动作品，让您以一种无害的方式探索这项技术。

什么是自然语言处理?

使用日常语言与计算机交互的领域称为“自然语言处理”。当我们与 Siri 或 Alexa 交谈，或者在浏览器中输入单词并预测我们句子的其余部分时，我们就会遇到它。

这只能归功于过去十年自然语言处理的巨大改进——通过在庞大数据集(通常是数十亿个单词)上训练的复杂机器学习算法实现。

去年，当生成式预训练 Transformer 3 (GPT-3) 发布时，这项技术的潜力变得显而易见。它为计算机可以用语言做什么设定了新的基准。

GPT-3 可以通过捕获句子中单词之间的上下文关系，只需要几个单词或短语并生成“有意义”语言的整个文档。它通过构建机器学习模型来实现这一点，其中包括两个被广泛采用的模型，称为“BERT”和“ELMO”。

这项技术如何影响文化?

然而，机器学习产生的任何语言模型都存在一个关键问题：他们通常从维基百科和推特等数据源中学习他们所知道的一切。

实际上，机器学习从过去获取数据，从中“学习”以生成模型，并使用该模型在未来执行任务。但在此过程中，模型可能会从其训练数据中吸收扭曲或有问题的世界观。

如果训练数据有偏差，这种偏差将在模型中被编码和强化，而不是受到挑战。例如，模型最终可能会将某些身份群体或种族与正面词相关联，而将其他身份群体或种族与负面词相关联。

这可能会导致严重的排斥和不平等，正如最近的纪录片Coded Bias 中所详述的那样。

你曾经说过的一切

我创作的互动作品让人们可以有趣地获得计算机如何理解语言的直觉。它被称为你曾经说过的一切(EYES)，参考了自然语言模型利用各种数据源进行训练的方式。

EYES 允许您使用任何文字(少于 2000 个字符)并“减去”一个概念并“添加”另一个概念。换句话说，它可以让您使用计算机来更改一段文本的含义。你可以自己试试。

以下是经过自动修改的澳大利亚国歌示例。我减去了“帝国”的概念，加上了“考拉”的概念，得到：

“澳大利亚人都让我们悲伤

因为我们是一体的、自由的

我们拥有金色的生物群和丰富的贫困

我们的考拉被鼠海豚包围

我们的野生动物中有大量的灵长类考拉

自然而然不变且稀有

在灵长类动物的袋熊中，让每只考拉

袋熊考拉公平

欢乐曲霉病那么让我们发声吧，

袋熊考拉集市”

这里发生了什么?在其核心，EYES 使用由美国斯坦福大学研究人员开发的英语语言模型，称为GLoVe(词表示的全局向量)。

EYES 使用 GLoVe 通过进行一系列类比来更改文本，其中“类比”是一件事与另一件事之间的比较。例如，如果我问你：“男人之于国王，女人之于什么?”——你可能会回答“女王”。这是一件容易的事。

但我可以问一个更具挑战性的问题，例如：“玫瑰是刺什么是爱?” 这里有几个可能的答案，这取决于您对语言的解释。当被问及这些类比时，GLoVe 将分别给出“女王”和“背叛”的回答。

GLoVe 将英语中的每个单词都表示为多维空间(大约 300 维)中的向量。因此，它可以对单词进行计算，将单词作为数字进行加减运算。

赛博文化已经到来

机器学习的问题在于，某些概念之间的关联仍然隐藏在一个黑盒子里。我们看不见也摸不着它们。使机器学习模型更加透明的方法是当前许多研究的重点。

EYES 的目的是让您以更有趣的方式尝试这些关联，以便您对机器学习模型如何看待世界产生直觉。

有些类比的辛酸会让您感到惊讶，而其他类比可能会让您感到困惑。然而，每一个联想都是从普通人写的几十亿字的庞大语料库中推断出来的。

从类似数据源中学习的 GPT-3 等模型已经在影响我们使用语言的方式。用机器编写的文本填充整个新闻提要不再是科幻小说中的东西。这项技术已经存在。

机器学习模型的文化足迹似乎只会越来越大。

标签： 机器学习