轻量级跨语言句子表示学习
跨语言句子表示模型可以学习跨语言句子检索和跨语言知识转移等任务，而无需从头开始训练新的单语言表示模型。然而，对轻量级模型的探索很少。
最近 arXiv.org 上的一篇论文介绍了一种只有两层的轻量级双变压器架构。它显着降低了内存消耗并加速了训练以进一步提高效率。针对生成任务提出了两种对比学习方法，以弥补轻量级转换器的学习瓶颈。多语言文档分类等跨语言任务的实验证实了所建议模型产生稳健句子表示的能力。
用于学习固定维度跨语言句子表示的大规模模型，如用于学习固定维度跨语言句子表示的大规模模型，如 LASER(Artetxe 和 Schwenk，2019b)导致下游任务的性能显着提高。然而，由于内存限制，基于这种大规模模型的进一步增加和修改通常是不切实际的。在这项工作中，我们引入了一个只有 2 层的轻量级双变换器架构，用于生成内存高效的跨语言句子表示。我们探索了不同的训练任务，并观察到当前的跨语言训练任务对于这种浅层架构还有很多不足之处。为了改善这一点，我们提出了一种新颖的跨语言语言模型，它将现有的单字掩码语言模型与新提出的跨语言标记级重建任务相结合。我们通过引入两个计算精简的句子级对比学习任务来进一步增强训练任务，以增强跨语言句子表示空间的对齐，从而弥补了生成任务的轻量级转换器的学习瓶颈。我们在跨语言句子检索和多语言文档分类方面与竞争模型的比较证实了新提出的浅层模型训练任务的有效性。我们通过引入两个计算精简的句子级对比学习任务来进一步增强训练任务，以增强跨语言句子表示空间的对齐，从而弥补了生成任务的轻量级转换器的学习瓶颈。我们在跨语言句子检索和多语言文档分类方面与竞争模型的比较证实了新提出的浅层模型训练任务的有效性。我们通过引入两个计算精简的句子级对比学习任务来进一步增强训练任务，以增强跨语言句子表示空间的对齐，从而弥补了生成任务的轻量级转换器的学习瓶颈。我们在跨语言句子检索和多语言文档分类方面与竞争模型的比较证实了新提出的浅层模型训练任务的有效性。
标签：