• 自然语言处理（NLP）的根源可以追溯到 20 世纪 50 年代，早期项目如乔治城-IBM 实验展示了机器翻译的潜力。
  • 诺姆·乔姆斯基在 20 世纪 60 年代提出的转换-生成语法为分析句法结构提供了理论框架，对早期的 NLP 研究产生了重要影响。
  • 2000 年代，由杰弗里·辛顿、约书亚·本吉奥和杨立昆等先驱推动的深度学习和神经网络的出现，彻底改变了 NLP，带来了以 Transformer 模型为代表的突破。

自然语言处理（NLP）是一个引人入胜的领域，位于计算机科学、人工智能和语言学的交叉点。它涉及开发使计算机能够理解、解释和生成人类语言的算法和系统。但到底是谁发明了 NLP？答案并不简单，因为 NLP 的发展是几十年来众多研究人员贡献和进步的结果。

早期基础：20 世纪 50 年代和 60 年代

NLP 的根源可以追溯到计算机科学和人工智能的早期。20 世纪 50 年代，研究人员开始探索使用计算机处理人类语言的想法。最早的重要项目之一是 1954 年的乔治城-IBM 实验，其中开发了一个将俄语句子翻译成英语的机器翻译系统。该项目展示了 NLP 的潜力，并引发了该领域更多的兴趣和研究。

关键人物：沃伦·韦弗

沃伦·韦弗是一位数学家和机器翻译的早期先驱，他提出使用统计方法来解决语言翻译问题。在他 1949 年那份具有影响力的备忘录中，他建议可以将语言视为一种密码学形式，并使用计算机对其进行解码。韦弗的思想为 NLP 和机器翻译的未来研究奠定了基础。

另请阅读：如何创建大型语言模型（LLM）？

形式语言学的兴起：20 世纪 60 年代和 70 年代

20 世纪 60 年代和 70 年代见证了形式语言学的兴起，这对 NLP 的发展产生了重大影响。诺姆·乔姆斯基是一位著名的语言学家，他引入了转换-生成语法，这一理论彻底改变了人们对人类语言语法和句法的理解。乔姆斯基的工作为解析和分析句子提供了理论框架，这成为了早期 NLP 研究的基石。

关键人物：诺姆·乔姆斯基

乔姆斯基关于句法和语法的理论对 NLP 的发展方向起到了重要作用。他的转换-生成语法模型提供了一种结构化的方法来分析句子的句法结构，影响了早期 NLP 算法和系统的发展。

机器学习的出现：20 世纪 80 年代和 90 年代

20 世纪 80 年代和 90 年代标志着 NLP 研究的一个重要转变，即机器学习技术的出现。研究人员开始使用统计方法和概率模型来分析和生成人类语言。这个时代见证了关键算法和模型的发展，这些算法和模型构成了现代 NLP 的基础。

关键人物：弗雷德里克·耶里内克

弗雷德里克·耶里内克是语音识别领域的先驱，他为统计方法在 NLP 中的应用做出了重大贡献。他在 IBM 的托马斯·J·沃森研究中心的工作促成了用于语音识别的隐马尔可夫模型（HMMs）的发展，这些模型后来被应用于各种 NLP 任务。耶里内克的名言“每当我解雇一位语言学家，语音识别器的性能就会提高”凸显了统计方法在 NLP 中日益增长的重要性。

深度学习时代：2000 年代及以后

2000 年代及以后，随着深度学习和神经网络的出现，NLP 经历了一场革命。这些技术极大地提高了 NLP 系统的性能，在机器翻译、情感分析和文本生成等任务中实现了突破。

关键人物：杰弗里·辛顿、约书亚·本吉奥和杨立昆

杰弗里·辛顿、约书亚·本吉奥和杨立昆常被称为“深度学习之父”，他们为神经网络和深度学习模型的发展做出了开创性贡献。他们的工作对 NLP 产生了深远影响，特别是在词嵌入、循环神经网络（RNN）和 Transformer 等模型的发展上，这些模型显著推进了该领域的最新技术水平。

另请阅读：中国 AI 聊天机器人语言模型价格下调

现代 NLP 与 Transformer 的作用

NLP 近年来最重要的进展之一是 Transformer 模型的发展，例如 BERT（来自 Transformer 的双向编码器表示）和 GPT（生成式预训练 Transformer）。这些模型在各种 NLP 任务中树立了新的基准，并在学术界和工业界得到了广泛采用。

关键人物：阿什希·瓦斯瓦尼与谷歌大脑团队

阿什希·瓦斯瓦尼和他在谷歌大脑的同事在 2017 年的开创性论文《Attention is All You Need》中介绍了 Transformer 模型。该模型通过实现更高效的并行化并提高一系列任务的性能，彻底改变了 NLP。此后，Transformer 架构成为许多最先进的 NLP 模型（包括 BERT 和 GPT）的基础。

自然语言处理是一个经过几十年来众多杰出人物贡献而发展起来的领域。从早期的机器翻译和形式语言学，到现代的深度学习和 Transformer，NLP 一直受到研究人员工作的塑造，他们不断突破可能的边界。虽然很难将 NLP 的发明归功于某一个人，但像沃伦·韦弗、诺姆·乔姆斯基、弗雷德里克·耶里内克这样的先驱，以及由辛顿、本吉奥和杨立昆组成的深度学习三巨头的集体努力，在将我们带到 NLP 当前的技术水平方面发挥了重要作用。随着我们不断进步，当今研究人员的贡献无疑将塑造这个令人兴奋且充满活力的领域的未来。