计算语言学：当语言遇到机器

乔姆斯基的层级

1956年，年轻的乔姆斯基（Noam Chomsky，1928— ）在论文《语言描写的三个模型》中做了一件影响两个学科的事：他把形式文法按生成能力排成一个层级——正则文法、上下文无关文法、上下文有关文法、无限制文法，并论证自然语言的递归结构超出了最简单的文法所能覆盖的范围。这套乔姆斯基层级原本为语言学而设，却意外成了计算机科学的基石：正则文法对应有限自动机，上下文无关文法对应下推自动机，编译器的词法分析与语法分析至今仍建在这套理论之上。更早的源头在阿兰·图灵（Alan Turing，1912—1954）：他1936年设想的图灵机正是层级顶端"无限制文法"的计算等价物。语言与计算，在出生证明上就是同一件事的两面。也正因如此，中文信息处理的第一步就撞上了汉语自己的特性：书面汉语词与词之间没有空格，“研究生命起源"该切成"研究-生命"还是"研究生-命”，计算机需要先学会分词才能谈理解——这个英语里不存在的问题，曾是中国计算语言学的入门课。

从蜜月跌进寒冬

1954年1月，乔治敦大学与IBM的联合演示让六十多句俄语被计算机自动译成英语，舆论沸腾，经费涌入。早期系统依靠人工编写的词典与规则，研究者们相信规则写得足够多，语言就能被穷尽。1966年，美国科学院的ALPAC报告给这场蜜月泼下冷水：机器翻译的质量与成本都无法与人工相比，联邦经费大幅削减，整个领域进入寒冬。规则路线的根本困境在寒冬中暴露无遗：语言的例外比规则多，而人写规则的速度永远追不上例外的繁殖速度。寒冬里也有耐人寻味的火花：1966年，麻省理工学院的约瑟夫·魏岑鲍姆（Joseph Weizenbaum，1923—2008）写出了对话程序ELIZA，只用几条模式替换规则扮演心理医生，竟让许多试用者坚信自己被机器理解。魏岑鲍姆本人对此深感不安，晚年成为人工智能最尖锐的批评者之一——程序可以模仿理解的表象，这究竟是成功还是骗局，争论从那时一直延续到今天。

统计的复辟

1988年前后，IBM研究院的彼得·布朗（Peter Brown，1955— ）和同事们发表了一系列论文，彻底换了一条路：不写规则，让机器从成对的双语语料里自己学。他们从加拿大议会的英法对照记录中提取词对齐与翻译概率，统计机器翻译由此诞生，并统治了此后二十年。同一时期，词性标注、句法分析、语音识别纷纷转向概率模型——语音识别从模板匹配换成隐马尔可夫模型后，识别率在公开评测中逐年爬升。语音识别之父弗雷德·贾里尼克（Fred Jelinek，1932—2010）那句名言"我每开除一个语言学家，识别率就上升一点"虽属戏言，却道尽了那个时代的范式心态：与其教机器语法，不如给它数据。

深度学习的浪潮

2013年，托马斯·米科洛夫（Tomas Mikolov，1984— ）在谷歌发表word2vec，把每个词表示为数百维空间中的一个向量，词与词的语义关系变成了向量之间的几何关系——“国王"减"男人"加"女人"约等于"女王”。2017年，谷歌团队的论文《注意力就是你所需要的一切》提出Transformer架构，让模型能同时"注视"句子里的所有词。2018年BERT问世，OpenAI的GPT系列随后一路放大模型规模——2020年发布的GPT-3已经有一千七百五十亿个参数，训练文本以数千亿词计；2022年底ChatGPT发布，机器第一次能就几乎任何话题与人对答如流。一个世纪以来"把语言教给机器"的工程，最终以一种出乎意料的方式逼近目标：不教规则，只喂文本，让统计规律自己浮现为能力。

图灵测试与理解的争议

机器通过了测试，争论才刚刚开始。早在1950年，图灵就在《计算机器与智能》中提出图灵测试：如果审问者无法分辨屏幕后是人还是机器，就不妨承认机器会思考。今天的大语言模型在许多场景下已经能通过这类测试，可它是否"理解"语言，学界分裂严重。语言学家埃米莉·本德（Emily Bender，1973— ）2021年与人合著的论文把大模型称为"随机鹦鹉"——它学到的只是形式的拼接，形式与意义的联系从未建立；乔姆斯基2023年也在《纽约时报》撰文，批评大模型与人类语言的习得机制背道而驰。另一边，越来越多的实验显示模型内部涌现出类似句法树的层级结构。这场争论恰恰说明：计算语言学走了七十年，最终又走回了语言学的原点问题——语言到底是什么。机器没有替我们回答这个问题，它只是把问题的赌注抬到了前所未有的高度。