计算语言学：当语言遇到机器
计算语言学：当语言遇到机器 乔姆斯基的层级 1956年，年轻的乔姆斯基（Noam Chomsky，1928— ）在论文《语言描写的三个模型》中做了一件影响两个学科的事：他把形式文法按生成能力排成一个层级——正则文法、上下文无关文法、上下文有关文法、无限制文法，并论证自然语言的递归结构超出了最简单的文法所能覆盖的范围。这套乔姆斯基层级原本为语言学而设，却意外成了计算机科学的基石：正则文法对应有限自动机，上下文无关文法对应下推自动机，编译器的词法分析与语法分析至今仍建在这套理论之上。更早的源头在阿兰·图灵（Alan Turing，1912—1954）：他1936年设想的图灵机正是层级顶端"无限制文法"的计算等价物。语言与计算，在出生证明上就是同一件事的两面。也正因如此，中文信息处理的第一步就撞上了汉语自己的特性：书面汉语词与词之间没有空格，“研究生命起源"该切成"研究-生命"还是"研究生-命”，计算机需要先学会分词才能谈理解——这个英语里不存在的问题，曾是中国计算语言学的入门课。 ...