人工智能ArtificialIntelligence第八章ppt课件.ppt
人工智能 Artificial Intelligence 第八章,史忠植 中国科学院计算技术研究所 http:/www.intsci.ac.cn/,自然语言处理 Natural Language Processing,2019/4/12,史忠植 人工智能：自然语言处理,1,2019/4/12,史忠植 人工智能：自然语言处理,2,内容提要,8.1 概述 8.2 词法分析 8.3 句法分析 8.4 语义分析 8.5 语用分析 8.6 语料库 8.7 信息检索 8.8 机器翻译 8.9 自动问答系统 8.10 小结,概述,自然语言处理是用机器处理人类语言的理论和技术。作为语言信息处理技术的一个高层次的重要研究方向，一直是人工智能领域的核心课题。由于自然语言的多义性、上下文有关性、模糊性、非系统性和环境密切相关性、涉及的知识面广等原因，自然语言处理是困难问题之一。自然语言处理的研究希望机器能够执行人类所期望的某些语言功能，这些功能包括： （1）回答问题：计算机能正确地回答用自然语言输入的有关问题； （2）文摘生成：机器能产生输入文本的摘要； （3）释义：机器能用不同的词语和句型来复述输入的自然语言信息； （4）翻译：机器能把一种语言翻译成另外一种语言。,2019/4/12,史忠植 人工智能：自然语言处理,3,概述,自然语言 自然语言：人类交流的语言,口语、书面语、手语、旗语等 人造语言：机器语言，包括C+, BASIC等 世界语 到目前为止的人类知识有80%以上使用自然语言文字记载下来的。但将来，可能用计算机语言形式记载的知识将会越来越多。因此说，语言信息处理技术和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。 相比较人工智能其它领域，自然语言理解是难度大，进展小的。至今为止未能达到很高的水平。,2019/4/12,史忠植 人工智能：自然语言处理,4,自然语言处理的发展,自然语言理解的研究大体上经历了三个 时期 萌芽时期 发展时期 早期: 20世纪60年代以关键词匹配为主流 中期: 20世纪70年代以句法语义分析为主流 近期: 20世纪80年代以来走向实用化和工程化 大规模真实文本处理时期 比较成功的系统处理都是受限的自然语言子集 句法受限：句子结构的复杂性方面受到限制 语义受限/领域受限：所表达的事物的数量方面受到限制,2019/4/12,史忠植 人工智能：自然语言处理,5,20世纪60年代：以关键词匹配为主流 特点： 没有真正意义上的语法分析，主要依靠关键词匹配技术来识别输入句子的意义 在系统中事先存放了大量包含某些关键词的模式，每个模式与一个或多个解释(响应式)相对应。 每当输入一个句子，系统便查找与之匹配的模式，一旦匹配成功，系统就输出相应的解释，不考虑其他成分对句子意义的影响 是一种近似匹配技术，输入句子可以不准循语法，但是也容易导致错误,自然语言处理的发展,2019/4/12,史忠植 人工智能：自然语言处理,6,20世纪70年代：句法语义分析为主流 采用句法-语义分析技术 典型例子 LUNAR 允许用普通英语和数据库对话的人机接口,句法分析,语义解释,数据检索,ATN语法,词典,语义规则,数据库,自然语言处理的发展,2019/4/12,史忠植 人工智能：自然语言处理,7,20世纪80年代以来：实用化和工程化 主要特点是开始走向实用化和工程化。其重要标志之一是有一批商品化的自然语言人机接口系统和机器翻译系统推向了市场。 另一方面，人们已经开始对大规模真实文本进行理解 句法语义分析为主的思想来自于规则的方法，而规则不可能把所有的知识表示出来 自然语言在数量上浩瀚无际 在性质上具有不确定性和模糊性。,自然语言处理的发展,2019/4/12,史忠植 人工智能：自然语言处理,8,概述,自然语言的层次划分及对应技术,2019/4/12,史忠植 人工智能：自然语言处理,9,自然语言处理层次,2019/4/12,史忠植 人工智能：自然语言处理,10,2019/4/12,史忠植 人工智能：自然语言处理,11,内容提要,8.1 概述 8.2 词法分析 8.3 句法分析 8.4 语义分析 8.5 语用分析 8.6 语料库 8.7 信息检索 8.8 机器翻译 8.9 自动问答系统 8.10 小结,词法分析,词法分析是理解单词的基础，其主要目的是从句子中切分出单词，找出词汇的各个词素，从中获得单词的语言学信息并确定单词的词义 例如unchangeable是由un-change-able构成的，其词义由这三个部分构成。,2019/4/12,史忠植 人工智能：自然语言处理,12,词法分析,语言构成,2019/4/12,史忠植 人工智能：自然语言处理,13,词法分析,在英语等语言中，因为单词之间是以空格自然分开的，切分一个单词很容易，所以找出句子的一个个词汇就很方便。但是由于英语单词有词性、数、时态、派生、变形等变化，要找出各个词素就复杂的多，需要对词尾或词头进行分析。如importable，它可以是im-port-able或import-able，这是因为im、port、able这三个都是词素。 汉语中的每个字就是一个词素，所以要找出各个词素是相当容易的，但要切分出各个词就非常困难，不仅需要构词的知识，还需要解决可能遇到的切分歧义。如“我们研究所有东西”。可以是“我们研究所有东西”，也可以是“我们研究所有东西”。,2019/4/12,史忠植 人工智能：自然语言处理,14,2019/4/12,史忠植 人工智能：自然语言处理,15,内容提要,8.1 概述 8.2 词法分析 8.3 句法分析 8.4 语义分析 8.5 语用分析 8.6 语料库 8.7 信息检索 8.8 机器翻译 8.9 问答系统 8.10 小结,句法分析,句法分析的主要任务： 确定输入句子的结构：识别句子的各个成分及其之间的关系 句子结构的规范化：目的是简化后续处理 分析自然语言的方法主要分为两类： 基于规则的方法：如短语结构语法和Chomsky语法体系 基于统计的方法,2019/4/12,史忠植 人工智能：自然语言处理,16,短语结构语言,定义 句子：一个符号串 语言：句子的集合 语法：对一个句集一种有限的形式化描述 描述一般语言的方法： 识别器：由程序判断读入的符号串是不是一个句子 短语结构语法：一种基于产生式的形式化工具，也称为产生式语法,2019/4/12,史忠植 人工智能：自然语言处理,17,短语结构语言,定义：短语结构语法定义为：G(T，N，S，P） T是终结符集合，即被定义的语言的所有词 汇（或符号） N是非终结符集合，这些符号用于描述语法 成分，并不出现于句子中。 则有：VTN，TN（空集），V是属于该语法的全部符号。 S是起始符号，它是N中的一个成员。 P是一个产生式规则集。ab (ab,aV+,bV*),2019/4/12,史忠植 人工智能：自然语言处理,18,短语结构语言,在短语结构语法中，基本运算是把一个符号串重写为另一个符号串，每条语法规则也叫重写规则 一个句子的产生就是从S符号到词汇串的推导过程 如果一个程序能够根据一个短语结构语法来确定一个句子的推导，则它可称为一个句法分析器(parser)。 语法G所定义的语言记为L(G): L(G)=W | WT*, S*GW,2019/4/12,史忠植 人工智能：自然语言处理,19,短语结构语言,刻画语言的形式体系的强和弱 递归可枚举语言：如果有一个程序，它能以某种顺序逐个地输出（即枚举）一种语言的句子，这种语言是递归可枚举的 递归语言：如果有一个程序，它在读入一个符号串后能最终确定这个串是或不是某种语言的一个句子，这称该语言是递归,2019/4/12,史忠植 人工智能：自然语言处理,20,短语结构语言,正则语法： 正则语法有两种形式： 左线性语法：如 A a | Ba 右线性语法： 如 A a | aB 可以表示如下的句子： a*b* 语法例子： S a | S1 | a S S1 b | b S1 与有限状态机等价,2019/4/12,史忠植 人工智能：自然语言处理,21,短语结构语言,上下文无关语法： 语法规则形式为： A x 即左边为一非终结符，右边没有限制 可以表示的句子如： anbn 语法例子： S a | S b S 该文法应用于程序设计语言中,2019/4/12,史忠植 人工智能：自然语言处理,22,短语结构语言,上下文有关语法： 语法规则： 规则右边的符号数不能少于左边符号数 右边的符号可以是终止符也可以是非终止符 上下文有关语言是递归的 可以表示的语言： anbncn 语法例子： AB BA,2019/4/12,史忠植 人工智能：自然语言处理,23,短语结构语言,无约束短语结构语法： 语法规则是没有限制的： 左边可以是任意多个终止符或非终止符 右边可以是任意多个终止符或非终止符 该语言是递归可枚举的 该语言与图灵机等价 语法例子： A B C,2019/4/12,史忠植 人工智能：自然语言处理,24,Chomsky体系,无约束语法,上下文有关语法,上下文无关语法,正则语法,2019/4/12,史忠植 人工智能：自然语言处理,25,CFG的分析算法,用一个短语结构语法对一个句子进行语法分析，意味着寻找一个从起始符到该句子的推导，这个推导一般可以表示为一棵句法树 一般一棵句法树对应的推导不是唯一的，但是如果在推导过程中每次总是重写最左边的非终止符，则称该推导为最左推导。 Mary Mary Mary eats Mary eats cheese,2019/4/12,史忠植 人工智能：自然语言处理,26,CFG的分析算法, := :=John | Marry := :=eats | drinks :=wine | cheese,2019/4/12,史忠植 人工智能：自然语言处理,27,CFG的分析算法,句法分析器分为： 从推导方向来分： 自顶向下：从树顶的根结点开始推导建立句法树，方向是从起始符S到句子 自底向上：从树底部的叶结点(词或词类)规约，建立句法树，方向是从句子到S 从算法上分： 回溯算法：每次只尝试一种推导，当这种推导失败时便返回以尝试另一种推导 并行算法：同时进行所有的推导,2019/4/12,史忠植 人工智能：自然语言处理,28,CFG的分析算法,自顶向下的回溯算法 该方法逐个地枚举推导直到找到一个能生成句子的推导 一般，对具有左递归的语法，该方法需要增加某些测试以避免陷入死循环 对于”Mary eats cheese”的句法和推导为： SNP+VP (1) SNP+VP (1) NP N (2) N+VP (2) VP V (3) N+V+NP (4) VP V+NP (4) N+V+N (2),2019/4/12,史忠植 人工智能：自然语言处理,29,转移网络,转移网络在自动机理论中用来表示语法。 句法分析中的转移网络由结点和带有标记的弧组成，结点表示状态，弧对应于符号，基于该符号，可以实现从一个给定的状态转移到另一个状态。,2019/4/12,史忠植 人工智能：自然语言处理,30,Dog bites,2019/4/12,史忠植 人工智能：自然语言处理,31,转移网络,扩充转移网络ATN ATN是20世纪70年代由W. Woods提出来的 ATN语法属于一种增强型的上下文无关语法，即用上下文无关文法描述句子文法结构，并同时提供有效的方式将各种理解语句所需要的知识加到分析系统中，以增强分析功能，从而使得应用ATN的句法分析程序具有分析上下文有关语言的能力。 ATN主要是对转移网络中的弧附加了过程而得到的。当通过一个弧的时候，附加在该弧上的过程就会被执行。这些过程的主要功能是（I）对文法特征进行赋值；(II)检查数（number）或人称（第一、二或三人称）条件是否满足，并据此允许或不允许转移。,2019/4/12,史忠植 人工智能：自然语言处理,32,转移网络,表示句子的框架,2019/4/12,史忠植 人工智能：自然语言处理,33,转移网络,表示句子的框架,2019/4/12,史忠植 人工智能：自然语言处理,34,转移网络,表示句子的框架,2019/4/12,史忠植 人工智能：自然语言处理,35,非确定性算法与确定性算法,上面介绍的算法是非确定性的，分析过程中常常要进行回溯。这就降低了算法的效率。 实际上，在特定的上下文中，除了某些固有的歧义外，自然语言的句法分析绝大多数都是确定的。 1977年MIT的Marcus提出了句法分析的确定性 算法。 该算法的最大特点是确保在任何情况下，一旦一个输入句子的部分结构被分析出来，便不再更改，一直保持到最后成为句子最终分析的一部分。,2019/4/12,史忠植 人工智能：自然语言处理,36,非确定性算法与确定性算法,Marcus的确定性算法 该句法分析系统具有如下三个特点： (1) 由数据驱动 (2) 已分析出来的部分结构可以成为对后继分析 过程的预期 (3) 通过“向前看”(look-ahead)来代替回溯 特点(1)和(2)反映了自底向上和自顶向下分析相结合的策略。特点(3)则是要通过引入句子中的上下文约束来决定分析规则，保证句法分析器“看准了”以后再操作，从而避免了回溯,2019/4/12,史忠植 人工智能：自然语言处理,37,非确定性算法与确定性算法,汉语的特点 汉语的词类缺乏形式标注 汉语词类跟句法成分之间不存在简单的一一对应关系. 汉语的句子的构造原则跟短语的构造原则基本一致 汉语的这两个特点的表现形式就是普遍存在的词类兼类现象和句法结构的递归嵌套性。这些必然要导致大量的回溯，增加计算的开销 采用确定性分析策略则可以解决这种问题。,2019/4/12,史忠植 人工智能：自然语言处理,38,2019/4/12,史忠植 人工智能：自然语言处理,39,内容提要,8.1 概述 8.2 词法分析 8.3 句法分析 8.4 语义分析 8.5 语用分析 8.6 语料库 8.7 信息检索 8.8 机器翻译 8.9 问答系统 8.10 小结,语义分析,语义分析的任务： 输入句子的句法结构和句子中每个实词的词义推导出能反映该句子意义的某种形式化表示 对语义现象作形式化处理要比句法现象困难得多，主要原因有 语义和句法系统的界限很难划清楚 语义及其他认知系统的界限也难以划清楚。 用于计算机语义处理的计算语义学还远未成熟,2019/4/12,史忠植 人工智能：自然语言处理,40,格文法,格语法是Filmore于1968年提出来的，曾 经对自然语言理解技术的发展产生过较 大的影响，直到现在不少研究仍在使用 格语法。因为人们认识到格关系确实是 描述语言语义(包括和语法的关系)的一种很好的形式，当然在实际应用过程中不 可避免地要有些修改。,2019/4/12,史忠植 人工智能：自然语言处理,41,格文法的特点是允许以动词为中心构造分析结果，尽管文法规则只描述句法，但分析结果产生的结构却相应于语义关系，而非严格的句法关系 如句子：Mary hit Bill 的格文法分析结果可以表示为 ( hit ( Agent Mary ) ( Dative Bill ) 在格文法中，格表示的语义方面的关系，反映的是句子中包含的思想、观念等，称为深层格。和短语结构语法相比，格文法对于句子的深层语义有着更好的描述。,格文法,2019/4/12,史忠植 人工智能：自然语言处理,42,如果两个句子的底层的语义关系一致，各名词成分所代表的格关系不会发生相应的变化。例如，被动句“Bill was hit by Mary”与上述主动句具有不同的句法分析树，但格表示完全相同。,格文法,2019/4/12,史忠植 人工智能：自然语言处理,43,格文法,2019/4/12,史忠植 人工智能：自然语言处理,44,2019/4/12,史忠植 人工智能：自然语言处理,45,内容提要,8.1 概述 8.2 词法分析 8.3 句法分析 8.4 语义分析 8.5 语用分析 8.6 语料库 8.7 信息检索 8.8 机器翻译 8.9 问答系统 8.10 小结,语用分析与知识、上下文和推理等因素有关。维诺格拉德（Winograd T）认为语言是一个讲话者和听者之间关于一个共同的世界的一种通信手段。语言是一种社会交际工具，研究语言必须研究其社会功能。维诺格拉德认为语义理论必须在三个平面上描述关系， (1) 确定词的意义 (2) 确定词组在句法结构中的意义 (3) 一个自然语言的句子决不应被孤立地解释。 一种语义理论必须描述一个句子的意义如何依赖于它的上下文。,语用分析,2019/4/12,史忠植 人工智能：自然语言处理,46,语义理论必须涉及语言学背景 (说话的上下文)和现实社会背景 (即同非语言学事实的知识的相互作用)，语义理论必须同句法和语言的逻辑方面(演绎推理)相联系。正是基于这些观点，即语法、语义和语用学相互作用的观点，1970年维诺格拉德成功地研究了被人称为“绝技”的自然语言对话系统SHRDLU，实现人与计算机之间的灵活对话。这项创举震动了当时的人工智能界。,语用分析,2019/4/12,史忠植 人工智能：自然语言处理,47,2019/4/12,史忠植 人工智能：自然语言处理,48,内容提要,8.1 概述 8.2 词法分析 8.3 句法分析 8.4 语义分析 8.5 语用分析 8.6 语料库 8.7 信息检索 8.8 机器翻译 8.9 问答系统 8.10 小结,语料库语言学,语料库语言学(corpus linguistics) 语言学知识的源泉是大规模活生生的语料，要想让计算机理解自然语言，首先要让计算机能从库存的大规模语料中自动或半自动地获取语言理解所需的各种知识，对语言现象作出客观的、细致的描述。 目前采用的主要手段是建立各种统计模型，可用于词类的自动标注，以及句法语义的更高层次的分析。该方法可以和规则方法相互补充。,2019/4/12,史忠植 人工智能：自然语言处理,49,在当今计算技术条件下，要想把处理自然语言所需要的知识都用现有的知识表示技术明确表达出来，是不可能的。这既是由于这种知识的“数量”巨大，有时由于它们在“质”的方面高度的不确定性和模糊性。 最近十几年来新提出的语料库语言学，它顺应了大规模真实文本处理的需要，提出了以计算机语料库为基础的语言学研究及自然语言处理的新思想。,语料库语言学,2019/4/12,史忠植 人工智能：自然语言处理,50,基于语料库的处理思想能够在工程上、在宽广的语言覆盖面上解决大规模真实文本处理这一极其艰巨的课题，对传统的处理方法的一个强有了的补充。 新型的智能计算机和多媒体计算机均要求设计出更为友好的人机界面，使自然语言、文字、图像和声音等信号都能直接输入计算机。要求计算机能以自然语言与人进行对话交流，就需要计算机具有自然语言能力，尤其是口语理解和生成能力。,语料库语言学,2019/4/12,史忠植 人工智能：自然语言处理,51,语料库语言学及其特点 传统的句法-语义分析技术，所采取的主要研究方法是基于规则的方法 由于自然语言理解的复杂性，各种知识的“数量”浩瀚无际，而且具有高度的不确定性和模糊性，利用规则不可能完全准确地表达理解自然语言所需的各种知识，而且，规则实际上面向语言的使用者人的，将它面向机器则分析结果始终不尽如人意。 研究语言知识所用的真实文本称为语料，大量的真实文本即构成语料库,语料库语言学,2019/4/12,史忠植 人工智能：自然语言处理,52,WordNet,WordNet是按一定结构组织起来的义类词典，主要特征表现在 1. 整个名词组成一个继承关系。 WordNet有着严格的层次关系，这样一个单词可以把它所有的前辈的一般性的上位词的信息都继承下来，可以提供全局性的语义关系，具有IS-A关系 2. 动词是一个语义网 动词大概是最难以研究的词汇，在动词词典中，很少有真正的同义动词。表达动词的意义对任何词汇语言学来说都是困难的。WordNet不做成分分析，而是进行关系分析。这一点是计算语言学界所热衷的课题，与以往的语义分析方法不同。这种关系讨论的是动词间的纵向关系，即词汇蕴涵关系 WordNet基于名词和动词以及其他词性的关系进行词类间的纵向分析，在国际计算语言学界有很大的影响。但是，它也有不足之处，如对横向关系还没有考虑。,2019/4/12,史忠植 人工智能：自然语言处理,53,WordNet,WordNet是1990由Princeton大学的米勒（Miller G A）等人设计和构造的。一部WordNet词典将近95600个词形（51500单词和44100搭配词）和70100个词义，分为五类：名词、动词、形容词、副词和虚词，按语义而不是按词性来组织词汇信息。 在WordNet词典中，名词有57000个，含有48800个同义词集，分成25类文件，平均深度12层。最高层为根概念，不含有固有名词。,2019/4/12,史忠植 人工智能：自然语言处理,54,知网,知网（HowNet）是董振东研制的以汉语和英语的词语所代表的概念为描述对象，以揭示概念与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库。公布的中文信息结构库包含： 信息结构模式：271个 句法分布式：49个 句法结构式：58个 实例：11,000词语 总字数：中文60,000字,2019/4/12,史忠植 人工智能：自然语言处理,55,20世纪90年代，使用统计的方法，使机器翻译的正确率达到60%，汉语切分的正确率达到70%，汉语语音输入的正确率达到80%，这是对传统语言学的严重挑战。许多研究人员相信，基于语料库的统计模型（如n-gram模型、Markov模型、向量空间模型）不仅能胜任词类的自动标注任务，而且也能够应用到句法和语义等更高层次的分析上来。这种方法有希望在工程上、在宽广的语言覆盖面上解决大规模真实文本处理这一极其艰巨的课题，至少也能对基于规则的自然语言处理系统提供一种强有力的补充机制。,统计方法的应用,2019/4/12,史忠植 人工智能：自然语言处理,56,统计方法的应用,大规模真实文本处理的数学方法主要是统计方法。 基于语料库的统计模型（如Markov模型、向量空间模型）不仅能胜任词类的自动标注任务，而且也能够应用到句法和语义等更高层次的分析上来。,2019/4/12,史忠植 人工智能：自然语言处理,57,由于汉语句子的最小构成单位是字，有 意义的最小单位却是词，而汉语词与词 之间又没有分割符号（英语词和词之间 是空格）。因此，汉语理解首先要进行 汉语自动分词。 可以概括为两大类方法， 无词典分词，它完全依靠整段文章中汉字之间的搭配的频率算出成词可能 有词典分词，是一种更有普遍意义的分词方法。有词典分词主要有最大匹配法，逆向最大匹配法，逐词遍历匹配法，设立切分标志法，以及正向最佳匹配和逆向最佳匹配法，而这些方法的一个基本思想都是要依次分出待切分串的可能最长成词,汉语自动分词,2019/4/12,史忠植 人工智能：自然语言处理,58,首先，根据汉语词典(有56800条词汇)进 行统计，发现：虽然词典中的最长词可 以达到为20多个字节（十几个汉字）， 但是大多数汉语词都可以由前两字唯一 确定，这样的词占绝大多数(如在上述词典中占总词汇量的85以上)。,基于统计结果的分词,2019/4/12,史忠植 人工智能：自然语言处理,59,两个首字相同的词的个数的统计 根据前两字可确定的词个数 词总数 所占百分比() 1 48431 85.22 2 2801×2 9.86 3 514×3 2.71 4 118×4 0.83 5 46×5 0.40 6 30×6 0.32 7 16×7 0.20 8 6×8 0.08 9 8×9 0.13 10 5×10 0.09 14 2×14 0.05 15 3×15 0.08 18 1×18 0.03,汉语自动分词,2019/4/12,史忠植 人工智能：自然语言处理,60,主要是在字典索引的支持下进行的，索引结构可以分为两级。 一级索引就用汉字内码，查找算法用散 列方法。 而二级索引采用整个词长。,汉语机械分词,2019/4/12,史忠植 人工智能：自然语言处理,61,最大匹配法。最大匹配法简称MM方法。其思想是：在计算机磁盘中存放一个分词用词典，从待切分的文本中按自左到右的顺序截取一个定长的汉字串，通常为为词典中的最大词长，这个字符串的长度称作最大词长。将这个具有最大词长的字符串与词典中的词进行匹配，若匹配成功，则可确定这个字符串为词，计算机程序的指针向后移动与给定最大词长相应个数的汉字，继续进行匹配；否则，把该字符串从右边逐次减去一个汉字，再与词典中的词进行匹配，直到成功为止。 逆向最大匹配法。逆向最大匹配法简称RMM法。这种方法的基本原理与MM法相同，所不同的是分词时对待切分文本的扫描方向。MM方法从待切分文本中截取字符串的方向是从左到右，而RMM方法则是从右向左。在与词典匹配不成功时，将所截取的汉字串从左至右逐次减去一个汉字，再与词典中的词进行匹配，直到匹配成功为上。实验表明，RMM法的切词正确率要比MM法高,匹配法分词,2019/4/12,史忠植 人工智能：自然语言处理,62,分词过程中的歧义问题。歧义字段在中文文本中是普遍存在的，歧义切分是自动分词中不可避免的现象，是自动分词中的一个比较棘手的问题。对歧义字段的处理水平，直接影响着自动分词系统的分词准确率。 未登录词的识别问题。未登录词是指没有在词典中出现、在汉语文本中又应该当作一个词将其分开的那些字符串。包括中外人名、中外地名、机构组织名、事件名、缩略语、派生词、各种专业术语以及在不断发展和约定俗成的一些新词语。未登录词种类繁多、规模宏大，对它们识别正确与否直接影响着分词系统的正确率。然而，目前对于这些词语的自动辨识尽管作了不少的研究，但要想达到实际应用的要求，仍还有不少的困难。,汉语分词的难点,2019/4/12,史忠植 人工智能：自然语言处理,63,除了由于未登录词而引起的歧义，切分歧义主要有三种类型： 交集型歧义，即汉字串既可切成，又可切成。 组合型歧义，即汉字串既可切分成，又可切分成。 混合型歧义，是前两种的自我嵌套或三者的交叉组合产生的。 为了既能得到较高的准确率，又有较小的开销，可以 着重解决相对数量较大又较容易解决的交集型歧义。,汉语分词的难点,2019/4/12,史忠植 人工智能：自然语言处理,64,词类分析 汉语的发展是先有字后有词，所以关于 词的研究还存在一些问题，比较突出的 是汉语词类的兼类问题。例如，大量的 双字动词兼作名词。要进行汉语理解， 如果不把词类先确定下来的话，那么下 一步的分析也难以进行。 汉语词类的兼类处理方法 两种方法 根据规则消除兼类， 根据预料库统计消除兼类,汉语分词的难点,2019/4/12,史忠植 人工智能：自然语言处理,65,2019/4/12,史忠植 人工智能：自然语言处理,66,内容提要,8.1 概述 8.2 词法分析 8.3 句法分析 8.4 语义分析 8.5 语用分析 8.6 语料库 8.7 信息检索 8.8 机器翻译 8.9 问答系统 8.10 小结,信息检索 (information retrieval，IR)是指将信息按一定的方式组织和存储起来，并根据用户的需要找出有关信息的过程。1950年, 穆尔(Moore C)根据图书馆的参考咨询和文摘索引提出了信息检索。信息检索包括信息存储和检索。在检索之前必须将信息收集起来，按科学方法进行整理，并按一定准则存储起来，形成书本式检索工具或者计算机可读数据库。在检索时，用户根据自身需求提交查询给信息检索系统，系统利用存储信息所依据的准则，在文档集中找出与查询条件相关的文档子集，并按照它们与查询条件的相关性进行排序，最后为用户返回一个有序的文档子集。,信息检索,2019/4/12,史忠植 人工智能：自然语言处理,67,从广义上讲，信息检索包括两个过程， 一是信息存储(information storage)，即信息的标引、加工和存储过程： 二是信息检索(information retrieval)，即信息用户的查找过程。 从狭义上讲，信息检索仅指后一部分。 信息检索的本质是一个匹配的过程 即用户的信息需求和信息存储的信息集合进行比较和选择的过程,信息检索,2019/4/12,史忠植 人工智能：自然语言处理,68,信息检索过程,2019/4/12,史忠植 人工智能：自然语言处理,69,信息检索的类型,按信息检索的内容划分 文献检索 数据检索 事实检索 概念检索,按信息检索的组织方式划分,超文本检索是对每个节点中储存的信息以及信息链构成的网络信息进行的检索。与传统文本的线性顺序不同，超文本检索强调中心节点之间的语义联结结构，靠系统提供的工具进行图示穿行和节点展示，提供浏览式查询，可进行跨库检索。,全文本检索 多媒体检索 超文本检索,2019/4/12,史忠植 人工智能：自然语言处理,70,2019/4/12,史忠植 人工智能：自然语言处理,71,内容提要,8.1 概述 8.2 词法分析 8.3 句法分析 8.4 语义分析 8.5 语用分析 8.6 语料库 8.7 信息检索 8.8 机器翻译 8.9 问答系统 8.10 小结,机器翻译是利用计算机把一种自然语言转变成另一种自然语言的过程。用以完成这一过程的软件叫做机器翻译系统。机器翻译是语言学、人工智能、计算技术、认知科学等学科相结合的产物。 人作翻译时，把一个源语言句子译成目标语言句子，涉及到四个基本操作：目标语言单词的检索、调序、删词、增词；机器翻译系统的操作过程也不例外，有检索、分析、转换和生成的主要四个阶段。这被称为基于分析和转换的机器翻译系统。也被认为是模拟人类翻译活动最恰当的机制。,机器翻译,2019/4/12,史忠植 人工智能：自然语言处理,72,20世纪50年代初到60年代中为大发展时期。但是由于当时对机器翻译的复杂性认识不足而产生了过分的乐观情 20世纪60年代中到70年代初由于遇到了困难而处于低潮时期。 20世纪80年代机器翻译开始复兴，注意力几乎都集中在人助自动翻译上，人助工作包括译前编辑（或受限语言），翻译期间的交互式解决问题，译后编辑等。几乎所有的研究活动都致力于在传统的基于规则和“中间语言”模式的基础上进行语言分析和生成方法的探索，这些方法都伴有人工智能类型的知识库。 在20世纪90年代早期，机器翻译研究被新兴的基于语料库的方法向前推进，出现新的统计方法的引入以及基于案例的机器翻译等。,机器翻译,2019/4/12,史忠植 人工智能：自然语言处理,73,机器翻译的一般过程包括：源语文输入、识别与分析、生成与综合和目标语言输出。当源语文通过键盘或扫描器或话筒输入计算机后，计算机首先对一个单词逐一识别，再按照标点符号和一些特征词(往往是虚词)识别句法和语义。然后查找机器内存储的词典和句法表、语义表，把这些加工后的语文信息传输到规则系统中去。从源语文输入的字符系列的表层结构分析到深层结构，在机器内部就得到一种类似乔姆斯基语法分析的“树形图”。,机器翻译,2019/4/12,史忠植 人工智能：自然语言处理,74,基于规则的机器翻译流程图,2019/4/12,史忠植 人工智能：自然语言处理,75,1.基于分析和转换的机器翻译方法 基于分析和转换的机器翻译方法就是自动实现源语言到目标语言的转换，它采取了一系列的分析和转换的生成层次，使一个源语言句子经过不同的中间表达形式，最终达到目标语言句子的表示。其目的是尽可能地加深对源语言的理解，生成尽可能恰当的目标语言形式。这种方法比较全面地体现了语言学知识在机器翻译中的应用，是了解机器翻译实现过程的非常合适的模式。,机器翻译的实现方法,2019/4/12,史忠植 人工智能：自然语言处理,76,句子经过分析阶段之后，进入转换和生成阶段。这两者一般联系得比较紧密，有时无法严格区分，因为转换到目标语言也就是要生成目标语言的词汇、短语、句子。可以把句子结构的转换也就是源语言的句法树转换长合适的目标语言对应形式当作转换，而后续的许多处理都当作生成阶段的处理步骤看待。,基于分析和转换的机器翻译方法,2019/4/12,史忠植 人工智能：自然语言处理,77,实质上，机器翻译方法对语言的处理就是在两种语言之间搭一座桥，实现一种语言到另一种语言意义等价的转换。它并非象自然语言理解那样只是对一种语言的操作，只需作针对一种语言的分析。作为一个机器翻译系统，它既要考虑源语言的语法和语义规律，也要考虑目标语言的这方面规律，忽略了任何一方都是不行的。也就是说，对于双语互译规律的发现和应用才是机器翻译最本质的特征。所以，在词、短语和句子这三个层次上寻找源语言的目标语言翻译的等价物是机器翻译中转换与生成的任务。,基于分析和转换的机器翻译方法,2019/4/12,史忠植 人工智能：自然语言处理,78,通常，机器翻译的研究中将转换看做整个翻译过程中的一个阶段。然而，在语义结构上进行转换却是一种好的方式。语义结构可以是跨语言的，有能力同时应用于分析和生成。另一方面，当机器翻译系统的翻译语言对扩展时，还可以应用于多种不同的语言。但要注意，大规模的自然语言语义描述相当复杂，因而在机器翻译系统中的应用往往会受到限制，难以采用这样的语义表示作为转换的基本结构。,基于分析和转换的机器翻译方法,2019/4/12,史忠植 人工智能：自然语言处理,79,一般情况下，分析以句法为主、语义为辅，正确的句法结构转换加正确的词汇译文可以从源语言向目标语言传递完整的正确信息。因此，以句法结构转换附加上一定的语义信息，能够构成转换的基本层次。不足之处是：因为句法分析的结果是面向源语言的，而要生成合适的目标语言译文，转换部分常常引入许多目标语言方面的约束，使得转换规则变得复杂了。,基于分析和转换的机器翻译方法,2019/4/12,史忠植 人工智能：自然语言处理,80,就标准的机器翻译系统来说，句子和短语层次的结构转换是机器翻译转换部分的研究重点。通常使用转换规则，就可以实现源语言句法结构到目标语言句法结构的转换。这方面一般采用产生式方式的转换规则形式： S：S1+S2+SiT1+T2+Tj ：T 上式理解为：S是SL（源语言）的某个待翻译单位（句子、短语等等），S1Si是S中的下一级组成单位；对于S，如果满足条件，则TL（目标语言）中有T1Tj译文构成了相应的等价物T。,基于分析和转换的机器翻译方法,2019/4/12,史忠植 人工智能：自然语言处理,81,这样的方法有两个特点：一是面向源语言分析，因为源语言中的一个句子已经由句法、语义分析等阶段分析完毕，生成了关于源语言句子的某种中间表示，转换以这种源语言中间表示作为输入；二是直接转换，即对于S表示，直接给出译文形式，一般不需要在目标语言内再作进一步转换，T1Tj可以直接包括目标语言的词汇，也可以是对应于S1Si的译文组块。,基于分析和转换的机器翻译方法,2019/4/12,史忠植 人工智能：自然语言处理,82,上述方法称为基于句法的转换方法，因为 S1+S2+Si一般来说就是源语言的的句法结构表示；也可以称为直接转换方法，因为对于每个源语言的翻译组块，都马上给出一个目标语言组块与之对应。应该说，这种转换方法符合人的直觉认识，也能够实现。,基于分析和转换的机器翻译方法,2019/4/12,史忠植 人工智能：自然语言处理,83,基于中间语言的翻译方法是对源语言进行分析以后产生一种称为中间语言的表示形式，然后直接由这种中间语言的表示形式生成目标语言。所谓中间
