连续语音识别中半连续HMM的研究及实现硕士学位论文.doc
《连续语音识别中半连续HMM的研究及实现硕士学位论文.doc》由会员分享,可在线阅读,更多相关《连续语音识别中半连续HMM的研究及实现硕士学位论文.doc(69页珍藏版)》请在三一文库上搜索。
1、连续语音识别中半连续连续语音识别中半连续 HMMHMM 的研究及实现的研究及实现 Research and Implement of SCHMM in CSR (申请清华大学工学硕士学位论文) 密级:内部 独 创 性 声 明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其 他人已经发表或撰写过的研究成果,也不包含为获得清华大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示了谢意。 签 名:日 期: 关于论文使用授权的说明 本人完全了解清
2、华大学有关保留、使用学位论文的规定,即:学校有权保 留送交论文的复印件,允许论文被查阅和借阅;学校可以公布论文的全部或部 分内容,可以采用影印、缩印或其他复制手段保存论文。 签 名: 导师签名: 日 期: I 摘 要 SCHMM 作为一种有效的语音识别技术,它充分地吸收了离散 HMM 和连续 HMM 的优点,具有识别精度高搜索速度快等特点。特别是它的码本绑定策略,由于 从全局的角度来共享和调整码本,所生成的码本性能更好,能够有效地反映语 音空间的特征,因此只要少量的码本就能使系统达到较好的性能,大大减轻了 码本计算的复杂性,提高了系统识别的速度。 研究内容包括如下几个方面: 1. 在初始码本生
3、成中引入了随机松弛算法,SCHMM 的初始码本生成是一 个矢量量化的问题,量化的困难是量化结果通常会陷入局部最优,采 用随机松弛算法能够比较好地克服这个缺点。 2. 在连续语音训练中,通过减去句子单元信息,克服了Baum-Welch算法 训练不同类型句子时发生数据奇异的缺陷。 3. 改进了 SCHMM 的搜索算法,通过对码本进行剪枝,Beam 剪枝等措施, 在保证一定识别率的前提下,大大减少了搜索在时间和空间上的消耗, 加快了搜索的速度。 4. 实现了一个基于 SCHMM 的连续语音训练和识别系统。 关关键键词词:语音识别,半连续 HMM,码本,随机松弛,搜索 II Abstract As a
4、n efficient technology of speech recognition, Semi Continuous HMM (SCHMM) integrates the advantages of discrete HMM and continuous HMM, and provides a high recognition accuracy and satisfactory speed. In particular, since the sharing and modification of codebooks in global scope, the code- binding s
5、trategy makes it possible to generate much better codebooks that could describe the feature of acoustic space more accurately. In such a case, small codebooks can provide satisfactory performance so that the computational complexity is reduced and the recognition speed is increased. The key research
6、 contains the follows 1. The algorithm of stochastic relaxation is introduced into codebook initialization. Codebook initialization of SCHMM is a problem of vector quantification, whose trouble is that the quantification result often reaches the local minimal point. The introduction of stochastic re
7、laxation overcomes this problem in our experiments. 2. In continuous speech training, the disadvantage that Baum-Welch algorithm could be thrown into data oddity because of different sentences gives various weights to the estimation is resolved by subtracting sentence information. 3. Through codeboo
8、k selection, beam pruning, the search algorithm of SCHMM is modified so that the cost of search is reduced in terms of both time and space, in case of no accuracy lost evidently. 4. A continuous speech recognition system based on SCHMM in real world is implemented. 目录 III 目目 录录 第一章第一章 概述概述 1 1 1.1 语
9、音识别1 1.1.1 语音识别的应用价值 2 1.1.2 语音识别的理论意义 4 1.2 国内外发展状况4 1.3 本文主要工作7 1.4 本文内容安排8 第二章第二章 语音识语音识别别的基本模型的基本模型 9 9 2.1 语音识别的基本结构及方法9 2.2 HMM 的基本结构 .10 2.3 HMM 的三个基本问题 .12 2.4 HMM 的分类 .16 2.4.1 DHMM(离散 HMM) .17 2.4.2 CHMM(连续 HMM) .17 2.4.3 SCHMM(半连续 HMM) 18 第三章第三章 SCHMMSCHMM 的训练方法的训练方法 1919 3.1 SCHMM 初始码本生成
10、 .19 3.1.1 聚类的基本原理及方法 .19 3.1.2 译码器扰动简化随机松弛聚类算法(SR-D) .21 3.1.3 小结 .23 3.2 SCHMM 的训练 .23 3.2.1 基于 Baum-Welch 的前后项训练方法 24 3.2.2 溢出的分析及解决 .27 3.2.3 句子单元信息 .31 第四章第四章 SCHMMSCHMM 的连续语音搜索方法的连续语音搜索方法 3333 4.1 连续语音的 VITERBI解码算法 .34 4.2 N-BEST搜索算法 .35 目录 IV 4.3 静音处理方法.36 4.3.1 基于时域的端点检测方法 .37 4.3.2 基于 HMM 的
11、音节间检测方法 .38 4.4.提高搜索速度的几种方法.38 4.4.1 码本剪枝策略 .38 4.4.2 Beam 剪枝策略 40 4.4.3 降低精度策略 .42 第五章第五章 系统与实验系统与实验 4444 5.1 数据库的建立.44 5.2 系统的实现.45 5.2.1 训练程序 .46 5.2.2 识别程序 .49 5.3 实验和分析.52 5.3.1 码本数对识别结果的影响 .53 5.3.2 状态数对识别结果的影响 .53 5.3.3 帧长对识别结果的影响 .54 5.3.4 系统的性能和评价 .54 第六章第六章 总结总结 5757 参考文献参考文献 6060 个人简历个人简历
12、 6464 致谢致谢 6565 第一章 概述 1 第第一一章章 概概述述 1 1. .1 1 语语音音识识别别 现代语音识别是用电子计算机从人的语音信号中提取信息,确定其语言含 义的过程。 它是一门交叉学科,多个领域的研究工作者参与其中,因此又可被归于多 个大学科。在计算机大学科中,它是智能计算机的智能接口科学;在信息处理 大学科中,它是信息识别的一个重要分支;在通信及电子系统、电路、信号及 系统等大学科中,它属于信息或通信系统的信息处理学科;在自动化学科中, 它是模式识别的一个重要研究对象。同时语言学家和生理学家也对这种用机器 识别人类语言的技术不断作出自己的贡献。于是,语音识别成为一门与人
13、工智 能、数字信号处理理论、模式识别理论、统计信息理论、最优化理论、计算机 科学以及声学、语言学、语义学、脑科学、生理学等众多学科紧密相连的综合 学科。 目前,语音识别系统有多种工作方式,人们常常从不同的角度对识别系统 进行分类: 1. 按说话方式及语言规则: 孤立词(Isolated Word)识别:被识别的基本单位的语音之间有明 显的停顿间隔。这种系统的识别正确率最高,但输入语音速度较慢,而且使 用者常常感到语音输入方式不自然; 连接词(Connected Word)识别:被识别的基本单位的语音可连续输 入而不必停顿,同时对输入的基本单位的顺序没有限制。如:象电话号码这 样的数字串就可用连
14、接词识别法。它的缺点是应用范围不广,而且识别正确 率较低。 连续语音 (Continuous Speech)识别:被识别的基本单位的语音可 连续输入而不必停顿,同时对输入的基本单位的顺序有语法语义上的限制。 连续语音的输入方式比较接近自然,输入语音速度较快,但识别正确率远远 低于对孤立词和连接词的识别。 第一章 概述 2 自然口语 (Natural Speaking)识别:可以看作一种更高级的连续语 音输入方式。说话者完全用自己习惯的自然方式输入语音。语音完全口语化 语音可以随意地连续、停顿和快慢变化,可以有无关的内容(如:咂嘴 的声音、 “嗯”等) ,可以有重复、错误和修改(如: “他住在四
15、一三, 噢,四一四房间 ” ) ,语法上没有书面语那样较严格的限制。自然口语识别 是语音识别的最高阶段,也是现在的一个研究热点。 尽管这四种语音输入方式有或多或少的区别,但实际系统常常包含了许多 相同或相似的模块和算法。如:语音信号预处理部分有时可以通用于这四种系 统,这四种系统可以使用相同的声学模型,连续语音系统和自然口语系统也可 以共享一些语言后处理的算法,等等。 2. 按词汇量大小: 小词汇量 (small vocabulary)识别:可识别词数少于 500 个; 中词汇量 (medium vocabulary)识别:可识别词数大于 500 但小于 2000 个; 大词汇量 (large
16、 vocabulary)识别:可识别词数大于 2000 个。 随着词汇量的增加,在特征空间中相邻词的距离减小了,而词与词交叉 重叠的机会增大,所以识别也越困难。 3. 按被识别人范围: 特定人(speaker dependent)识别:语音识别系统专门为特定人定 制,当对这个人进行语音识别时,系统可达到一定令人满意的识别正确率; 非特定人 (speaker independent) 识别:系统可以对所有人的语音 产生较好的识别结果。实际上,许多非特定人的识别系统都具有自适应功能, 可以用一个使用者的输入对系统参数继续进行训练,以对这个人达到更好的 识别效果,这样非特定人似乎就变成了特定人识别系
17、统。所以非特定人系统 和特定人系统往往没有一个绝对的界限。 1 1. .1 1. .1 1 语语音音识识别别的的应应用用价价值值 语音识别有极其巨大的应用价值,这主要表现在以下几方面: 1. 一种非常自然的文字输入方法 第一章 概述 3 人类希望将自己的语言记录下来,传统上可以通过书写等物理手段进行具 体的保留。现在,更准确、可靠和容易加工的手段是输入计算机以抽象数据编 码的形式进行记录。最常用的方式是用键盘输入,这要求使用者必须经过专门 的训练,而对普通用户又不太现实。尤其对于使用汉语的中国人的来说,困难 就更大,因为汉字是象形文字,不象英语等拼音文字那样每个字母都有键盘按 键直接对应。虽然
18、现在汉语已有五笔字型等高效输入编码方式,但对于一般人 来说很难熟练掌握。 另一方面,口语是人类生存的一个重要手段,虽然它不是与生俱来的,但 一个健康人在他的早年即已习得,可以认为口语是绝大部分人最自然的交流方 式。有时,书写也可以作为人们的交流方式,不幸的是书写速度还是比普通的 说话速度慢,所以口语应该成为最自然、快速的文字输入方式。 2. 语音控制 在很多场合下,人们希望有手动控制以外的控制方式。有时是为了安全, 比如在驾驶车辆时,司机为了使用移动电话,分散精力用手拨号就是很危险的; 有时是为了方便,比如现在的掌上电脑体积很小,用普通电脑的按键方式使用 很困难;还有时是特殊环境的要求,比如我
19、们在黑暗的场所操纵诸多开关、按 钮时,会发现并不容易。而语音在这些方面却不受限制,我们可以用语音识别 进行拨号,进行掌上机的输入,进行开关的控制。语音控制可以解放我们的双 手,帮助我们克服各种操作的困难,还可以使我们的生活、工作更方便和舒适。 比如:在联网的智能家电中装上语音识别模块,我们就可以从办公室打电话了 解家里的情况,并控制家电的工作。另外,对残疾人来说,语音控制可能会使 他们能像健康人一样地自理生活。总之,语音控制的应用前景非常广阔。 3. 对话系统(订票系统,天气查询等) 将语音识别、自然语言理解、对话控制、语言生成、语音合成、数据库等 技术综合起来可以构成对话系统。对话系统现在已
20、开始用于订票系统,普通用 户可以通过电话进行语音订票或预定旅馆房间;另外还出现了带有对话系统的 天气查询系统1,用户同样可以通过普通电话进行语音查询。对话系统可以在 任何时候被大负荷的访问,不象人一样会疲劳,总能给用户亲切、快捷的服务。 预计语音识别在这一方面的应用还要进一步扩大。 4. 口语翻译系统 随着人们的交流日益频繁,对口语翻译的需求越来越大。为此很多机构在 第一章 概述 4 研究自动口语翻译系统。口语翻译的第一步就是要听清用户在说什么,这部分 的工作离不开语音识别系统。 5. 计算机辅助教学 在常规的课堂教学中,老师和学生之间经常要进行交流,以提高教学的质 量,解决学生的疑问。在计算
21、机辅助教学领域,人们也希望人机之间有相似的 交流和反馈。目前,语音识别已开始进入这一领域,比如:有一些英语学习软 件就通过语音识别来判断学生发音的准确性。由于交流的重要性,可以断言, 未来大部分计算机辅助教学系统都离不开语音识别。 6. 身份确认 现在进行自动身份确认的方式很多,比如:键盘输入密码、指纹、掌纹、 人脸、虹膜、视网膜图像等等,而语音常常是一个非常好的方式。人们可以口 述密码、回答特殊的问题,还可以与目前的说话人确认技术(Speaker Verification)结合,形成一种自然、方便和可靠的确认系统。它可以广泛地 用于楼宇安全系统,以及电子商务等领域。 以上只是目前可以预见到的
22、一些应用,尽管这样,已经让我们对未来充满 了憧憬。语音识别将与其它各种技术熔合在一起,渗透到社会的各个角落,相 信有一天,人们会发现自己的生存已离不开语音识别。 1 1. .1 1. .2 2 语语音音识识别别的的理理论论意意义义 语音识别也有很强的理论价值。人类语音信息与其它的自然界或人工信息 有相当程度的相似性。因此其它领域的研究也可以得益于语音识别。首先,语 音识别中有些技术手段直接或稍加修改便可应用于其它声音或振动波形的识别 中。比如:地震波性质识别、利用机械声波识别来判断机械故障、利用脑电波 的识别作病理诊断等。其次,语音识别中的一些思想和方法与更广泛的模式识 别(如手写体识别、指纹
23、识别等)有一定的共性。因此,也可能推广到更广泛的 领域。另外,在语音识别中遇到的一些问题,同样可以成为数学、信号处理、 人工智能等领域研究的新课题,从而对这些学科的发展起到一定的推动作用。 1 1. .2 2 国国内内外外发发展展状状况况 语音识别技术从五十年代初期起步,到今天已发展了四十年,在此期间经 历了若干个重要阶段。下面给出了一些代表性的技术和系统的发展情况。 第一章 概述 5 五十年代电子信号频谱分析仪器开始被用于从语音信号中识别简单、少量 的音节和音素。其中有代表性的是 1952 年美国 Bell Laboratories 的实验装 置,它通过提取元音中的共振峰来识别简单的音节。稍
24、晚还有 1956 年 RCA Laboratories 的单音节词识别装置2,该装置的基本原理是用模拟滤波器组对 元音进行谱分析。五十年代可以认为是现代语音识别技术的启蒙阶段。 六十年代人们进行了一些重要的基础研究工作。一、对语音产生的研究, Fant3, 4 和 Flanagan5的工作使人们对语音产生的机理有了一个较系统的了 解。二、对人类听觉的生理和心理进行了研究,其中一个重要的成果就是发现 了人耳对声音中的不同频率成分有不同的分辨力的反应力,这对后来的听觉模 型6研究很有指导意义。三、模板匹配的研究:其中较著名的是美国人 Martin 提出的用提取语音端点的途径来解决语速变化的问题;而
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 连续 语音 识别 HMM 研究 实现 硕士学位 论文
链接地址:https://www.31doc.com/p-3973726.html