【大学】双语语料库段落重组对齐方法研究.ppt
《【大学】双语语料库段落重组对齐方法研究.ppt》由会员分享,可在线阅读,更多相关《【大学】双语语料库段落重组对齐方法研究.ppt(32页珍藏版)》请在三一文库上搜索。
1、双语语料库段落 重组对齐方法研究,http:/ 方法 结果 讨论,http:/ 双语资源给机器翻译和跨语言检索提供了有力的支持,尤其是双语语料库 构建双语语料库(英汉双语语料库)是一项十分有意义的工作,http:/ 篇章级对齐 内容分散 格式复杂 风格各异,http:/ 段落、句子、词和短语的对齐 上一级的对齐是下一级对齐的基础 经过统计发现90%以上的电子文本中的段落并不对应或者没有明显的段落标记,http:/ 对段落对齐研究的很少 段落对齐的目的是句子对齐 段落重组对齐是打破原有的段落标记,对篇章进行重新分段,仅仅在形式上对篇章进行对齐,http:/ 长句对应的译文长,短句对应译文短 根据
2、长度的不同 单词个数-Brown et al. (1991c) 字符的个数-Gale and Church (1993) 基于词典的句子对齐,http:/ 将原有的段落合并 通过汉英词汇对之间的特征比较,包括词的出现频率、字节偏移量、出现间隔向量 找到可以用于分段的锚点词汇对 通过锚点词所在句子的匹配获得锚点句子进行分段,http:/ 适合于术语提取 数据稀疏(较少高频固定词) 需要分词等预处理,http:/ 方法 结果 讨论,http:/ 句珠 二分图(完全二分图) 匹配 最优对齐匹配,http:/ Brown在对Hansard语料库进行对齐时,引入了锚点的概念,认为锚点的作用就是将整个语料
3、库分成一些小的对齐片断 句珠(Sentence bead) 每一对相对应的句子称作句珠,http:/ V2V,V1V2,使G的每一条边eE时,e=vi,vj,viV1,vjV2,即同一子集Vi(il,2)中的任何两个结点都不邻接,称这样的图为二分图。,http:/ 最优对齐匹配,http:/ ,满足以下条件: 二分图中所有的节点是有序的 若|S|=m,|T|=n则首先默认sm,tnE; M中若存在一条边e=si,tj满足d(si,tj)j或ki且rj成立; 采用贪心算法依次在完全二分图G中选取权值最小的边,直到M中边数达到饱和。,http:/ T2, T3, T4, T5, T6, T7 Tn
4、-2, Tn-1, Tn,段落对齐问题和模型的关系,S(s1, s2, s3,si, sj, sm) V1 T(t1, t2, t3,ti, tj, tn) V2 (1:1)型句珠(si, tj)的集合Km,n 默认文本中最后一句对齐sm,tnE 双语段落重组对齐 寻找最优对齐匹配,http:/ (1:1)的句对在全篇的比例均超过85%,并且有着良好的分布规律,http:/ 句长搭配 词典校对,http:/ = a(Pui,j-P0) + (Pli,j -P0) + a(Pdi,j -P0) P0为对应文本长度之比; Pui,j为对应上文部分长度之比; Pli,j为对应句长度之比; Pdi,j
5、对应下文部分长度之比; a为加权系数,http:/ L| |表示全部元素的字符长度和; Match(S)表示译文出现在汉语句中英语单词; Match(T)表示成为英文单词译文的汉语单词 ;,http:/ 方法 结果 讨论,http:/ = (返回段落总数 错误段落总数)/ 双语文本中(1:1)型正确句珠总数; 准确率 = (返回段落总数 错误段落总数)/ 返回段落总数;,http:/ 30 people have staged a naked protest against GM food. The protesters spelled out “no GM“ with their bodie
6、s in a meadow at Forest Row, East Sussex. Organiser Mike Grenville said he hoped it would send a message to the Government of peoples concern, particularly over commercial planting of GM crops. Mr Grenville, 51, a self-employed business consultant from Forest Row, said: “I think people were very ple
7、ased to have the opportunity to express how we feel, how frustrated we are about what seems to be the foregone conclusion, and the question many people are saying is What do we do next?. “We hope others will follow our lead and find other ways to express how we feel. “We do not want GM crops planted
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大学 双语 语料库 段落 重组 对齐 方法 研究
链接地址:https://www.31doc.com/p-3032492.html