第七章-互联网应用技术概论.ppt

北京大学软件与微电子学院2009度课程,1,第七章 互联网应用技术概述,2010年11月,北京大学软件与微电子学院2009度课程,2,自我介绍,主讲老师：王斌，中科院计算所博士毕业，副研究员，博士生导师。现为中科院计算所前瞻研究实验室信息检索课题组负责人。北大软件学院兼职教师。先后从事和承担信息检索、自然语言处理相关的国家级研发项目10余项，发表相关论文100余篇。培养研究生20余名。计算机学会高级会员，ACM、IEEE、中文信息学会会员，中文信息学会信息检索专委会委员，中文信息学报编委。 http:/ir.ict.ac.cn/wangbin/ wangbinict.ac.cn 办公电话：62601350,北京大学软件与微电子学院2009度课程,3,提纲,互联网应用的例子 基于内容的互联网应用的基本技术 搜索技术 信息分类和聚类技术 信息过滤和推荐技术 考核方法,北京大学软件与微电子学院2009度课程,4,提纲,互联网应用的例子 基于内容的互联网应用的基本技术 搜索技术 信息分类和聚类技术 信息过滤和推荐技术 考核方法,北京大学软件与微电子学院2009度课程,5,搜索引擎,搜索,推荐,推荐,北京大学软件与微电子学院2009度课程,6,更多的搜索引擎,北京大学软件与微电子学院2009度课程,7,Google Killer?,2009-05-18推出,2008-07-28推出,北京大学软件与微电子学院2009度课程,8,Email,搜索,分类,北京大学软件与微电子学院2009度课程,9,Email,分类,搜索,推荐,北京大学软件与微电子学院2009度课程,10,分类目录,搜索,分类,北京大学软件与微电子学院2009度课程,11,电子商务,推荐,北京大学软件与微电子学院2009度课程,12,BBS,推荐,搜索,北京大学软件与微电子学院2009度课程,13,社区网站-豆瓣网,推荐,推荐,搜索,北京大学软件与微电子学院2009度课程,14,社区网站-校内网,北京大学软件与微电子学院2009度课程,15,博客,推荐,北京大学软件与微电子学院2009度课程,16,以上应用的共同特征,基于内容的应用 内容是互联网应用的生命线 包括几个主要共同的技术 搜索 分类/聚类 过滤/推荐,北京大学软件与微电子学院2009度课程,17,提纲,互联网应用的例子 基于内容的互联网应用的基本技术 搜索技术 信息分类和聚类技术 信息过滤和推荐技术 考核方法,北京大学软件与微电子学院2009度课程,18,搜索(Search),搜索：从大量文档(Document)集合(Collection)中根据用户的需求(User Information Need)返回相关(Relevant)文档集合并排序(Ranking)的应用。 主要特点： 用户的需求动态变化，文档集合相对静态 事先下载，事先组织，在线搜索 应用例子： 搜索引擎 站内搜索,北京大学软件与微电子学院2009度课程,19,搜索技术,信息的获取技术 信息的组织和整理技术 相关度计算和排序技术 结果呈现技术 相关反馈、查询扩展技术 搜索的评估,北京大学软件与微电子学院2009度课程,20,搜索系统的组成框架,文档集合,管理器,索引,文档表示,查询处理,查找,排序,排序文档,用户反馈,文本处理,用户界面,结果文档,查询,文本,查询表示,爬虫,Internet,北京大学软件与微电子学院2009度课程,21,信息分类(Classification),信息分类：根据已有的类别体系(如：体育、经济、军事)和训练文档(每个类别对应若干文档)，对一篇新的文档判断其所属类别。属于有监督的机器学习 主要特点： 类别体系静态，但是需要分类的文档动态变化 事先训练，在线分类 需要大量训练文档集合 应用例子： 垃圾邮件/网页分类,北京大学软件与微电子学院2009度课程,22,北京大学软件与微电子学院2009度课程,23,信息聚类(Clustering),聚类：从大量文档集合中自动聚团的过程，属于无监督的机器学习 主要特点： 事先无类别体系 需要事后进行解释 应用例子： 检索结果聚类 话题发现,北京大学软件与微电子学院2009度课程,24,北京大学软件与微电子学院2009度课程,25,文本分类系统的组成框架,文本表示,训练过程,分类过程,训练文本,统计,统计量,特征表示,学习,分类器,新文本,特征表示,类别,北京大学软件与微电子学院2009度课程,26,信息过滤,信息过滤：从动态的信息流中将满足用户兴趣的信息挑选出来，用户的兴趣一般在较长一段时间内比较稳定不会改变(静态)。 主要特点： 用户兴趣静态，数据动态 对用户兴趣建模 应用例子： 广告推荐/商品推荐,北京大学软件与微电子学院2009度课程,27,信息过滤系统的组成框架,(d) 学习器,用户,信息提供者,(b) 过滤器,(a) 数据分析器,(c) 用户建模,更新,反馈,相关数据项,数据表示项,数据项,个人信息,用户模型,北京大学软件与微电子学院2009度课程,28,提纲,互联网应用的例子 基于内容的互联网应用的基本技术 搜索技术 信息分类和聚类技术 信息过滤和推荐技术 考核方法,北京大学软件与微电子学院2009度课程,29,考核方法,技术专题讨论(20%) 学生分小组，选定一技术专题，共同读资料学习技术，并在课上交流。 阅读(30%) 阅读1篇论文SIGIR2008/2009，针对每篇文章写出至少阅读报告(含评论) 评论要有自己的见解，不要简单翻译原文的摘要和结论 评论主要着眼于文章的主要创新点和对自己启发最大的地方，以及可能的下一步研究工作 课程项目(50%) 2到3名同学一组 完成可以演示的具有一定创新的课堂项目 可从建议的项目列表中选项目，也可自己拟定项目（但需要与任课教师协商，取得任课教师的认可）。,北京大学软件与微电子学院2009度课程,30,论文阅读,ACM SIGIR Conference,北京大学软件与微电子学院2009度课程,31,课程项目,(一)、检索型： (1) 垂直搜索：选择2个或以上的餐馆网站进行爬行(餐馆记录不少于5000条)，实现基于关键词的餐馆搜索，爬虫能够及时更新。 (2) 论文搜索：下载全部SIGIR论文，实现对论文的标题、摘要及全文的搜索，并实现论文之间的关系链接图，分析作者的共现关系并以图的方式显示。 (3) 桌面搜索：能够实现本机PPT文件的抽取及搜索，不少于1000篇PPT文件。能够自动抽取PPT的标题、目录等信息。,北京大学软件与微电子学院2009度课程,32,课程项目(续),(二)、文本分类型： (1) 文本分类：分类体系为：财经、科技、汽车、房产、体育、娱乐、其它类，利用网站的新闻主页，训练一个分类器(训练集合不能少于2000篇文档)。能够实现新的网页的分类。 (2) 文本倾向性分析：下载餐馆的评论信息进行训练，最后对餐馆的评论进行文本倾向性分析，分析对餐馆的评价(包括总评和细评，细评包括价格、味道、环境三个方面)是褒还是贬。 (3) 层次分类：Pascal Challenge on Large Scale Hierarchical Text Classification，http:/lshtc.iit.demokritos.gr/node/1。提交Short Paper。时间表： Start of testing: July 10, 2009. End of testing, submission of executables: November 16, 2009. End of scalability test and announcement of results: December 14, 2009. Submission of short papers: December 21, 2009.,北京大学软件与微电子学院2009度课程,33,课程项目(续),(三)、其他型： (1)、问答系统：实现奥运知识的问答系统。奥运知识不少于1万条语句或记录。 (2)、歌曲检索：通过哼曲调的方法实现mp3歌曲的检索。mp3歌曲不少于200个。 (3) 广告搜索：搜集不少于1000个广告，实现对它们的搜索，搜索时不止是关键词匹配。 （四）、自选型： 学生可以自行设计和选择本课程相关的其他题目，但是需要经过任课老师同意。,北京大学软件与微电子学院2009度课程,34,为什么要开这门课？,互联网内容应用的核心技术是信息检索技术,北京大学软件与微电子学院2009度课程,35,市场发展的需求,用户需要信息检索技术：互联网的信息量太大、噪音太多，寻找所需要的信息非常不容易 公司需要信息检索技术：搜索引擎改变了很多传统的生活方式，Yahoo、Google、Baidu，还有一些公司如Microsoft、Sina、Sohu、Tecent、Netease都加入到这个搜索技术的竞争。不只是搜索引擎才需要信息检索技术，电子商务(如亚马逊网站、阿里巴巴)、数字图书馆工程等都需要信息检索技术 人才的竞争：搜索相关人才人数出现缺口，他们非常抢手，待遇如日中天 是不是泡沫：2000年左右出现的网络泡沫和现在的互联网有什么不同，搜索引擎在其中占什么位置？,北京大学软件与微电子学院2009度课程,36,几个应用需求,手机搜索 产品搜索 专利搜索 广告推荐 消费行为分析 网络评论分析 SEO营销 ,北京大学软件与微电子学院2009度课程,37,对相关专业研究生的基本要求,信息检索技术是内容应用特别是互联网内容应用的核心技术，可以说在这些应用中无处不在 信息检索将会成为一门计算机专业的基础学科 搜索(狭义的信息检索)的三个层次(个人观点),北京大学软件与微电子学院2009度课程,38,应用层次：搜索是一项非常重要的应用！,北京大学软件与微电子学院2009度课程,39,中间层次：搜索是极其重要的API,北京大学软件与微电子学院2009度课程,40,www.Googlefight.com,北京大学软件与微电子学院2009度课程,41,介绍一本有趣的书！,北京大学软件与微电子学院2009度课程,42,核心层次：搜索是未来操作系统的重要组成部分！,北京大学软件与微电子学院2009度课程,43,相关研究人物和资源,北京大学软件与微电子学院2009度课程,44,国际著名研究机构和代表人物,美国康奈尔大学 Salton (1927-1995) 现代信息检索的奠基人 SMART的完成人 第一任Salton奖得主，ACM Fellow 英国剑桥大学 Sparck Jones (1935-2007) 概率检索模型的提出者之一 NLP和IR中的先辈 曾获ACL终身成就奖和Salton奖,北京大学软件与微电子学院2009度课程,45,国际著名研究机构和代表人物,美国 UMass CIIR W. B. Croft，ACM Fellow 基于统计语言建模IR模型的提出者和倡导者 和CMU共同开发了Lemur工具 Salton奖得主 英国Glasgow大学 Rijsbergen， ACM Fellow 信息检索逻辑推理学派的提出者和倡导者 现在试图用量子物理的方法解决IR问题 Salton奖得主 英国微软剑桥研究院、伦敦城市大学 Robertson 概率检索模型的倡导者 开发了OKAPI Salton奖得主,北京大学软件与微电子学院2009度课程,46,北京大学软件与微电子学院2009度课程,47,北京大学软件与微电子学院2009度课程,48,国际著名研究机构和代表人物,美国CMU 美国UIUC 微软研究院 IBM研究院 Google研究院 Yahoo研究院,北京大学软件与微电子学院2009度课程,49,一些活跃的华裔学者,加拿大蒙特利尔大学聂建云教授 跨语言检索 IR模型 美国UIUC Chengxiang Zhai博士 IR模型 美国CMU Yiming Yang教授 文本分类,北京大学软件与微电子学院2009度课程,50,一些活跃的华裔学者,台湾中研院 简立峰 号称“中文搜索”第一人 加入Google研究院,北京大学软件与微电子学院2009度课程,51,国内一些相关研究机构,北京大学 复旦大学 清华大学 哈尔滨工业大学 上海交通大学 中科院计算所 中科院软件所 中科院自动化所 ,北京大学软件与微电子学院2009度课程,52,重要会议,国际会议(COLING2010、SIGIR2011将在北京举行)： SIGIR、ACL、WWW、SIGKDD、WSDM、ICML CIKM、EMNLP、COLING TREC AIRS、ECIR 国内会议： 全国信息检索学术会议(1年一届，下半年今年11月在上海交大举行) 全国计算语言学联合会议(2年一届) 搜索引擎和WEB挖掘学术会议(1年一届，上半年),北京大学软件与微电子学院2009度课程,53,ACM SIGIR,ACM：美国计算机学会 SIGIR：special interest group on information retrieval，特定兴趣组 ACM SIGIR Conference：IR领域的最重要会议，起始于1971年，2009年是第31届。,北京大学软件与微电子学院2009度课程,54,IR及相关研究领域重要会议,ACM SIGIR,VLDB, PODS, ICDE,ASIS,Learning/Mining,NLP,Applications,Statistics,Software/systems,COLING, EMNLP, ANLP,HLT,NIPS, UAI,RECOMB, PSB,JCDL,Info. Science,Info Retrieval,ACM CIKM,Databases,ACM SIGMOD,ACL,ICML,AAAI,ACM SIGKDD,ISMB,WWW,SOSP,OSDI,TREC,北京大学软件与微电子学院2009度课程,55,重要期刊,国际： ACM Transactions on Information Systems (TOIS) ACM Transactions on Asian Language Information Processing (TALIP) Information Processing & Management (IP&M) Information Retrieval 国内 中文信息学报 情报学报,北京大学软件与微电子学院2009度课程,56,重要工具,Lemur：包含各种IR模型的实验平台，C+ SMART：向量空间模型工具, C编写 Weka：分类工具，Java编写 Lucene：开源检索工具，各种语言编写的版本 Larbin：采集工具，C+ Firtex：检索平台，C+，计算所开发,北京大学软件与微电子学院2009度课程,57,参考书籍及文献,Christopher D. Manning, Prabhakar Raghavan & Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press 2008 Electronic version (draft) can be downloaded from http:/www-csli.stanford.edu/hinrich/information-retrieval-book.html Baeza-Yates, R. & B. Ribeiro-Neto. eds. Modern Information Retrieval. ACM Press, 1999 (国内有机械工业出版社出版的影印版和中文翻译版) Witten, Ian et al. Managing Gigabytes. Orlando, FL: Morgan Kaufmann Publishers Incorporated, 1999 William Frakes & Ricardo Baeza-Yates, Information Retrieval Data Structures and Algorithms. PrenticeHall, 1992 Karen Sparck Jones & Peter Willet eds. Readings in Information Retrieval, Morgan Kaufmann, 1997 李晓明，闫宏飞，王继民著，搜索引擎-原理、技术与系统，北京：科学出版社，2005 李国辉等著，信息的组织与检索，科学出版社，2003年 刘挺等著，信息检索系统导论，机械工业出版社，2008 SIGIR/WWW/SIKDD/TREC/CIKM/ Proceedings,北京大学软件与微电子学院2009度课程,58,Manning的书介绍,内容比较新 例子多 有关NLP和分类聚类的内容较丰富 有相关最新算法的介绍 有实现相关的内容,北京大学软件与微电子学院2009度课程,59,对不同专业学生的期望,计算机类：学完了以后知道原理，能够构建系统 非计算机类：学完了以后知道原理，能够指挥构建系统,北京大学软件与微电子学院2009度课程,60,wangbinict.ac.cn 62601350(o),