教授讲座第四讲智能物流信息处理.ppt
《教授讲座第四讲智能物流信息处理.ppt》由会员分享,可在线阅读,更多相关《教授讲座第四讲智能物流信息处理.ppt(156页珍藏版)》请在三一文库上搜索。
1、基于智能技术的信息处理在物流行业中的应用,主要内容,数据仓库 数据挖掘 相关应用 神经网络 决策支持系统,数据仓库概念,按照DSS的需要对企业数据信息的重组,面向主题的、整合的、稳定的、且时变的收集以支持管理决策的数据结构形式,它具有强有力的从运行系统中取出数据的能力;可操作的管理能力和进一步支持决策的分析能力。 企业管理和决策的完整数据结构:,数据仓库技术, 面向主题 集成的 随时间变化而变化 稳定可靠的,数据仓库的实现,数据仓库的关键技术包括数据的抽取、清洗、转换、加载和维护技术。,数据仓库的实现, InfoMart:信息集市,是一个应用功能(或从应用功能产生的输出)可多次运行数据仓库,它
2、是对应业务问题的答案。 DataMart:数据集市,是数据仓库的一个数据子集,对应最终用户的信息需求,比数据仓库中的数据要更加归纳、汇总一些 数据集市主要面向部门级业务,并且只是面向某个特定的主题,数据集市可以在一定程度上缓解访问数据仓库的瓶颈,在此基础上在通过其他工具处理、分析数据挖掘等,最后进行再分析,产生真正能够为决策支持带来帮助的有用信息,数据集市,数据仓库的展现,在数据仓库实现的基础上产生的对管理和决策人员提供决策支持的信息的方式,通常通过查询报表,在线分析等方式展现,具体形式多为图表等直观、易于理解的界面 信息流上主要表现为:经过数据确认、数据转化、数据整合以及数据汇总等数据处理步
3、骤,形成各种主题表,在经过汇总形成汇总表。主题表和汇总表都是不同程度上的有用信息。,数据仓库的展现,数据仓库应用,数据仓库的应用主要包含:OLAP(在线分析处理)、BI(商业智能)、DataMining(数据挖掘)以及决策支持系统,数据仓库应用,数据仓库的应用主要包含:OLAP(在线分析处理)、BI(商业智能)、DataMining(数据挖掘)以及决策支持系统,12,数据仓库用途:客户跟踪,数据仓库是根本任务:把数据加以整理归纳,并及时提供给相应的管理决策人员,供他们做出改善其业务经营的决策,使信息发挥作用,支持决策。 网站在你不知不觉中记录你的行踪,抓到你的喜好。如果你在网上点击一下衬衫,之
4、后又看了一下裤子。网站就会让住你的点击顺序,记下你在每个产品上停留的时间以及你买了什么,没买什么,这些信息都由数据仓库保存整理。 假如你买了裤子,没实衬衫,下次你上网时,数据仓库会跟你说,“欢迎再次光顾,上次您买了裤子,现在我们有一件衬衫可以优惠卖给您。您感兴趣吗? 有了数据仓库,就可以了解客户是谁,他要什么,怎样提供更好的服务给他,并以此创造更多利润。 但目前84%的在线交易没有对客户进行跟踪;96%的在线交易没有为客户提供个性化的服务;75%的在线交易无法辨认重复客户。这使那些电子商务公司的经营长时间处于无序和迷茫之中,虽然他们急于想抓住已有的客户并发展潜在的客户,但实际上却在忽视他们,渐
5、渐丢失这部分最重要资源。而面对客户个性化需求的不断增长,电子商务公司更是一筹莫展。,13,14,数据仓库用途:减少跳线率,跳线:客户从甲公司跳到乙公司,三个月后,他又回到了甲公司。 这种现象就使企业浪费了巨额资金。如果你有了数据仓库,就能预测“跳线”,知道谁可能跳线到竞争对手那里。在客户跳走之前,公司就可以和他们接触一下,劝他们不要离开。这样减少跳线率的收益将是十分巨大的。 4、,15,数据仓库用途:一对一服务,传统模式的公司一般都比较以自我为中心,他们开发了一个新产品,就希望大家都来买。 新一代一对一商业模式侧重客户的需求,以信息定制产品,没有数据仓库,这种一对一的商业模式就不可能实现。 随
6、着一对一的销售和个性化的销售正逐渐成为企业利润增长的重要来源,数据仓库也将是造成电子商务时代企业竞争差异的关键。,16,数据仓库用途:决策信息服务,数据仓库有效集成了企业的业务数据,提供了标准的报表和图表的功能,从而为企业提供了多方们的决策支持 数据仓库可以按照面向主题的原则对灾些数据进行清洗和加工,使它们成为统一的格式的易于使用的支持决策的数据。 多维分析是通过把一个实体的多项重要的属性定义为多个维度,使得用户能方便地汇总数据集,简化了数据的分析处理逻辑,并能对不同维度值的数据进行比较,而维度则表示了对信息的不同理解角度,例如时间和地理区域是经常采用维度。 应用多椎分析可以在一个查询中对不同
7、阶段的数据进行纵向或横向比较。 在数据仓库的基础上进行数据挖掘,可以针对整个企业的状况和未来发展做出比较完整、合理、准确的分析和预测。,主要内容,数据仓库 数据挖掘 相关应用 神经网络,主要内容,动机: 为什么要数据挖掘? 什么是数据挖掘? 数据挖掘: 在什么样的数据上挖掘? 数据挖掘功能 所有的模式都是有趣的吗? 数据挖掘的主要问题,为什么要数据挖掘?,数据的爆炸性增长: 从TB到PB 数据收集和数据可用性 自动的数据收集工具, 数据库系统, Web 丰富数据的主要来源 商业: Web, 电子商务, 事务, 股票, 科学: 遥感, 生物信息学, 科学仿真, 社会: 新闻, 数码相机, 我们正
8、淹没在数据中, 但却渴望知识! “需要是发明之母”数据挖掘自动化的大规模数据集分析,数据库技术的演化,1960s: 数据收集, 数据库创建, 信息管理系统IMS和数据库管理DBMS 1970s: 关系数据模型, 关系DBMS实现 1980s: RDBMS, 高级数据模型 (扩展关系的, OO, 演绎等.) 面向应用的DBMS (空间, 科学, 工程等.) 1990s: 数据挖掘, 数据仓库, 多媒体数据库, 和Web数据库 2000s 流数据管理和挖掘 数据挖掘和它的应用 Web技术(XML, 数据集成) 和全球信息系统,什么是数据挖掘?,数据挖掘 (从数据中发现知识) 从海量数据中提取感兴趣
9、(重要的, 隐含的, 以前未知的 和 潜在有用的)模式或知识,为什么要数据挖掘?潜在的应用,数据分析和决策支持 市场分析和管理 目标市场定位, 客户关系管理 (CRM), 购物篮分析, 交叉销售 欺诈检测和不寻常模式的检测 (离群点) 其他的应用 文本挖掘 (新闻组, email, 文档) 和Web挖掘 流数据挖掘 生物信息学和生物数据分析,Ex. 1: 市场分析和管理,数据从哪来?信用卡交易事务, 会员卡, 优惠券, 客户投诉电话, 公众生活方式研究 目标市场 寻找“榜样”客户的聚类,他们共享相同的特征: 兴趣, 收入水平, 消费习惯等 确定客户在一段时间的购买模式 交叉市场分析寻找产品销售
10、之间的关联/相关性,以及基于这些关联进行预测 客户轮廓(profile)什么类型的客户买什么产品 (聚类或分类),知识发现 (KDD) 过程,数据挖掘知识发现过程的核心,数据清理,数据集成,数据库,数据仓库,知识,任务相关的数据,选择,数据挖掘,模式评估,数据挖掘: 多种技术的融合,数据挖掘: 在什么样的数据上进行?,面向数据库的数据集及其应用 关系数据库, 数据仓库, 事务数据库 高级数据集和高级应用 数据流和传感器数据 时间序列数据, 序列数据(包括生物序列数据) 多媒体 文本数据库 World-Wide Web ,数据挖掘功能,频繁模式, 关联规则, 相关性 vs. 因果关系 牛奶 面包
11、 0.5%, 75% (相关还是因果?) 分类和预测 为将来的预测构建模型 (函数) 来描述和区分类或者概念 例,将国家基于气候来分类, 将汽车根据耗油量来分类 预测某些未知的或丢失的数值。,数据挖掘功能 (2),聚类分析 类标签是未知的: 将数据分组形成新的类别, 最大化类内相似性并最小化类间相似性 离群点(孤立点)分析 离群点: 数据对象并不遵从常见的数据行为 噪音还是异常? 在欺诈检测中有用, 罕见事件的分析,应用例子,关联规则挖掘 Web使用挖掘 空间数据挖掘,关联规则挖掘,动机: 寻找数据中固有的规律 什么产品会经常在一起购买? 啤酒和尿布?! 买了一台电脑之后接着会买什么? 哪种
12、DNA对新药是敏感的? 我们能够自动分类Web文档吗? 应用 购物篮分析, 交叉销售, 分类设计, 销售活动分析, Web 日志(点击流)分析, 以及DNA 序列分析.,关联规则挖掘,购物篮分析 商店的经理想了解顾客的购物习惯 “什么商品组或集合顾客多半会在一次购物时同时购买” 可以帮助制定营销策略: 有选择地安排货架 按比例进货,关联规则挖掘,项集 X = x1, , xk 找到所有的满足最小支持度和最小置信度的 X Y 规则 支持度, s, 一个包含X Y的事务的概率 置信度, c, 一个包含X也包含Y的事务的条件概率,设 supmin = 50%, confmin = 50% 关联规则:
13、 A D (60%, 100%) D A (60%, 75%),Web使用挖掘,Web使用挖掘的主要目标是从Web的访问记录中抽取感兴趣的模式。 WWW中的每个服务器都保留了访问日志,记录了用户访问和交互的信息。分析这些数据可以帮助理解用户的行为,从而改进站点的结构,或为用户提供个性化的服务。 Web使用挖掘在旅游电子商务网站中的应用 群集客户 提高旅游者的忠诚度,Web使用挖掘,Web使用挖掘,群集客户 例如: 经常性浏览探险刺激类旅游项目(如漂流,生态,探险等)的访客,可以将它们聚集为青年旅游市场,迎合这一细分市场的旅游需要,对这类访客提供新奇、动感、参与性强、刺激性强的旅游项目推荐; 经
14、常性浏览历史文化类旅游项目(如历史遗产参观,历史事件发生参观等)的访客,可以聚集为中老年旅游市场,为这类访客提供更多历史类、文化溯源等项目推荐。,Web使用挖掘,提高旅游者的忠诚度 通过分析访客的行为模式,帮助网站采取一些行动将这些访客变为现实旅游者,将一次性的顾客变为长期的忠实顾客,并信赖旅游网站。 例如:通过序列模式的发现,客户在一周以来经常浏览关于某旅游地方面的资料,可以预测他有去该地的想法。这时可以把有关该旅游地最近的旅游活动和广告发送到客户的邮箱,以满足他对旅游信息的需求。,商务智能,BI,BI实际上是帮助企业提高决策能力和运营能力的概念、方法、过程以及软件的集合 商业智能是通过收集
15、、存储、挖掘和分析数据,为决策者提供相应的决策依据。 BI通过独有的数据仓库、联机分析处理和数据挖掘等技术,帮助你从业务数据中提取有用的信息,然后根据这些信息来采取明智的行动,从而告别“拍脑袋”决策。,BI与ERP、CRM等的关系,尽管ERP理论上包括商务智能(BI)和客户关系管理(CRM),但实际上并不如此,甚至很多公司只是执行了ERP方案中的财务部分。 ERP是面向操作的软件,而BI是面向决策的软件,两者在功能上有着显著的区别 BI可以建立在ERP系统己收集原始数据的基础上,弥补ERP在分析、决策功能上的不足,但绝不是简单的ERP附属模块 而CRM的主要目的是从一个单一的、完整的,从企业角
16、度理解的谁是真正的消费者,他们对公司的感觉如何,他们喜欢公司什么,不喜欢公司什么,哪些东西盈利性好,能给“最优”的消费者提供较高的价值和服务。,当前,很多企业ERP上线前,在某些时候没有数据可以分析: 上了ERP之后,有时,面对海量数据,却又难以分析,企业老总的决策也不能得到确定 对于这些企业来说,仅仅实施了ERP的信息化系统仍然是不够的,它还需要商务智能系统。 商务智能就能够帮助经营和决策者发现企业本身的问题和不足,并且给他们提供一种后果的设想,帮助他们选择最佳的方案和渠道,来影响执行层面的行为。所以,ERP和BI是可以并驾齐驱的两个系统。,如:运输成本分析,通过运输成本分析可以清楚地了解
17、何种方式运到不同目的地的成本比较和差别,从而使决策者可以决定以何种运输方式运输不同的目的地,从而大大降低成本,提高企业的核心竞争力 可以了解到何种车型用何种运输方式比较经济,何种运距以何种运输方式经济等甚至发现有些目的地采用混合运输的方式更为经济,可能先采用铁路,再采用公路等方式,承运商运输成本分析 供应商运输成本分析 运输线路成本分析,其它分析,了解不及时调度的车辆有多少 不能及时调度的量集中在哪个厂家,哪个仓库等 订单处理是否及时,没有及时处理的订单有多少,集中在哪个操作部门,那个厂家等,基于个性化技术的物流信息系统,个性化技术概述,个性化服务:指针对不同用户的不同特点提供不同的服务策略和
18、服务内容的服务模式。 个性化服务具有主动性,可定制性,智能性等特点。 主动性:指根据用户提出的明确要求,或基于用户的学科、偏好等个人特征,主动向用户提供其可能需要的信息和服务。 可定制性:指用户可以定制自己的兴趣爱好,呈现布局等。 智能性:指个性化服务中使用了一些智能技术,如数据挖掘,聚类分析等,它能够根据用户的浏览习惯来更新用户的兴趣模型。,个性化技术简介,推荐系统是个性化技术中最普遍的应用之一,根据用户行为和用户偏好自动地过滤用户不感兴趣的东西、预测用户感兴趣的东西。 常用的推荐技术有三类(协同过滤),协同过滤技术,是目前应用最为广泛的推荐技术 利用相似的行为和特征来进行个性化推荐 协同过
19、滤技术基于历史用户数据找到与当前用户相似的用户群,并基于相似用户群的喜好向当前用户提供推荐,传统物流信息系统存在的问题,信息量大,查全不易 系统用户界面复杂 检索系统千篇一律,信息量大,查全不易,当前的物流信息系统中信息量越来越庞大且动态变化、形式多种多样 在这个海量仓库里有配送、运输、仓库、物流广告等内部或外部信息,这些信息严重超载 网络使得用户面临从信息不足逐渐过度到选择过多的问题上来。,系统用户界面复杂,如果一个物流信息系统要涵盖物流的各个方面,系统界面势必非常复杂 而对于用户来说,往往只关心物流的某些局部信息,复杂的操作界面或操作流程无疑是一种累赘 因此用户迫切希望有一个适合自己的操作
20、界面。,检索系统千篇一律,不同用户有着不同的兴趣爱好与信息需求,而且这种兴趣与需求在基本稳定的同时还可能不断漂移 然而当前的检索系统往往对所有的用户呈现同样的界面,用户所需求的信息往往混杂在大量无关信息中,使得用户找到期望的信息变得更加困难。,基于个性化技术的物流信息系统,把数据挖掘技术加入到系统中 使用数据挖掘技术不断更新用户的兴趣模型,使个性化推荐能够根据用户兴趣模型得到更准确的推送信息以解决传统检索系统千篇一律的问题。 把物流信息分为几类信息,采用推荐算法进行运算时能够更好地缩小范围,减少运算量,提高搜索速度及质量,解决传统系统中搜索信息过多的问题。,系统设计框架,框架主要分为三个部分
21、第一部分为信息收集部分:使用组件抓取XML文件信息,接着对XML解析得到具体信息最后把具体信息存入元数据库中。 第二部分为信息分析部分 信息显示部分:评分后的信息按照用户个性化设置的要求显示到用户的界面上来。,信息分析,数据库包括了用户兴趣模型信息、用户兴趣文档信息、用户基本信息、用户日志信息和物流交易信息、物流流通信息、物流基本信息这三种物流信息。 使用数据挖掘技术将元数据库中的信息进行聚类分析,把聚类后信息归属为不同的物流信息类中。 聚类分析技术是将具有相似爱好、兴趣的用户分配到相同的簇。,信息分析,当用户浏览物流信息时,首先把服务器中的用户访问记录存储到数据库中 然后对数据库中的日志信息
22、进行挖掘得到用户的兴趣文档信息 接着根据用户的兴趣文档更新用户的兴趣模型 最后依据用户兴趣模型采用个性化推荐技术对具体信息进行评分,评分的高低反应了用户对信息的喜好程度。,基于关联规则的数据挖掘在集装箱追踪系统中的应用,目标,通过对海量数据的采集、分析,挖掘出客户发货去向之间 发现发货种类与发货去向之间的关联关系 可缩短营销的时间,加快了市场营销的步伐,货物数据转换,1类货物为金属制品,如铁丝、钢丝、铁管、不锈钢器具、炉具和通信电缆等,用数字1表示; 2类货物为饮食品,如食糖、挂面、米粉、膨化食品,肉制品和乳制品等,用数字2表示; 3类货物为工业原料品,如煤、石油、金属矿石和水泥等,用数字3表
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 教授 讲座 第四 智能 物流 信息处理
链接地址:https://www.31doc.com/p-3159856.html