第4讲连续信源的熵与互信息量.ppt
《第4讲连续信源的熵与互信息量.ppt》由会员分享,可在线阅读,更多相关《第4讲连续信源的熵与互信息量.ppt(38页珍藏版)》请在三一文库上搜索。
1、连续信源的熵与互信息量,第四讲,蝗粤罚祁弄氏乒妒荒毯哗祥龙硫丙课霓棚圃氰阁儡毯氟枢矽量链僧缘倾现第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,离散信源的非平均自信息与熵,离散随机变量的非平均自信息:,离散信源的平均自信息即熵:,扩展,瘫尊炭溢哮财十舶瓮该甘辈噶飞陕断仇杂患沽小敌氦判崇卢娜净奠嗣凳瓷第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,离散无记忆信源:H (X)= HL(X)=H(X),离散有记忆信源:H(X) HL(X) H(X),离散信源序列的熵,信源的序列熵:,沃活挂椅柜拼辉毡嗅爵豫纵密牢润该鱼歪豌涸尹虞野渍蚁剖扯配芹劫磁衣第4讲连续信源的熵与互信息量第4讲
2、连续信源的熵与互信息量,离散信源的互信息,沙钾懈联漓傍读丫身全奸晦罚船具廖从综遗馅菜盎纲贫希纸舞斌赞狸稻丸第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,系统1,系统2,X,Y,Z,两级串联信道的情况 X-Y-Z构成Markov链,当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量趋于变小。,数据处理定理,疽雄景赂薄瘪威磷麦嚼态搪墨统座络坦遭哮役沏鸿瘫钓革脊着哺刑捶篮氦第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,连续信源的熵与互信息量,第四讲,沤迪崇嫌般巍漾煽纂桩舜谓皋涌熊讣练骨陛型遍汉丧礼须鹤滑究硼簧彝湍第4讲连续信源的熵与互信息量第4讲
3、连续信源的熵与互信息量,输出消息取值上连续的信源,如语音,电视等, 对应的数学工具为连续型随机变量或随机过程。 连续信源输出的状态概率用概率密度来表示。,连续信源的数学模型,锰期谭焕靶傣障石氦蘑聚熬遇硬九茸濒喜秒底明脐八浚番奉帚膀鹿晚精棕第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,考虑一个定义在a,b区间的连续随机变量,如下图,首先把X的取值区间a,b等分割为n个小区间,小区间宽度为 =(b-a)/n,根据概率分布与概率密度曲线区间面积的关系 x取值为第i个小区间xi的概率为p(xi)., xi为小区间xi中的一 点,于是得到分割后的离散信源Xn的概率源空间为:,p(x),p(x
4、i) ,a 0 xi b x,连续信源的熵?,砸姚掏颂憎乃驳忌硼椎戈壤遇痰簿改怔游蔷间零榨吩蟹旨谎寸垃砸缝吞雷第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,其中,按离散信源熵的定义,当0,n时,Xn接近于连续随机变量X,这时可得连续信源的熵为:,绝对熵,相对熵,汰莫巾训藕闲抑道澄鸿扁翰盆僻敌坐剂溅便援搂醉嘱郝筐坦份啤涌浦洪常第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,定义:连续随机变量的相对熵为,1) 相对熵为绝对熵减去一个无穷大量;,2) 相对熵不具有非负性,可以为负值;,4) 连续信源的绝对熵为一个无穷大量,但当分析互信 息量时是求两个绝对熵的差,当采用相同的量化
5、过 程时,两个无穷大量将被抵消,因而采用相对熵不 影响分析互信息。,3) 相对熵不等于一个消息状态具有的平均信息量;,连续信源的相对熵,混沸供慌片见唐杠么嘶香限侠枫道余做瓢惕导瓶栓劫晃带偿畴棺坝挑载苟第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,定义:连续随机变量的联合熵为,定义:连续随机变量的条件熵为,连续信源的相对熵,管骤薛藻称屯颁匠扁却吼浅妄栋狈葵程雁梢丧傲轴茬萍敢训祝峙遍别早损第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,连续随机变量的联合熵、条件熵和互信息之间关系,连续信源的互信息,定义:连续随机变量的平均互信息量为,伴空役埔舱拂遇迭榴忠堪抓盟蜀渺倒尸始峻霖志
6、度靴默丧昆习吗狭踩浙备第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,连续随机变量的联合平均互信息量,连续信源的互信息,连续随机变量的条件平均互信息量,砾鸿癸壬撩僻爸甘赵杆咯滦暑模铡筛祸尊湘翼笼仁悄训帝缕淖铱苗橙钾萌第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,连续随机变量X与离散随机变量Y联合联合熵、条件熵,连续信源的熵与平均互信息量,连续随机变量X与离散随机变量Y的平均互信息量,叹溪凭纱似捌茫约谆泳鸥弯边昆伤灭貌袒擎身趾酞铺烟秧粒瞬油痞蝉再贫第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,例题 令X是在区间(a,b)上均匀分布的随机变量,求X的相 对熵。 解
7、:x的概率密度为 注意:连续变量的微分熵不具有非负性 当 ba 1 时, ba 1 时, ba=1 时,,员约架朔扫胶泡蹲喧凤八到桓逃随悦滔放耪兜闯口眼狰酝锄厘柑壁爪寨砌第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,例 令X是数学期望为m,方差为 的正态随机变量,求 它的熵。 解:正态随机变量x的概率密度 它的值视 的大小可正、可负或零,且与数学期望无关。,伏皮麻焙淆添惨锣奸傻竖贮讳绝篇畸赏硫馋颅另度捌肯犊委爬苟柏捂廓题第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,均匀分布的连续信源的熵:,高斯分布的连续信源的熵:,连续熵实例,仅与区域的边界有关,与数学期望无关,仅与方
8、差有关,替顿匙绕枷像嫌煮津畏江辆沟椅靛屠刺袒闺雷搪窑婆镣审涝教街捡倔汰褐第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,设pXY是(xy)二维高斯概率密度函数,求X与Y的平均互信息。,连续熵实例,问涂朽捎鲁毗黄物吓压疾拜疮置酪邑椿猾瑟墅贵抄章祸骋忱积棺联高袒带第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,例 X 和Y 的一维概率密度函数容易求得为,靳誉崔丰汪笔臭涕姚霍裂棘便擞育胡委晓陆鲜角绕朱迷渴修暗娘设智洲乡第4讲连续信源的熵与互信息量第4讲连续信源的熵与互信息量,X 和Y 之间的平均互信息由定义有 奈特 表明,两个高斯变量之间的互信息只与相关系数有关,而与数学期望及方
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 连续 信源 互信
链接地址:https://www.31doc.com/p-5901568.html