信息熵与二进制--信息论系列x
信息熵与二进制-- 信息论系列 为什么信息技术中要用二进制处理数据,难道仅仅是由于晶体管易于实现二进制吗?其实很多人都知道,在晶体管出现前很长时间,电报就是用的二进制,其实即使那不是真正的二进制,因为电报的二进制没有定义运算,即便如此,人们还是倾向于用两个符号来对大量的字符进行编码,这个意义上说,二进制只不过是这种双符号的电报(.和_)定义了运算的高级形式而已,不考虑运算只考虑编码,电报的双符号和现在二进制编码十分相似,这时就要问了,人们为何不用更多的符号进行编码,而只用两个符号,这就是信息熵的问题了。
用两个符号进行编码使得识别更加容易,如果把每一个数据位的可能值作为一种状态,那么十进制数的每一位就有十种状态,而二进制数据的每一位只有两种状态,初看起来,十进制的数据记载的信息量更大,可是正式由于这种很大的信息量导致十进制的数据更加不易识别,不易识别就是说需要我们付出更大的努力才能识别,用热力学的术语说就是信息的熵过大,举个例子说明为何信息量大的数据更加不易识别,如果是二进制的数,如果有一位丢失了或者写得不清,那么我们有百分之五十的几率可以猜中,但是如果一个十进制的数据位丢失了,那么我们只有百分之十的几率猜中它,这就是实质。信息熵代表的是一种无序度,无序度越大,它承载的信息越多,我们想理解它就需要更多的努力,这该作何理解呢?我们面对一个未知的事物时,我们说它是无序的,混乱的,你对它完全未知它就是完全混乱完全无序,你对它部分未知,那么它就是部分混乱部分无序,你理解它的过程就是你得到信息的过程,就是你将该事物一个个无序的状态变成有序的过程,最终一切都成了有序的,那么你对该事物就完全理解了,因此你就得到了信息,因此信息量是相对于你对该信息的无知而言的,你对它越无知,那么它就越无序,它对你来讲信息量越大,引用一句话“熵,是物理名字,在信息论里则叫信息量。从控制论的角度来看,应叫不确定性。当我们不知道某事物具体状态,却知道它有几种可能性时,显然,可能性种类愈多,不确定性愈大。不确定性愈大的事物,我们最后确定了、知道了,这就是说我们从中得到了愈多的信息,也就是信息量大。”其实这也是和热力学有关系的,因为在你理解信息的时候,你的大脑要耗氧,这时产生的热量还是增加了热力学的熵,你理解的信息越多也就是信息量越大信息熵越大,那么你的大脑耗氧将越多,产生的热量将越多,其实信息熵只是热力学熵的一个抽象投影而已。我们知道,理解二进制信息时我们付出的努力没有理解十进制时的多(我们猜对的几率大),因此二进制就成了信息系统的首选,但是这只是选用二进制的原因之一,这里还要说明的是,以上仅仅是理解的一种方式,其实不要忘了,虽然十进制数据误码率高,但是它确实可以承载更多的信息,比如一个数字 9,用十进制一个位就可以,用二进制需要 4 个位,误码率乘以四不一定更低,幸运的是,信息论的主体不是人,而是机器,机器是善于按位运算的,而且,信息熵也是理解一位的信息熵,因此二进制在这个意义上是首选。况且二进制的数字更容易被分辨,分辨系统设计更加容易,只需要识别两种状态足矣,没有第三种状态来搅局。
信息量大即信息熵高难道不是好事吗?其实对于结果来说是好事,毕竟我们的世界现在已经严重依赖于信息,但是对于我们理解信息来说,我们需要付出的会更多,但是如果对于信息熵少的系统,想拥有同样的信息量的话,必然需要更多次的仲裁才可以,因此总体上二进制信息的熵值低并不是它被选中的理由,但是仅凭一次仲裁中,二进制信息更容易被识别,更不易出错,得到正确结果更容易这些原因,它就应该被选中,毕竟谁不是一步一步处理信息的呢?虽然处理信息的主体是机器,它也是一步一步处理信息的,单步的性能更加有意义,它直接关系到处理器的发热,因为,信息的获得将最终统一到热力学的热熵。
选用二进制的另一个原因就是,它确实占用了最少的状态,从而节省了硬件,因为机器要为每一个状态准备一个空间。如果我们将一个 R 进制数据的一个位上的所有的可能值设为一个状态,那么一个 n 位的 R 进制数一共需要 n*R 个状态,我们设 S=n*R,现在我们就要求 S 的最小值,我们这个计算中仅凭这些量根本不够,这个方程中,我们有 S 为值,而 n 和 R 为自变量,我们必须限定一个值,在这个值上比较谁的 S 更小,因为我们将二进制的 1000 和十进制的 10 比较是没有意义的,因此,我们再设一个值 M,这个值是 n 位 R 进制数所能表示的最大值,我们就在这个值上比较,在这个最小值求解的过程中,我们可以认为 M 是恒定的,由上述定义可以导出下面的等式:M=R^n(其中^为乘方),那么进一步就有 n=logRM,带入 S=n*R 就有 S=RlogRM,利用对数的换底公式有:S=RlnM/lnR,因此我们最终得到了一个基于自然对数 e 的方程,前面说过我们可以将 M 了看做常数,下面我们求 S 的极值,初看起来它并没有单调特征,那么我们可以通过导数来求极值,(R/lnR)"=lnR-1,从这个导数可以看出,当 Re 时,S">0,S 单调递增,因此当 R=e时,S 取得最小值,因此,理论上,e 进制数对于节省状态是最优的,但是理论终究不是实际,自然状态下无理数没有什么不好,但是在涉及工程学时,就更加青睐整数了,整数是离散的,适合处理,记住,不管用几进制数,计算机处理都是基于编码的,前面说过,编码都是离散的,某种意义上,计算机处理就是用离散的编码来用自己的方式重现连续的真实世界,计算机的最强大之处在处理而不是存储,因此它没有必要记住整个世界,但是它需要迅速的处理这个世界,离散的方式就是计算机的方式。在 e 的两边有 2 和 3,我们没有必要比较 2 和 3 下哪个 S 更小,这时结果已经很明了了,刚才是理论推算,它推算出了一个 e,现在该让工程学的方式给出一个具体的整数了,这时就要遵循一个原则,就是以理论为指导,就是最终的结果不要偏离 e 太远就可以,那么只有到了这时晶体管的意义才凸显,晶体管的特性最终采用了二进制。
- 范文大全
- 职场知识
- 精美散文
- 名著
- 讲坛
- 诗歌
- 礼仪知识
-
2024年全国两会精神大学生心得感想
2024年全国两会精神大学生心得感想 在这个充满希望的春天,2024年全国两会如期而至,即使远在异国他乡,当我看到代表委员们用心用情履
【心得体会】 日期:2024-03-12
-
世界十大登山鞋品牌 [户外登山鞋品牌排行]
登山鞋,是专门为爬山和旅行而设计制造的鞋子,非常适合户外运动,户外登山鞋的品牌有哪些?下面来看小编整理的户外登山鞋十大品牌排行吧。 户外登山鞋品牌排行1、Kol...
【述职报告】 日期:2019-05-19
-
2024年度纪律教育月活动方案6篇
2024年度纪律教育月活动方案6篇各级各部门要充分认识加强纪律教育、推进纪律建设的重要意义,高度重视、周密筹划、精心组织。在真抓实
【企划方案】 日期:2024-01-18
-
十八大以来我国网络安全和信息化辉煌成就
十八大以来我国网络安全和信息化的辉煌成就 党的十八大以来,以习近平同志为核心的党中央坚持从发展中国特
【申报材料】 日期:2020-11-25
-
雷锋日是什么时候几月几日_学雷锋日是几月几日
雷锋日是用来纪念雷锋同志的,也有很多人用这一天来学习雷锋助人为乐。雷锋日是什么时候呢?下面小编为大家推荐一些雷锋日的时间及相关知识,希望大家有用哦。 雷锋...
【入团申请书】 日期:2019-05-08
-
超星尔雅学习通《经济与社会如何用决策思维洞察生活》2021测试题附答案(204道题)
超星尔雅学习通《经济与社会如何用决策思维洞察生活》2021测试题附答案(204道题) 1、拉弗曲线的
【思想宣传】 日期:2021-05-12
-
2篇,学习对于构建现代化经济体系新发展格局心得体会
2篇学习关于构建现代化经济体系新发展格局的心得体会篇一: “建设现代化经济体系&rdqu
【慰问贺电】 日期:2020-12-08
-
2022年全国节约用水知识大赛题库(含答案)
22022年全国节约用水知识大赛题库(含答案) 单选题(总共153题) 1 习近平总书记站在可持续发
【工作计划】 日期:2021-07-23
-
2023 年全省“安全生产月”活动方案
2023 年全省安全生产月活动方案 组织开展安全生产大家谈班前会以案说法等学习交流体会活动。以下是蒲公英阅读网小编为大家收集的内容,希
【企划方案】 日期:2023-05-30
-
群英会蒋干中计教案_高一语文《群英会蒋干中计》教案设计
《群英会蒋干中计》节选自罗贯中《三国演义》第四十五回,下面是小编给大家带来的高一语文《群英会蒋干中计》教案设计,希望对你有帮助。 高一语文《群英会蒋干中计...
【开业开幕】 日期:2019-05-27
-
有机磷酸酯类中毒及其解救(实验报告范文)
有机磷酸酯类中毒及其解救XXX、XXX一、实验目的1 观察有机磷酸酯类农药敌百虫中毒时的症状。 2
【职场知识】 日期:2020-08-30
-
乙酸乙酯皂化反应速率常数测定实验报告
学号:201114120222 基础物理化学实验报告 实验名称: 乙酸乙酯皂化反应速率常数的测定 应
【职场知识】 日期:2020-09-29
-
学生守则和日常行为规范精选6篇
学生守则和日常行为规范精选6篇 学生守则和日常行为规范一 《小学生守则》、《中学生守则》已于xx年合并补充为《中小学生守则》
【职场知识】 日期:2022-09-17
-
“从青风公司审计案例看销售与收款循环审计”案例说明书
“从青风公司审计案例看销售与收款循环审计”案例说明书一、本案例要解决的关键问
【职场知识】 日期:2020-09-28
-
机械加工创业项目_加工小本创业项目
现在在加工创业项目办小本加工厂有哪些?有什么项目推荐,下面这些小本加工厂项目个个都适合一个人创业,来看看吧!以下是小编分享给大家的关于,一起来看看加工小本创业项目吧!...
【职场知识】 日期:2020-03-19
-
心理健康黑板报_心理健康黑板报图片
虽然工作上难免压力,但是只要正视压力,一切就不会太辛苦。下面就随小编看看心理健康黑板报内容,希望喜欢哦。 心理健康黑板报图片欣赏 心理健康黑板报图片1 心理健...
【职场知识】 日期:2020-02-26
-
医院护士践行社会主义核心价值观演讲稿两篇
医院护士践行社会主义核心价值观演讲稿两篇本文关键词:践行,演讲稿,两篇,护士,核心价值观医院护士践行
【职场知识】 日期:2021-05-03
-
致橡树(中英文)
3 【原诗】 【JohannaYueh修改版】 致橡树TotheOakTree 作者:舒婷ByShu
【职场知识】 日期:2020-11-17
-
执行信息公开网
执行信息公开网 执行信息公开网 执行信息公开网: zhi*ing (点击下图可直接进行访问) 全国
【职场知识】 日期:2020-07-03
-
《高等学校课程思政建设指导纲要》及全文内容解读
最新《高等学校课程思政建设指导纲要》及全文内容解读 一、 《纲要》 出台的背景和重要意义 二、 全面
【职场知识】 日期:2020-08-21
-
唐代诗人李昂个人信息
唐代诗人李昂个人信息 导读:我根据大家的需要整理了一份关于《唐代诗人李昂个人信息》的内容,具体内容:
【古典文学】 日期:2020-11-07
-
叠加原理实验报告
一、实验目的1、通过实验来验证线性电路中的叠加原理以及其适用范围。 2、学习直流仪器仪表的测试方法。
【古典文学】 日期:2020-11-12
-
[关于中秋的朗诵诗词] 关于爱国的朗诵诗词
中秋,热闹的街头树起了灯彩,舞起了火龙。你知道多少关于中秋的朗诵诗词?下面小编为你整理了几篇关于中秋的朗诵诗词,希望对你有帮助。 关于中秋的朗诵诗词一 中秋佳节...
【古典文学】 日期:2019-06-06
-
通信技术基础习题答案
通信技术基础习题答案本文关键词:习题,通信技术,答案,基础通信技术基础习题答案本文简介:第一章习题1
【古典文学】 日期:2021-03-10
-
材料物理导论课后答案(熊兆贤)第六章习题参考解答
材料物理导论课后答案(熊兆贤)第六章习题参考解答本文关键词:第六章,课后,导论,习题,解答材料物理导
【古典文学】 日期:2021-03-16
-
法律知识手抄报图片大全|法律知识手抄报
我国开展了全面的普法宣传工作,法制宣传教育、普及法律常识作为经常的重要任务。做法制教育手抄报,普及法律知识。下面是小编为大家带来的法律知识手抄报图片大全,希望大家...
【古典文学】 日期:2020-03-10
-
食品中脂肪测定(索氏提取法)实验报告
报告汇编Compilationofreports20XX 报告文档·借鉴学习word可
【古典文学】 日期:2020-10-18
-
公司中标喜报范文_公司中标的喜讯怎么写 项目中标喜报范文
中标是指投标人被招标人按照法定流程确定为招标项目合同签订对象,那么公司中标的喜报怎么写呢?下面小编给大家介绍关于公司中标喜报范文的相关资料,希望对您有所帮助。 公...
【古典文学】 日期:2020-02-27
-
高血压论文参考文献
高血压论文的参考文献 [1] 中国高血压防治指南2010 ? 《中华心血管病杂志》 被中信所《中国科
【古典文学】 日期:2020-06-04
-
创业思路 [20个创业思路]
在家创业好项目,想创业,不想出门,有没有什么好方法呢?要想兼顾全职的工作,又想挣点外快,我们来看看这些项目。以下是小编为大家整理的关于20个创业思路,给大家作为参考,...
【古典文学】 日期:2020-03-02
-
光纤通信实验报告2-光发射机消光比测试
告《光纤通信》实验报告2实验室名称:光纤通信实验室 ﻩﻩ :期日验实ﻩ2014年12月11日学 院信
【中国文学】 日期:2020-09-14
-
雪天安全行车注意事项_雪天安全行车提示语
维护城市交通秩序,争做河源文明市民。你们想看看雪天安全行车提示语有哪些吗?以下是小编推荐雪天安全行车提示语给大家,欢迎大家阅读! 安全行车温馨提示语【经典篇】 1...
【中国文学】 日期:2020-03-15
-
危险化学品信息表-柴油
危险化学品信息表-柴油本文关键词:柴油,危险化学品,信息危险化学品信息表-柴油本文简介:危险化学品信
【中国文学】 日期:2021-03-17
-
世界上国家间最大的陆地争议地区是什么:世界上有几个国家地区
古往今来,国土分界线就是兵家常争之地,大家又知不知道世界上国家间最大的陆地争议地区呢?现在就由小编为大家介绍这块世界上国家间的最大陆地争议地区吧! 世界上国家间的...
【中国文学】 日期:2020-02-28
-
小数乘法计算方法
小数乘法得计算方法理解小数乘法计算得法则,能够比较熟练得进行小数乘法笔算与简单得口算重点掌握小数乘法
【中国文学】 日期:2020-12-22
-
党员工作者个人现实表现材料范本十篇
党员工作者个人现实表现材料范本精选十篇 篇一 XXX,男,汉族,出生于XXXX年X月,党员,XX市X
【中国文学】 日期:2021-06-17
-
特种设备作业人员作业种类与项目目录
特种设备作业人员作业种类与项目目录 种类 作业项目 项目代号 备注 特种设备相关管理特种设备安全管理
【中国文学】 日期:2020-09-23
-
【欧式女装小店面装修图】 女装小店面装修
随着服装行业和照明产业的发展日趋成熟,服装店的照明设计越来越受到人们的广泛关注,即通过光环境设计对消费者产生引导性作用。下面小编就为大家解开欧式女装小店面装修图展...
【中国文学】 日期:2020-02-27
-
根据出生日期查五行命 根据出生日期计算五行
古人云:世间万物都有阴阳五行组成,包括人在内。如男为阳,女为阴。根据人的不同性格又对应不同的五行。根据出生日期计算五行怎么做?小编在此整理了出生日期计算五行的方法,...
【中国文学】 日期:2019-05-07
-
清明节踏青简笔画【清明节踏青图片】
清明节是二十四节气之一,是很适合出去踏青的节日,下面是小编为大家收集的清明节踏青图片相关资料,希望对大家有所帮助。 清明节踏青图片欣赏 清明节踏青图片1 清明...
【中国文学】 日期:2019-05-08
-
手机大尺度直播平台 [尺度最大的手机直播有哪些]
现在哪个手机直播平台尺度大?尺度大的手机直播App有哪些?小编为您介绍一下尺度最大的手机直播。 尺度最大的手机直播有哪些? 第一坊 第一坊视频平台是一款优质美女直...
【外国名著】 日期:2020-03-07
-
《怦然心动(2010)》电影完整中英文对照剧本
我最大的愿望就是朱莉·贝克能离我远点AllIeverwantedwasforJuliB
【外国名著】 日期:2020-07-27
-
国家开放大学电大公文文体写作试题及答案
公文文体的写作(二)单元测试题 1 决定属于A.上行文B.下行文C.平行文D.既可上行也可下行 2
【外国名著】 日期:2020-07-02
-
把脉人力资源管理的风向标 什么是风向标
把脉人力资源管理的风向标 外部经营环境的巨大变化,不可避免地给身处其中的企业及其经营管理带来新的、深刻的变化和挑战:市场需求在明显萎缩;而买方市场中,客户要求
【外国名著】 日期:2019-09-04
-
传感器测试实验报告
实验一 直流激励时霍尔传感器位移特性实验一、实验目得:了解霍尔式传感器原理与应用。 二、基本原理:金
【外国名著】 日期:2020-11-09
-
六年级下册《比例尺》单元测试题
一、填空题: 1、比例尺=( ):( ),比例尺实际上是一个( )。 2、一幅图的比例尺是。A、B两
【外国名著】 日期:2020-09-29
-
人教版高一语文必背 人教版高一语文《老王》赏析
杨绛的《老王》,可谓是平凡的人平常的事,平淡的语言平常的心,但读来总让人印象深刻,感触颇多,下面是小编给大家带来的人教版高一语文《老王》赏析,希望对你有帮助。 高一...
【外国名著】 日期:2020-03-10
-
“坚定理想信念、增强历史自觉、弘扬优良传统、加强党性锤炼、党员先锋模范作用发挥”方面存问题和不足剖析材料例文
“坚定理想信念、增强历史自觉、弘扬优良传统、加强党性锤炼、党员先锋模范作用发挥&rdqu
【外国名著】 日期:2021-08-14
-
山东省生产经营单位安全生产主体责任规定(303号令)
山东省生产经营单位安全生产主体责任规定(2013年2月2日山东省人民政府令第260号公布根据2016
【外国名著】 日期:2020-10-22
-
3.8妇女节_3.8妇女节手工制作图片精选
3 8妇女节送卡片表示感恩与祝福是在好不过了,小编整理了3 8妇女节手工制作感恩卡图片,希望大家喜欢! 3 8妇女节手工制作感恩卡图片展示 3 8妇女节手工制作感恩卡图...
【外国名著】 日期:2020-03-14
-
梧桐花的花语|梧桐花的功效与作用
梧桐花为梧桐科植物梧桐的花,植物形态详梧桐子条。今天小编为你整理了梧桐花的花语,欢迎阅读。 梧桐花的花语是:情窦初开 在春季里晚开的花朵,有着恬淡的气息。 ...
【寓言童话】 日期:2020-03-03
-
运动心理学
运动心理学名词解释: 1、运动表象:通常是指在人的头脑中重现出来的动作表象,它反映动作在一定的时间、
【寓言童话】 日期:2021-06-08
-
惊悚鬼故事50字 令人惊悚的故事
这些惊悚故事在短短的篇幅和时间之内让您感受到故事里传达出来的恐怖感,令你感到害怕。下面就是小编给大家整理的令人惊悚的故事,希望对你有用! 令人惊悚的故事篇1:学校...
【寓言童话】 日期:2019-05-13
-
廉洁自律自我剖析材料(精选)
廉洁自律自我剖析材料((精选多篇)) 信念。科学文化,提高自身素质的终身学习的意识,紧密联系群众,调
【寓言童话】 日期:2020-07-20
-
【名人失败的故事】 关于失败的名人故事
我们最大的弱点在于放弃。成功的必然之路就是不断的重来一次。涓滴之水终可以磨损大石,不是由于它力量强大,而是由于昼夜不舍的滴坠。下面是小编为您整理的名人失败的故事,...
【寓言童话】 日期:2019-05-19
-
康熙字典五行属金的字 [字典中八画五行属金的字信息大全]
在五行中不同属性的字寓意是不相同的,其实同样的属性不同的笔画的字寓意也是一样的,下面小编为你整理了八画五行属金字,希望对你有所帮助! 8画五行属金的字 忮、8画、...
【寓言童话】 日期:2020-03-12
-
非物质文化遗产保护工作实施方案
非物质文化遗产保护工作的实施方案 非物质文化遗产保护工作的实施方案 为认真实施“民族民间
【寓言童话】 日期:2021-06-16
-
不断增强人民群众获得感幸福感安全感心得体会
不断增强人民群众获得感幸福感安全感心得体会 当前,全球疫情和经贸形势不确定性很大,我国发展仍面临一些
【寓言童话】 日期:2020-07-22
-
老年人心理健康浅析论文:老年人的心理健康
老年人作为一个相对弱势且迅速扩大的群体,已经成为影响我国社会和谐健康发展的一个重要因素,其心理健康状况日益受到人们的重视。下面是小编给大家推荐的老年人心理健康浅析论...
【寓言童话】 日期:2020-02-25
-
【儿童动物的故事大全】 儿童动物故事100篇
对于听故事,几乎所有的儿童都有一个共同点就是百听不厌。一个故事重复数十遍,儿童听时同样要注意力集中,眼睛凝视着讲述者的动作,眼神聚精会神,表现出极大的兴趣。、下面是小编...
【寓言童话】 日期:2019-05-31
-
学生高考动员演讲稿
学生高考动员演讲稿3篇高考动员演讲稿11 老师们、同学们: 大家下午好!漫漫高考长征路已经进入尾声了
【百家讲坛】 日期:2021-09-22
-
企业安全演讲稿2021
最新企业安全的演讲稿5篇 演讲稿是作为在特定的情境中供口语表达使用的文稿。在充满活力,日益开放的今天
【百家讲坛】 日期:2021-09-22
-
XX镇扶贫项目实施专项整治工作总结_1
XX镇扶贫项目实施专项整治工作总结 为深入贯彻精准扶贫精准脱贫基本方略,认真落实党中央、国务院,省委
【百家讲坛】 日期:2021-09-22
-
对乡镇领导班子干部成员批评意见例文
对乡镇领导班子干部成员的批评看法范文 一、对党委书记XXX同志的批评看法〔3条〕 1、与干部交流偏少
【百家讲坛】 日期:2021-09-22
-
群英乡扶贫资金项目芬坡村祖埇村生产道路硬化工程绩效自评报告
群英乡扶贫资金项目((芬坡村祖埇村生产道路硬化工程))绩效自评报告 一、基本情况(一)群英乡扶贫资金
【百家讲坛】 日期:2021-09-22
-
党委书记警示教育大会上讲话2021汇编
党委书记在警示教育大会上的讲话55篇汇编 党委书记在警示教育大会上的讲话(一) 同志们: 根据省州委
【百家讲坛】 日期:2021-09-22
-
对于2021年召开巡视整改专题民主生活会对照检查材料
关于12021年召开巡视整改专题民主生活会对照检查材料 按照中央巡视组要求和省、市、区委统一部署,区
【百家讲坛】 日期:2021-08-14
-
消防安全知识培训试题.doc
消防安全知识培训试题姓名: 部门班组: 成绩: 一:填空题,每空4分,共44分。 1、灭火剂是通过隔
【百家讲坛】 日期:2021-08-14
-
涉疫重点人员“五包一”居家隔离医学观察工作流程
涉疫重点人员“五包一”居家隔离医学观察工作流程 目前,全球疫情仍处于大流行状
【百家讲坛】 日期:2021-08-14
-
疫情防控致全体师生员工及家长一封信
疫情防控致全体师生员工及家长的一封信 各位师生员工及全体家长朋友: 暑假已至,近期我省部分地方发现确
【百家讲坛】 日期:2021-08-14