本文目录
信息论基础（1）初识信息和离散信源
首先必须明确，什么是信息？ 如果从科学史角度，必然要从热力学第一第二定律讲起，直到麦克斯韦妖，再到信息论，兰道尔极限甚至于宇宙本质的相关概念。但这里仅仅从对信息的认识做一个基础的概述。 更多信息可以参考以下视频： 举例： 连上之前讲过的共有如下几个重要不等式：
关于香农公式带宽和信噪比
香农定理指出，如果信息源的信息速率R小于或者等于信道容量C，那么，在理论上存在一种方法可使信息源的输出能够以任意小的差错概率通过信道传输。该定理还指出：如果R》C，则没有任何办法传递这样的信息，或者说传递这样的二进制信息的差错率为1/2。可以严格地证明；在被高斯白噪声干扰的信道中，传送的最大信息速率C由下述公式确定：该式通常称为香农公式。C是数据速率的极限值，单位bit/s；W为信道带宽，单位Hz；S是信号功率（瓦），N是噪声功率（瓦）。香农公式中的S/N是为信号与噪声的功率之比，为无量纲单位。如：S/N=1000（即，信号功率是噪声功率的1000倍）但是，当讨论信噪比时，常以分贝（dB）为单位。公式如下：换算一下：公式表明，信道带宽限制了比特率的增加，信道容量还取决于系统信噪比以及编码技术种类。香农公式，通信工程学术语，是香农（Shannon）提出并严格证明的“在被高斯白噪声干扰的信道中，计算最大信息传送速率C公式”：C=B log2(1+S/N)。式中：B是信道带宽（赫兹），S是信道内所传信号的平均功率（瓦），N是信道内部的高斯噪声功率（瓦）。显然，信道容量与信道带宽成正比，同时还取决于系统信噪比以及编码技术种类。香农定理指出，如果信息源的信息速率R小于或者等于信道容量C，那么，在理论上存在一种方法可使信息源的输出能够以任意小的差错概率通过信道传输。该定理还指出：如果R》C，则没有任何办法传递这样的信息，或者说传递这样的二进制信息的差错率为1/2。
信息之父是
香农 克劳德·香农(Claude Elwood Shannon，1916-2001)1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。 香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。在“功成名就”后，香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。 2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。 1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。 1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基?9�鸫笱У馁さ悄?Howard Gardner)教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。” 1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《An Algebra for Theoretical Genetics》(理论遗传学的代数学)。这说明香农的科学兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。 在读学位的同时，他还用部分时间跟温尼法·布什(Vannevar Bush)教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential analyzer》(微分分析器的数学理论)，他写道：“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。还给出了一些注意事项，给出求函数的近似值(不能产生精确值)、求调整率的近似值以及自动控制速率的方法。” 1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。 人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。他的同事D. Slepian写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。他总是关起门来工作。但是，如果你要找他，他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才，在我认识的人中，我只对他一人使用这个词。” 香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪(Percy A. MacMahon，1854-1929)1892年在Electrician上发表的论文理论。1948年则创立了信息论(information theory)。 在漫长的岁月，他思考过许多问题。除在普林斯顿高等研究院工作过一年外，主要都在MIT和Bell Lab度过。需要说明的是，在二次世界大战时，香农博士也是一位著名的密码破译者(这使笔者想到比他大4岁的图灵博士)。他在Bell Lab的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》(保密系统的通信理论)，正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。 1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。 熵的概念 香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。信息熵也有类似意义，例如在中文信息处理时，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。信息熵大，意味着不确定性也大。因此我们应该深入研究，以寻求中文信息处理的深层突破。不能盲目认为汉字是世界上最优美的文字，从而引申出汉字最容易处理的错误结论。 众所周知，质量、能量和信息量是三个非常重要的量。 人们很早就知道用秤或者天平计量物质的质量大?H欢��颐枪赜谌取⑷剂稀⒐τ肽艿募屏课侍猓�僦?9世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。 然而，关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。 1928年哈特利(R.V. H. Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到DN个不同的词。从这些词里取了特定的一个就对应一个信息量I。哈特利建议用N log D这个量表示信息量，即I=N log D 。这里的log表示以10为底的对数。后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。 但是就信息传输给出基本数学模型的核心人物还是香农。1948年香农长达数十页的论文“通信的数学理论”成了信息论正式诞生的里程碑。在他的通信数学模型中，清楚地提出信息的度量问题，他把哈特利的公式扩大到概率pi不同的情况，得到了著名的计算信息熵H的公式： H=∑-pi log pi 如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特(bit)为单位。今天在电脑和通信中广泛使用的字节(Byte)、KB、MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信息量。香农的信息论为明确什么是信息量概念作出决定性的贡献。 事实上，香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，现在又用在无线通信上。我们今天能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。 克劳德·香农在公众中并不特别知名，但他是使我们的世界能进行立即通信的少数科学家和思想家之一。他是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员。他获得过许多荣誉和奖励。例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。他接受的荣誉学位不胜枚举，不再赘述。 今天，我们怀念香农，要熟悉他的两大贡献：一是信息理论、信息熵的概念；另一是符号逻辑和开关理论。我们更应该学习他好奇心强、重视实践、追求完美、永不满足的科学精神，这是他获得成功的重要经验。
数学家申农
申农是现代通讯理论--信息论的创始人、影响人类社会进程的科学家 2001年2月24日，享年85岁的信息量创始人（美国） C.E.Shannon 申农（香农）辞世（1916-2001）。有的文章称他为伟大的科学家。回顾20世纪的信息革命风暴，想想这个革命的理论基础就是新创立的信息论，把信息论的创始人称为伟大的科学家并不为过。确实，他对人类贡献远远超过了一般的诺贝尔获奖者。 历史证明质量、能量和信息量是三个非常重要的物理量。而如何度量信息的数量问题是在信息论中解决的。热功当量和能量守恒定律 人们很找早就知道用“秤”或者“天平”计量物质质量的多少。然而，我们关于热、燃料、能力、活力等等的计量的问题迟至19世纪中叶，随着热功当量的明确和能量守恒定律的明确才清楚起来。“能量”一词就是它们的总称，而计量能量问题也通过“卡、焦耳”等新单位的出现而得到解决。 我们关于图画、文字、数字、声音的知识有几千年了。但是它们的总称是什么？如何统一地计量它们的数量的问题迟至19世纪末还没有正确地提出来，更谈不上如何去解决了。20世纪中期，随着电报、照片，无线电、电话、雷达、电视等等的出现和发展，如何计量讯号中的信息的多少的问题被隐约地提上日程。1928年哈特利（R.V.H.Harley）考虑到从D个彼此不同的符号中取出N个符号并且组成一个“字”（词）的问题。如果各个符号出现的概率相同，如果选取的随机的，就可以得到DN个不同的字。从这些字里取了特定的一个就对应着带来了一个信息量I。哈特利建议用用N LOGD这个数量表示这个信息量，即I=N LOGD 。这里的LOG表示以10为底的对数。维纳又研究了度量信息的问题 到了1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向了热力学第二定律。但是就讯号（信息）传输给出基本数学模型的核心人物是年仅32岁的申农（C.E.Shannon）。1948年申农的“通讯的数学理论”（The mathematical Theory of communication)，长达数十页的论文，成了信息论正式诞生的里程碑。在他的通讯数学模型中，信息的度量的问题被清楚第地提了出来，他把哈特利的公式扩大到概率不同的情况，得到了著名的计算信息熵的公式： H=∑-pilogpi 如果计算中的对数（LOG）是以2为底的，那么计算出来的信息熵就以比特（Bit）为单位。今天在电脑和通信中广泛使用的的字节（Byte）、波特、KB、GB等等名词都是从比特（有的含时间）演化而来。“比特”的出现标志着人类知道了如何计量信息量了。申农的信息论为明确什么是信息量概念做了决定性的贡献。 于是在20世纪中叶，人类终于对三个非常重要的概念：质量、能量、信息量都有了定量的计量办法了。 为阐明质量概念做出突出贡献的是发现物质的力学定律的牛顿。 为阐明能量概念做出突出贡献的是热力学第一定律的发现者们（迈耳 J.R.Mayer、焦耳 T.P.Joule、赫尔姆霍兹 H.Helmholtz、开尔文 Lord Kelvin）。信息概念 为阐明信息概念做出突出贡献的应当是申农（C.E.Shannon）。 控制论创始人维纳说“信息不是物质”，哲学家说信息与物质的关系是大问题。这些观点妨碍信息论进入物理、化学、生物、社会等这些物质科学领地。某些唯物论者曾经为信息论扣上了“唯心论、伪科学”的帽子。信息论在科学版图和哲学版图中究竟如何定位在今天并没有很好地解决。 20世纪中期随着原子弹（核能）的出现，物理学成为最荣耀的科学学科。在随后的50年里晶体管、人造卫星、集成电路、电脑的飞跃发展无不与物理学知识的应用有关。 但是我们也惊奇第发现这些新技术都是为提高信息的处理能力服务。光荣的物理学忙了半个世纪，终于发现自己仅是给信息科学当仆人。这是物理学的喜剧还是悲剧？
对计算机发展贡献的人
1、冯·诺依曼（John Von Neumann , 1903-1957）：美籍匈牙利裔科学家、数学家,被誉为“电子计算机之父”.1945年,冯·诺依曼首先提出了“存储程序”的概念和二进制原理,后来,人们把利用这种概念和原理设计的电子计算机系统统称为“冯.诺曼型结构”计算机.冯.诺曼结构的处理器使用同一个存储器,经由同一个总线传输.冯·诺依曼的主要贡献就是提出并实现了“存储程序”的概念.由于指令和数据都是二进制码,指令和操作数的地址又密切相关,因此,当初选择这种结构是自然的.但是,这种指令和数据共享同一总线的结构,使得信息流的传输成为限制计算机性能的瓶颈,影响了数据处理速度的提高.
2、阿兰·麦席森·图灵（Alan Mathison Turing,1912.6.23—1954.6.7）,英国数学家、逻辑学家,他被视为计算机之父.1936年,图灵向伦敦权威的数学杂志投了一篇论文,题为“论数字计算在决断难题中的应用”.在这篇开创性的论文中,图灵给“可计算性”下了一个严格的数学定义,并提出著名的“图灵机”(Turing Machine)的设想.“图灵机”不是一种具体的机器,而是一种思想模型,可制造一种十分简单但运算能力极强的计算装置,用来计算所有能想象得到的可计算函数.“图灵机”与“冯·诺伊曼机”齐名,被永远载入计算机的发展史中.1950年10月,图灵又发表了另一篇题为“机器能思考吗”的论文,成为划时代之作.也正是这篇文章,为图灵赢得了“人工智能之父”的桂冠.
3、克劳德·香农(Claude Elwood Shannon,1916-2001)1916年4月30日诞生于美国密西根州的Petoskey.科学家,现代信息论的著名创始人,信息论及数字通信时代的奠基人.1948年香农长达数十页的论文“通信的数学理论”成了信息论正式诞生的里程碑.在他的通信数学模型中,清楚地提出信息的度量问题,他把哈特利的公式扩大到概率pi不同的情况,得到了著名的计算信息熵H的公式：H=∑-pi log pi.如果计算中的对数log是以2为底的,那么计算出来的信息熵就以比特(bit)为单位.今天在计算机和通信中广泛使用的字节(Byte)、KB、MB、GB等词都是从比特演化而来.“比特”的出现标志着人类知道了如何计量信息量.香农的信息论为明确什么是信息量概念作出决定性的贡献.
4、赫伯特•亚历山大•西蒙(1916年6月15日--2001年2月9日 Herbert Alexander Simon )：美国科学家,他是20世纪科学界的一位奇特的通才,在众多的领域深刻地影响着我们这个世代.他学识渊博、兴趣广泛,研究工作涉及经济学、政治学、管理学、社会学、心理学、运筹学、计算机科学、认知科学、人工智能等广大领域,并做出了创造性贡献,在国际上获得了诸多特殊荣誉.1956年夏天 数十名来自数学、心理学、神经学、计算机科学与电气工程等各种领域的学者聚集在位于美国新罕布什尔州汉诺威市的达特茅斯学院,讨论如何用计算机模拟人的智能,并根据麦卡锡的建议,正式把这一学科领域命名为“人工智能”.西蒙参加了这个具有历史意义的会议,而且他们带到会议上去的“逻辑理论家”是当时唯一可以工作的人工智能软件,引起了与会代表的极大兴趣与关注.因此,西蒙、纽厄尔以及达特茅斯会议的发起人麦卡锡和明斯基被公认为是人工智能的奠基人,被称为“人工智能之父”.1957年 西蒙与别人合作开发了IPL语言(1nformation Processing Language).在AI的历史上,这是最早的一种AI程序设计语言,其基本元素是符号,并首次引进表处理方法.1966年 西蒙、纽厄尔和贝洛尔(Baylor)合作,开发了最早的下棋程序之一MATER. 1970年 在研究自然语言理解的过程中,西蒙发展与完善了语义网络的概念和方法,把它作为知识表示(knowledge representation)的一种通用手段,并取得很大成功.1972年7月 作为美国计算机科学家代表团成员之一第一次到中国访问.之后又9次来华访问.1975年 他和艾伦•纽厄尔因为在人工智能、人类心里识别和列表处理等方面进行的基础研究,荣获计算机科学最高奖——图灵奖.1976年 西蒙和纽厄尔给“物理符号系统” 下了定义,提出了“物理符号系统假说”PSSH(Physical Symbol System Hypothesis),成为人工智能中影响最大的符号主义学派的创始人和代表人物,而这一学说则鼓励着人们对人工智能进行伟大的探索.这也是两人在人工智能中做出的最基本的贡献.1976—1983年间 西蒙和兰利(Pat W.Langley)、布拉茨霍夫(Gary L.Bradshaw)合作,设计了有6个版本的BACON系统发现程序,重新发现了一系列著名的物理、化学定律更多追问追答 追答
证明了西蒙曾多次强调的论点即科学发现只是一种特殊类型的问题求解,因此也可以用计算机程序实现.
5、巨型机之父”西蒙·克雷.谁最早提出了超级计算机的概念?至今存在很大的争议.有人说是最早开发集成电路的肖克利在自己的工作日记中透露了超级计算机的构思,也有人说是当时为军方服务的LawrenceLivermore国家实验室的想法.但从真正意义上来说,研发出符合超级计算机定义产品的人应该是西蒙·克雷(S. Cray)博士,此人后来被西方称为“巨型机之父”.西蒙·克雷1925年9月出生在美国威斯康星州的一个工程师世家.克雷先后在工程研究学会和雷明顿·兰德公司从事计算机研究.在那里,他设计出他的第一台计算机ERA1101.1963年8月,克雷终于从“密林”深处复出,把一台被他亲切称作“简单的蠢东西” —— CDC6600超级计算机公布于世.CDC6600是真正意义上的超级计算机,共安装了35万个晶体管,运算速度为1Mflops.至1969年,克雷研制的CDC6600以及改进型CDC7600巨型机共售出150余台.（美国能源部劳伦斯·伯克利国家实验室对超级计算机的定义是由八个或更多的计算节点组成、作为单个高性能机器工作的集群.通俗点讲,超级计算机就是能够进行大规模、超速运算的计算机.
追问格雷丝。
霍波也算是把，她是计算机软件之母
追答嗯
算
可能没有这些人贡献大
