啃书文学网

手机浏览器扫描二维码访问

第441章 香农的信息熵（第2页）

P（1，1）=P（1）P（1）=（13）（13）=19

独立随机变量的概念当然可以推广到更多的随机变量上。如果有n个随机变量，它们的取值无非就对应了一个长度为n的序列。所有这样序列的集合就是这组随机变量的取值范围。如果这些随机变量是相互独立的，那么每个序列出现的概率无非就是把这个序列中每个数出现的概率乘在一起。比如，上面的老千连续掷了10次硬币，那么出现1101011110的概率就是：

（13）（13）（23）（13）（23）（13）（13）（13）（13）（23）=（13）^7*（23）^3.

哎，累死俺了，这个也要讲，学霸们可能要打瞌睡了。不好意思，俺怕讲得太快，有的同学要去看韩剧了。哎，致敬也是体力活啊！

大数定理的英文是，它的中文翻译通常是“大数定律”而不是大数定理。但俺却偏要叫它大数定理！

定律或是英文里的law都是指不需要证明但可以被验证的理论假设。比如牛顿的万有引力定律。从数学上说，不需要证明就被接受的假设被认为是公理。但是这个大数定理并非公理，它是被严格证明出来的（证明也不复杂，只要用马尔可夫不等式或切比晒夫不等式就行了），因此准确的数学语言应该叫它“定理”。管他叫“定律”会让人以为这个东东就是假设出来的公理，从而产生歧义，当年也不知道谁这么没涵养管它叫“law”。所以，不管你们服不服，俺都要管它叫大数定理。

大数定理大概说了这样一个意思。假设有某个随机实验会产生一个随机变量X。如果你重复做这个随机实验n次，你就会得到一个随机变量序列X1，X2，X3，…，Xn。这里假定这些随机变量相互独立（即这些随机实验互不影响）而且n是个很大的数（比如，一万，十万，百万），那么把这n个数加起来除以n（即取平均），得到的数（即（X1+X2+…+Xn）n）几乎总是很接近随机变量X的均值。同学们注意一下俺这里“几乎总是”和“很接近”的用词哈。虽然俺是个马虎的人，这里的遣词造句是极其考究，极负责任，极具情怀的。

咱们用老千掷硬币的例子先看看大数定理到底说了些啥子嘛。假设那个老千掷了n次硬币，那么他就得到了n个在{0，1}里取值的数。因为这n个数都是随机的，这n个数的均值当然也是个随机变量，就是说也有一个概率分布函数，有一定的不确定性。大数定理告诉俺们，当n很大的时候，这n个数的平均值“几乎总是很接近”13。“几乎总是”和“很接近”是可以在数学上严格定义的，不过当俺讲完它们的定义的时候，估保守，但俺码字已经快要吐血，正在后悔俺为什么要揽下这么个差事，所以就随便套了一下切比晒夫不等式得出下面这些“至少有”的结论）：

当n=1000时，至少有91.1%的概率这个平均值很接近13。

当n=10000时，至少有99.1%的概率这个平均值很接近13。

当n=100000时，至少有99.9%的概率这个平均值很接近13。

如果把“很接近13”理解为跟13相差不到0.02，那么：

当n=1000时，至少有44.4%的概率这个平均值很接近13。

当n=10000时，至少有94.4%的概率这个平均值很接近13。

当n=100000时，至少有99.4%的概率这个平均值很接近13。

当n=1000000时，至少有99.9%的概率这个平均值很接近13。

现在展开你想象的翅膀，你应该看到当n变成无穷大的时候，这个平均值就不再是“几乎总是很接近13”，而是“就是13”了！

至此同学们可能已经体会出俺极其考究、极负责任的“几乎总是很接近”了吧。这里的情怀还是让俺带你们领略一下吧。老千掷出的序列当然是随机的、不确定的、没有规律的。这个序列的平均数虽然也在13周围随机跳动，但却随着n的增大越发确定起来。当n很小、她就在你跟前的时候，变化多端、捉摸不定的她让你无法看清；当n增大的时候，她渐行渐远，但她在风中颤动的身影却在你记忆的相机里慢慢聚焦，越来越清晰；直到她消逝在无限的远方，她竟定格成一幅永恒而又无比真切的画面......

学霸们可能会觉得俺太矫情了：不就一个简单的大数定理吗，有必要这么忽悠吗？其实俺也觉得自己有些矫情。但看完本文之后，俺请你再回头体会一下大数定理的情怀。

“二十个问题”游戏的准确规则及特例

用概率论武装一下之后，同学们应该已经认识到，在“二十个问题”游戏中俺心里想的神秘数字其实就是一个随机变量X。我们可以假设它的取值范围S={1，2，…，M}和概率分布函数P（x）都已知。当然在实际情况下我们未必真知道P（x），但往往可以大致估计这个函数。如果对这个分布函数我们一无所知，我们不妨认为P（x）是个均匀分布。

对于任意一个给定的问问题策略，如果俺心里的神秘数字是x，我们把所需的问题个数记作L（x）。比如M=8，而我们用前面提到的那个从1问到7的策略问问题，我们就会得到：

L（1）=1，L（2）=2，L（3）=3，L（4）=4，

L（5）=5，L（6）=6，L（7）=7，L（8）=7。

（对，L（8）=7，俺没敲错。）

因为俺心里想的是个随机变量X，在这个策略下所需要的问题数目L（X）就也是个随机变量。这个随机变量L（X）也有一个分布，在知道P（x）的前提下，如果想算也是可以算出来的。但是俺懒得算它。

既然L（X）是个随机变量，一个最自然的方式定义这个策略所需要的问题个数就是用这个随机变量的均值，或者说用平均所需要的问题个数。如果你的数字直觉好，应该可以看到，即使不求L（X）的分布，这个随机变量的均值其实就是

L（1）*P（1）+L（2）*P（2）+…+L（M）*P（M）.

用L（X）的均值定义一个问问题策略所需要的问题个数除了“自然”，还有什么物理意义吗？当然！前面的大数定理告诉咱们，如果你用这个策略玩这个游戏很多次，你所用问题个数的平均值“几乎总是很接近”L（X）的均值。而当你玩了这个游戏无数次之后，你平均每次用的问题数就正好是这个L（X）的均值。

由此可见，如果俺们准备玩这个游戏很多次，那么用L（X）的均值定义所需要问题的个数，用金星老师的话说就是一个动作两个字：完美。

至此，俺们已经确定这个“二十个问题”游戏的准确规则，即：你要设计一种问问题的策略，当用这个策略跟俺玩很多次（更准确的说，无数次）这个游戏之后，平均每次用的问题个数要越少越好！换句话说，我们希望寻找一个最好的问问题策略，同时确定最少需要多少个问题（平均意义上）。

其实在一些特殊的情况下，确定最优的问问题策略和最少需要的问题个数并不困难。

考虑这样一个特例：俺心里的神秘数字X的取值范围是S={1，2，…，8}，而且X的概率分布函数是个均匀分布。那么最优的问问题方法就是所谓的“二分法”：每问一个问题要把这个神秘数字的可能范围缩减一半。比如这样的问法：

凤神临世  我的重返2008  限时婚约：前夫请签字  全能金手指  一品夫人：农家医女  女神临世素手倾天  恐怖复苏：开局激活酆都大帝模板  德赫瑞姆的领主  商界大佬想追我  陆鸣血脉重生  女领导的兵王司机  豪门绝宠之峥少溺爱狂妻  [主咒回]社恐的我无所不能  绝品保镖美总裁  楚扬苏芷洛小说  我的火影忍者果然有问题  爹地，大佬妈咪掉马了  暮色倾尽好晨光  贴身侍卫  荒坟夜啼