大数定律，有很多种形式，但其本质都离不开依概率收敛这个定义，下面一一介绍。
伯努利大数定律顾名思义，它和伯努利试验可能有关，一般描述如下：
设 是 重伯努利试验中事件 发生的次数， 是每次试验中事件 发生的概率，则对任意的 0' data-formula-type='inline-equation'>，有：
这是一个需要证明的定理，它非常类似于依概率收敛的定义。
相当于这里是需要证明随机变量序列 依概率收敛于常数 。虽然前面说到过，从试验角度看，它是一个事实，但这里仍然需要证明，这种形式(一个随机变量与一个常数的偏差概率的上界)，很类似于切比雪夫不等式，因此使用切比雪夫不等式证明，先求期望和方差：
随机变量序列 是 重伯努利试验的中感兴趣的事件发生的次数，它正是二项分布的定义，所以有 ，才会有上面期望方差的推导，于是：
\varepsilon) \le \dfrac{p(1-p)}{n\varepsilon^2} ' data-formula-type='block-equation'>这是由切比雪夫不等式得到的，然后取极限，，可以知道：
\varepsilon)所以有
概率的最大值都是 ，所以这里的上面的定理成立。
伯努利大数定律说明了，一个服从二项分布的随机变量 ，所产生的频率序列 ，随着 的增加，和“概率 的偏差绝对值大于预先给定的精度 ”，这件事发生的可能性越来越小。
严格地不能说，序列 收敛于概率 。但不太专业地说，频率序列 随着试验次数 的增加，会越来越接近于概率 ， 这是没问题的。
伯努利大数定律，提供了使用频率确定概率的理论依据。当试验次数 足够大时，可以将频率作为概率的估计值，试验次数越多，频率越稳定地趋于概率。
伯努利大数定律，描述了二项分布 的频率序列 依概率收敛事件发生的概率 。
其实，它可以看成是一系列 个相互独立的，服从两点分布的随机变量， 的平均值 ，即频率序列：
依概率收敛于 ，也即是频率序列的均值：
于是伯努利大数定律，可以表述为下面的形式，设 是一列服从两点分布 的相互独立的随机变量，则必然有：
一般地，将，满足上面的表达式的随机变量序列 ，称为 服从大数定律。
也就是说，伯努利大数定律是大数定律的一个特例，它给定了限制条件 是服从两点分布的，下面就讨论，在什么样的条件下，随机变量序列 满足大数定律。
切比雪夫大数定律设随机变量 两两不相关，且每个随机变量 方差存在，都有共同的上界，，于是 服从大数定律，即 0' data-formula-type='inline-equation'>，都有：
同样是使用切比雪夫不等式证明，对随机变量 ，有：
\varepsilon)\&这里使用了相互独立的性质，方差得以拆开，后面就是取极限的事情了。
切比雪夫大数定律，比伯努利大数定律放宽了条件，只要求随机变量序列两两不相关，且方差存在上限即可。实际上，只需要满足条件：
这个条件也被称为，马尔可夫条件，只要这个条件成立了，那么随机变量序列，就服从大数定律，这样子的大数定律称为马尔可夫大数定律。
它比切比雪夫大数定律的条件还要宽松，不需要满足随机变量 之间两两相互独立的条件，但是它们有一个共同点，都是假设方差存在。
下面的辛钦大数定律去掉了这个假设，同时加上了一个很强的假设条件——独立同分布且期望存在。
辛钦大数定律设 是独立同分布的随机变量序列，若 的数学期望存在，则 服从大数定律，满足这种条件的大数定律称为辛钦大数定律。
下面给出证明过程：
现在不能使用切比雪夫不等式证明了，因为方差不一定存在。
为了证明上面的式子成立，不妨设 ，而 是一个常数，不妨设为 。
于是需要证明的是随机变量序列 依概率收敛到常数 ，这个的充要条件是 依分布收敛到 。
也就是说， 的分布函数序列收敛于 的分布函数(退化分布)，也就是说， 的特征函数收敛到 的特征函数 ，这就是证明的思路，下面给出推导过程：
设 的特征函数为 ，则相互独立的，随机变量之和的分布的特征函数为为 ，于是它们的均值 的特征函数为 ，下面求极限：
这里使用了 ， 以及 这个两个事实，所以上面的极限刚好是退化分布 的特征函数，这就证明了辛钦大数定律。
需要注意的是，其中的洛必达求导是对 求导，所以不能遗漏了 。
辛钦大数定律告诉我们，只要一个随机变量序列 是独立同分布的，那么随机变量序列 就会依概率收敛到它的均值 。
这就为后面使用样本均值作为总体均值的一个估计提供了理论依据，不仅如此，若 的 阶距离 存在，则 也服从大数定律。
也就是说，可以使用样本 阶距 作为 的一个估计值。因为 独立同分布，则 也是独立同分布的，使用辛钦大数定律即可得到相关结论。
定积分计算的两种数值模拟思想设 ，求 在 上的定积分：
类似这种定积分的数值计算，思想大致有两种。
第一种是随机撒点法，也叫随机投点法，另一种思想是平均值法，这种思想的不同也导致了算法的不同，而对应的两种算法，在计算机上都可称为蒙特卡洛随机模拟。
想法很简单，只需要意识到，定积分的几何意义即可，它的几何意义是由直线 (积分上下限) 和曲线 以及 (X轴)围成的面积的代数和。
这里就假设 ，函数值在积分区间内。大于零，是为了将代数和去掉，几何意义直接是面积。而小于 ，是为了方便在区间 上随机模拟。
那么现在如何求解它的面积呢？一般的思路是在区域
上随机撒点，当随机点的 坐标，小于等于 时，作为有效计数 ，并累加，那么最后的计数结果和撒点的次数 的比值，就是定积分的随机模拟估计值。
当撒点的个数足够多时，小于等于 的点构成了密密麻麻的“面积”，这就是定积分的几何含义的体现，比值为真正的定积分。
这就是蒙特卡洛随机模拟的方法应用，它的思想就是“撒点”，利用计算机，进行高效快速的模拟，计数，计算比值，这也叫做随机投点法。
现在的问题是，上面这种想法如何使用概率的语言描述。找到了这种描述，就为这种方法的正确实现提供了依据。
当然有，在区域 中随机撒点，在概率中表示为两个随机变量 在区域 上服从均匀分布，而上面的定积分又可以通过二重积分表示如下：，它在概率中又表示什么呢？
它表示概率 ，而这个概率正是曲线下方的点个数的计数值与整个撒点个数的比值。
这就联系起来了，依据也有了。下面就使用计算机软件，作统计计算。
取值为 之间的函数 ，不妨就求标准正态分布的概率密度在 上的定积分(它满足函数值在区间 的条件)，该定积分就是 。若不查表，此处的 是无法得知的，要求解的定积分表达式如下：
这种积分形式，解析解是无法直接计算的，只能借助于计算机求解数值解，下面使用stata软件中的数值模拟方法便是求数值解的一个途径，具体结果见表8.1。
图片
首先，给出， 的较为精确结果为。你会发现，随着模拟次数的增加，数值解的精确度越来越高，即撒点的个数越多，计算的结果越精确的。
上面的要求的函数必须满足：，要是不满足呢？
很多函数的取值并不是限制在 ，这很好办，先将它作最大值——最小值变换，将函数值映射在 区间上，后面对数值解的结果作逆变换，换回来计算精确结果即可。
上面的假设条件中还需要，满足积分区间为：，有些积分区间不是它呢？还是需要作变换，具体如下：
假设 ，且积分区间为 ，则要求的是 ，那么先将积分区间变成 ，令 ，于是有：
又可以，作变换 使得 ，所以相应地恒等变换，应用到上面的积分中有：
这就是要求解的定积分，而计算机能随机模拟的部分就是：。
还是上面那个积分，使用另一种想法来求解——平均值法，设 ，那么随机变量 ，的期望为：
这说明要求解的积分正是， 的期望。
那么现在的问题是如何求解它的期望呢？
使用样本均值估计总体均值(期望)的思想。只需要抽取一个容量较大的样本，计算它的样本均值，，作为总体均值的估计量。
这是另一种思想，对于计算机来说，就是另一种算法了，也是蒙特卡罗模拟思想下的一种算法。
还是上面的正态分布例子，下面就以这种样本均值作为总体均值估计量思想，来作数值估计，得到的结果见表8.2。
图片
两种算法的对比，可以发现，在这种大样本下，以样本均值估计总体均值这种思想，精度略高于随机撒点的方式。
中心极限定理中心极限定理讨论的是随机变量序列 的和标准化之后的分布，会收敛于什么分布？答案是会收敛于标准正态分布。
但是是有条件的，下面就重点讨论这些条件下的收敛分布。
设 是一列相互独立同分布的随机变量，且期望 和方差 存在，记随机变量序列
依分布收敛于某个标准正态分布的随机变量，即对任意的实数 ，有：
这称为独立同分布下的中心极限定理(林德伯格-莱维中心极限定理)，也可以记为 ，此处的符号是渐近分布的含义。
这是一个依分布收敛的例子，和大数定律不同。一般不考虑 序列，是因为它的均值和期望可能不存在，但是标准化后的期望和方差一定存在。
这里要说明的是期望和方差不存在，是当 的条件下，可能不会存在，尽管 的方差和期望是存在的。当然要是存在，也可以通过标准化变换的逆过程，得到 序列 的极限分布。
下面给出证明过程，虽然，定理表达的是它依分布收敛到某一个服从标准正态分布的随机变量而不是一个常数，所以它不能使用依概率收敛的方式来证明。
我们需要证明随机变量序列 依分布收敛到 也就是说，随机变量序列 的特征函数序列 收敛于标准正态分布的特征函数 ，当 。
为了方便运算，假设随机变量 的特征函数为 ，那么有：
那么下面的证明过程，和证明辛钦大数定律的过程是类似的。
中心极限定理，作用非常大，应用非常广，联系上分布的可加性，有下面的一些常用结论：
，特别地，当 时，有：，其中的 。
也就是说， 表示 重伯努利试验中某个感兴趣的事件发生的次数， 是每次试验中它发生的概率。这也被称为二项分布的正态近似。
很明显 ，它标准化后的随机变量，近似服从标准正态分布，当 充分大时。这种二项分布的特殊情况下的中心极限定理，又称为棣莫弗——拉普拉斯中心极限定理(De Movivre-Laplace)。
因为，二项分布是离散型分布，为了提高二项分布的正态近似精度，考虑对公式进行修正：
左右各移动 个单位。
，则：其实这里的 就是自由度为 的卡方分布(伽马分布的可加性)。
仿照二项分布的正态近似的说法，这个性质也可称为卡方分布的随机变量标准化后具有正态近似性。卡方分布 当 充分大时， 标准化后的随机变量，近似服从标准正态分布。
，则：特别地，当 时，这里的 服从参数为 的泊松分布(泊松分布的可加性)。
以上也可称为泊松分布的正态近似，泊松分布的随机变量 当 充分大时， 标准化后的随机变量，近似服从标准正态分布。
下面的定理说明了，在独立但是不同分布的情况下，随机变量序列 的前 项之和的标准化后的随机变量序列依分布收敛到某个标准正态分布的随机变量。
设 为相互独立的随机变量序列，若存在 0' data-formula-type='inline-equation'>，使得：
其中的 ，则对任意的实数 ，有：
下面以图形来表达上面几个结论。
图片
从图8.1可以看到，二项分布列随着 的增加，图形的对称性应该是越来越好的(这里没有，是因为参数 本身二项分布就是对称的)。
而且图形越来越接近正态分布的形状，标准化后的随机变量是服从标准正态分布了，那么未标准化的随机变量也是近似服从正态分布的，下面的图形中同理。
图片
从图8.2可知，泊松分布是右偏的，随着参数 的增加，图形的右偏性逐渐减小，趋于对称分布了。
而且越来越和正态分布接近了，且正态分布的均值也随着 的增加而增加。
图片
从图8.3中可见，作为连续型分布的卡方分布，随着自由度 的增加，分布形状由右偏逐渐趋于对称，逐渐接近某个正态分布的概率密度，峰值也逐渐减小。
本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。广东股票配资网,网上配资官网,股票配资服务提示：文章来自网络，不代表本站观点。
