离散概率

文章目录

离散概率离散概率引论概率论贝叶斯定理期望值和方差

离散概率引论

试验：从一组可能的结果中得出一个结果的过程样本空间：可能结果的集合事件：样本空间的子集事件E是结果具有相等可能性的有限样本空间S的子集，则事件E的概率是

p(E)=∣E∣∣S∣p(E)=\frac{|E|}{|S|} p(E)=∣S∣∣E∣​

设E是样本空间S的一个事件，事件E‾=S−E\overline E=S-EE=S−E（事件E的补事件）的概率是

p(E‾)=1−p(E)p(\overline E)=1-p(E) p(E)=1−p(E)

设E1E_1E1​和E2E_2E2​是样本空间的事件，那么

p(E1⋃E2)=p(E1)+p(E2)−P(E1⋂E2)p(E_1\bigcup E_2)=p(E_1)+p(E_2)-P(E_1\bigcap E_2) p(E1​⋃E2​)=p(E1​)+p(E2​)−P(E1​⋂E2​)

概率论

假设S是n个元素的集合，均匀分布赋给S中的每个元素的概率是1/n事件E的概率是在E中结果的概率之和，即

p(E)=∑x∈Ep(s)p(E)=\sum_{x\in E}p(s) p(E)=x∈E∑​p(s)

如果E1,E2,...E_1,E_2,...E1​,E2​,...是样本空间S中两两不相交事件的序列，那么

KaTeX parse error: Got function '\bigcup' with no arguments as superscript at position 10: p\left(^\̲b̲i̲g̲c̲u̲p̲ ̲_i E_i\right)=\…

条件概率：设E和F是具有p(F)>0的事件，给定F的条件下E的条件概率记做p(E|F)，定义为

p(E∣F)=p(E⋂F)p(F)p(E|F)=\frac{p(E\bigcap F)}{p(F)} p(E∣F)=p(F)p(E⋂F)​

事件E和F是独立的，当且仅当p(E⋂F)=p(E)p(F)p(E\bigcap F)=p(E)p(F)p(E⋂F)=p(E)p(F)

伯努利试验：每次执行一项具有两种可能结果的试验叫做一次伯努利试验，结果是相互独立的

在n次独立的伯努利试验中有k次成功的概率在成功概率为p、失败概率为q=1-p的n次独立的伯努利试验中，有k次成功的概率是

C(n,k)pkqn−kC(n,k)p^kq^{n-k} C(n,k)pkqn−k

二项分布：将成功概率为p、失败概率为q=1-p的n次独立的伯努利试验中，有k次成功的概率记做b(k;n,p)b(k;n,p)b(k;n,p)作为k的函数，这个函数称为二项分布

b(k;n,p)=C(n,k)pkqn−kb(k;n,p)=C(n,k)p^kq^{n-k} b(k;n,p)=C(n,k)pkqn−k

一个随机变量是从试验的样本空间到实数集的函数，即一个随机变量对每个可能的结果指派一个实数值概率方法：如果随机地从一个集合S选取一个元素，此元素不具有一个特定性质的概率小于1，那么S中存在具有这条性质的元素

贝叶斯定理

贝叶斯定理：假设E和F是取自样本空间S的两个事件，且p(E)≠0，p(F)≠0，则

p(F∣E)=p(E∣F)p(F)p(E∣F)p(F)+p(E∣F‾)p(F‾)p(F|E)=\frac{p(E|F)p(F)}{p(E|F)p(F)+p(E|\overline F)p(\overline F)} p(F∣E)=p(E∣F)p(F)+p(E∣F)p(F)p(E∣F)p(F)​

扩展的贝叶斯定理：假设E是取自样本空间S的事件，F1,F2,...,FnF_1,F_2,...,F_nF1​,F2​,...,Fn​是互斥事件，且⋃i=1nFi=S\bigcup_{i=1}^{n}F_i=S⋃i=1n​Fi​=S，假定p(E)≠0，p(F)≠0（1,2,…，n），则

p(Fi∣E)=p(E∣Fi)p(Fi)∑i=1np(E∣Fi)p(Fi)p(F_i|E)=\frac{p(E|F_i)p(F_i)}{\sum_{i=1}^np(E|F_i)p(F_i)} p(Fi​∣E)=∑i=1n​p(E∣Fi​)p(Fi​)p(E∣Fi​)p(Fi​)​

期望值和方差

期望值：一个随机变量的期望值是对样本空间中所有元素它的概率与它对应的随机变量值乘积求和随机变量X(s)在样本空间S的期望值等于

E(X)=∑x∈Sp(s)X(s)E(X)=\sum_{x\in S}p(s)X(s) E(X)=x∈S∑​p(s)X(s)

如果X是随机变量，p(X=r)是X=r的概率，即p(X=r)=∑x∈S,X(s)=rp(X=r)=\sum_{x\in S,X(s)=r}p(X=r)=∑x∈S,X(s)=r​p(s)，则

E(X)=∑r∈X(s)p(X=r)rE(X)=\sum_{r\in X(s)}p(X=r)r E(X)=r∈X(s)∑​p(X=r)r

当执行n次伯努利试验时，预期成功的次数是np，这里p是每次试验成功的概率如果Xi(i=1,2,...,n)X_i(i=1,2,...,n)Xi​(i=1,2,...,n)是S上的随机变量，n是正整数，并且如果a和b是实数，那么 E(X1+X2+...+Xn)=E(X1)+E(X2)+...+E(Xn)E(X_1+X_2+...+X_n)=E(X_1)+E(X_2)+...+E(X_n)E(X1​+X2​+...+Xn​)=E(X1​)+E(X2​)+...+E(Xn​)E(aX+b)=aE(X)+bE(aX+b)=aE(X)+bE(aX+b)=aE(X)+b 如果对k=1，2，3，…，p(X=k)=(1−p)k−1pp(X=k)=(1-p)^{k-1}pp(X=k)=(1−p)k−1p，那么随机变量X具有带参数p的几何分布如果随机变量X具有带参数p的几何分布，那么E(X)=1/pE(X)=1/pE(X)=1/p随机变量X和Y在样本空间 S上是独立的，如果

p(X=r1且Y=r2)=p(X=r1)⋅p(Y=r2)p(X=r_1且Y=r_2)=p(X=r_1)·p(Y=r_2) p(X=r1​且Y=r2​)=p(X=r1​)⋅p(Y=r2​)

如果X和Y是样本空间S上的独立的随机变量，那么

E(XY)=E(X)E(Y)E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)

方差：设X是样本空间S上的随机变量，X的方差记为V(X)，且

V(X)=∑x∈S(X(s)−E(X))2p(s)V(X)=\sum_{x\in S}(X(s)-E(X))^2p(s) V(X)=x∈S∑​(X(s)−E(X))2p(s)

​ 即V(X)是X偏差平方的一个加权平均

如果X是一个样本空间S的随机变量，E(X)=μE(X)=\muE(X)=μ，则

V(X)=E((X−μ)2)V(X)=E((X-\mu)^2) V(X)=E((X−μ)2)

比安内梅公式：如果X和Y是样本空间S上两个独立的随机变量，那么

V(X+Y)=V(X)+V(Y)V(X+Y)=V(X)+V(Y) V(X+Y)=V(X)+V(Y)

切比雪夫不等式：设X是在样本空间S上的概率函数为p的随机变量，如果r是一个正实数，那么

p(∣X(s)−E(X)∣≥r)≤V(X)/r2p(|X(s)-E(X)|≥r)≤V(X)/r^2 p(∣X(s)−E(X)∣≥r)≤V(X)/r2

Y是样本空间S上两个独立的随机变量，那么

V(X+Y)=V(X)+V(Y)V(X+Y)=V(X)+V(Y) V(X+Y)=V(X)+V(Y)

切比雪夫不等式：设X是在样本空间S上的概率函数为p的随机变量，如果r是一个正实数，那么

p(∣X(s)−E(X)∣≥r)≤V(X)/r2p(|X(s)-E(X)|≥r)≤V(X)/r^2 p(∣X(s)−E(X)∣≥r)≤V(X)/r2