预备定义

数学期望

定义

E [ g x ) ] = { ∑ i g x i ) p x i ) , 离散场合 ∫ − ∞ ∞ g x ) p x ) d x , 连续场合 E[gx)]=\begin{cases}\sum\limits_igx_i)px_i),&\text{离散场合} \\ \\ \int_{-\infty}^\infty{gx)px)\mathrm{d}x},&\text{连续场合}\end{cases} E[gx)]=⎩⎪⎪⎨⎪⎪⎧​i∑​gxi​)pxi​),∫−∞∞​gx)px)dx,​离散场合连续场合​

性质

1. 常数期望为其自身；
2. $EaX+b)=aEX)+b$;
3. 多维随机变量亦满足线性性质；
4. 级数（积分）收敛，则期望存在；反之不存在，如Cauchy分布。

方差

定义

方差： D X ) = E [ X − E X ) ] 2 = E X 2 ) − [ E X ) ] 2 DX)=E[X-EX)]^2=EX^2)-[EX)]^2 DX)=E[X−EX)]2=EX2)−[EX)]2,

标准差： D X \sqrt{DX} DX
​,

标准化的随机变量： X − E X D X \frac{X-EX}{\sqrt{DX}} DX
​X−EX​.

性质

1. 常数方差为零；
2. D a X + b ) = a 2 D X ) DaX+b)=a^2DX) DaX+b)=a2DX)；
3. 极值性质：若$c\ne EX)$, 则 D X ) = E [ X − E X ) 2 ] = E X − c ) 2 − c − E X ) 2 < E X − c ) 2 ; DX)=E[X-EX)^2]=EX-c)^2-c-EX)^2<EX-c)^2; DX)=E[X−EX)2]=EX−c)2−c−EX)2<EX−c)2;
4. 切比雪夫不等式（描述随机变量的变化情况）： P { ∣ X − E X ∣ ⩾ ε } ⩽ D X ε 2 P\{|X-EX|\geqslant\varepsilon\}\leqslant\frac{DX}{\varepsilon^2} P{
   ∣X−EX∣⩾ε}⩽ε2DX​，或表示为 P { ∣ X − E X ∣ < ε } ⩾ 1 − D X ε 2 P\{|X-EX|<\varepsilon\}\geqslant1-\frac{DX}{\varepsilon^2} P{
   ∣X−EX∣<ε}⩾1−ε2DX​.

协方差&相关系数

协方差

• $\mathrm{c}\mathrm{o}\mathrm{v}X,Y)=E[X-EX)Y-EY)]=EXY)-EX\cdot EY$.

• $DX+Y)=DX)+DY)+2\mathrm{c}\mathrm{o}\mathrm{v}X,Y)$.

相关系数

• r i j = c o v X ,   Y ) D X ⋅ D Y r_{ij}=\frac{\mathrm{cov}X,\ Y)}{\sqrt{DX}\cdot \sqrt{DY}} rij​=DX
  ​⋅DY
  ​covX, Y)​,

• 显然，相关系数也是标准化的两随机变量 X − E X D X \frac{X-EX}{\sqrt{DX}} DX
  ​X−EX​和 Y − E Y D Y \frac{Y-EY}{\sqrt{DY}} DY
  ​Y−EY​的协方差；

• 定义常数与任何随机变量的相关系数为$0$.

性质

1. $|r|⩽1$;
2. $r=0$，不相关；
3. 以下四个条件等价：

• $\mathrm{c}\mathrm{o}\mathrm{v}X,Y)=0$;
• $X$与$Y$不相关；
• $EXY)=EX\cdot EY$;
• $DX+Y)=DX+DY$.

4. 若$X$与$Y$独立，则$X$与$Y$不相关，反之不成立；
5. 二元正态分布的不相关性与独立性等价。

离散分布期望、方差

分布名称	密度函数$px)$	数学期望$EX)$	方差$DX)$
退化分布单点分布)	p c = 1 p_c=1 pc​=1	$c$	$0$
伯努利分布两点分布)	p k = p k 1 − p ) 1 − k ,   k = 0 ,   1 p_k=p^{k}1-p)^{1-k},\ k=0,\ 1 pk​=pk1−p)1−k, k=0, 1	$p$	$p1-p)$
二项分布	b k ;   n ,   p ) = n k ) p k 1 − p ) n − k bk;\ n,\ p)=\binom{n}{k}p^k1-p)^{n-k} bk; n, p)=kn​)pk1−p)n−k	$np$	$np1-p)$
泊松分布	p k ;   λ ) = λ k k ! e − λ pk;\ \lambda)=\frac{\lambda^k}{k!}\mathrm{e}^{-\lambda} pk; λ)=k!λk​e−λ	$\lambda$	$\lambda$
几何分布	g k ;   p ) = 1 − p ) k − 1 p gk;\ p)=1-p)^{k-1}p gk; p)=1−p)k−1p	$1/p$	1 − p ) / p 2 1-p)/p^2 1−p)/p2
超几何分布	p k = M k ) N − M n − k ) N n ) p_k=\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}} pk​=nN​)kM​)n−kN−M​)​	n M N \frac{nM}{N} NnM​	n M N 1 − M N ) ⋅ N − n N − 1 \frac{nM}{N}\left1-\frac MN\right)\cdot \frac{N-n}{N-1} NnM​1−NM​)⋅N−1N−n​
帕斯卡分布	p k = k − 1 r − 1 ) p r 1 − p ) k − r ,   k = r , r + 1 , ⋯ p_k=\binom{k-1}{r-1}p^r1-p)^{k-r},\ k=r,r+1,\cdots pk​=r−1k−1​)pr1−p)k−r, k=r,r+1,⋯	r p \frac rp pr​	r 1 − p ) p 2 \frac{r1-p)}{p^2} p2r1−p)​
负二项分布	p k = − r k ) p r p − 1 ) k ,   k = 0 , 1 , 2 , ⋯ p_k=\binom{-r}{k}p^rp-1)^k,\ k=0,1,2,\cdots pk​=k−r​)prp−1)k, k=0,1,2,⋯	r 1 − p ) p \frac {r1-p)}p pr1−p)​	r 1 − p ) p 2 \frac{r1-p)}{p^2} p2r1−p)​

连续分布期望、方差

分布名称	密度函数$px)$	数学期望$EX)$	方差$DX)$
均匀分布	p x ) = { 1 b − a , a ⩽ x ⩽ b 0 , 其他 px)=\begin{cases}\dfrac1{b-a},&a\leqslant x \leqslant b\\0,&\text{其他}\end{cases} px)=⎩⎨⎧​b−a1​,0,​a⩽x⩽b其他​	a + b 2 \frac{a+b}2 2a+b​	b − a ) 2 12 \frac{b-a)^2}{12} 12b−a)2​
正态分布Gauss分布)	p x ) = 1 2 π σ 2 e − x − μ ) 2 2 σ 2 px)=\dfrac{1}{\sqrt{2\pi\sigma^2}}\mathrm{e}^{-\frac{x-\mu)^2}{2\sigma^2}} px)=2πσ2 ​1​e−2σ2x−μ)2​	$\mu$	σ 2 \sigma^2 σ2
指数分布	p x ) = { λ e − λ x , x ⩾ 0 0 , x < 0 px)=\begin{cases}\lambda\mathrm{e}^{-\lambda x},& x \geqslant 0\\0,&x<0\end{cases} px)={ λe−λx,0,​x⩾0x<0​	1 λ \frac1\lambda λ1​	1 λ 2 \frac1{\lambda^2} λ21​
伽玛分布$\Gamma$分布)	p x ) = { λ r Γ r ) x r − 1 e − λ x , x ⩾ 0 0 , x < 0 px)=\begin{cases}\dfrac{\lambda^r}{\Gamma{r)}}x^{r-1}\mathrm{e}^{-\lambda x},& x \geqslant 0\\0,&x<0\end{cases} px)=⎩⎨⎧​Γr)λr​xr−1e−λx,0,​x⩾0x<0​	r λ \frac r\lambda λr​	r λ 2 \frac{r}{\lambda^2} λ2r​
卡方分布 χ 2 \chi^2 χ2分布)	p x ) = { 1 2 n / 2 Γ n 2 ) x n 2 − 1 e − x 2 , x ⩾ 0 0 , x < 0 px)=\begin{cases}\dfrac{1}{2^{n/2}\Gamma{\frac n2)}}x^{\frac n2-1}\mathrm{e}^{-\frac x 2},& x \geqslant 0\\0,&x<0\end{cases} px)=⎩⎨⎧​2n/2Γ2n​)1​x2n​−1e−2x​,0,​x⩾0x<0​	$n$	$2n$
柯西分布	p x ) = 1 π ⋅ λ λ 2 + x − μ ) 2 px)=\dfrac1\pi\cdot\dfrac{\lambda}{\lambda^2+x-\mu)^2} px)=π1​⋅λ2+x−μ)2λ​	不存在	不存在
$t$分布	p x ) = Γ n + 1 2 ) n π Γ n 2 ) 1 + x 2 n ) − n + 1 2 px)=\dfrac{\Gamma\left\frac {n+1}2\right)}{\sqrt{n\pi}\Gamma\left\frac n2\right)}\left1+\dfrac{x^2}{n}\right)^{-\frac{n+1}{2}} px)=nπ ​Γ2n​)Γ2n+1​)​1+nx2​)−2n+1​	$0n>1)$	n n − 2   n > 2 ) \frac n{n-2}\ n>2) n−2n​ n>2)