第七章 参数估计

点估计

  • 问题情境：总体X的分布函数形式已知，部分参数未知，用一个样本来估计未知参数的值。（θ≈θ^\theta\approx\widehat\theta ）

  • 方法:

  1. 矩估计法： 几个未知参数列几个方程，以样本矩估计总体矩

{μ1=E(X)μ2=E(X2)...μn=E(Xn)\left\{\begin{array}{l}\mu_1=E(X)\\\mu_2=E(X^2)\\...\\\mu_n=E(X^n)\end{array}\right.

而 μk=Ak=1n∑i=1nXik\mu_k=A_k=\frac1n{\textstyle\sum_{i=1}^n}X_i^k

  1. 最大似然估计法： 以使似然函数L达到最大的参数值估计参数值
    似然函数 L(θ)=∏i=1nf(xi;θ)L(\theta)=\prod_{i=1}^nf(x_i;\theta)
    则使得方程 dL(θ)dθ=0\frac{dL(\theta)}{d\theta}=0 或 dln⁡L(θ)dθ=0\frac{d\ln L(\theta)}{d\theta}=0 成立的 θ^\widehat\theta 为 θ\theta 的估计值
    最大似然估计的不变性：若 u=u(θ)u=u(\theta) , 且反函数 θ=θ(u)\theta=\theta(u) 每个u对应一个 θ\theta ，则 u^=u(θ^)\widehat u=u(\widehat\theta)

估计量的评选标准

无偏性： 若 E(θ^)=θE(\widehat\theta)=\theta ，则称 θ^\widehat\theta 为 θ\theta 的无偏估计量
有效性： 若 D(θ1^)<D(θ2^)D(\widehat{\theta_1})<D(\widehat{\theta_2}) ，则称 θ1^\widehat{\theta_1} 比 θ2^\widehat{\theta_2} 有效

第六章 样本及抽样分布

样本方差：S=1n−1∑i=1n(Xi−X‾)2=1n−1∑i=1nXi2−X‾2S=\frac1{n-1}\sum_{i=1}^n{(X_i-\overline X)}^2=\frac1{n-1}\sum_{i=1}^nX_i^2-\overline X^2
样本k阶（原点）矩：Ak=1n∑i=1nXikA_k=\frac1n{\textstyle\sum_{i=1}^n}X_i^k
样本k阶中心矩：Bk=1n∑i=1n(Xi−X‾)kB_k=\frac1n{\textstyle\sum_{i=1}^n}{(X_i-\overline X)}^k

三种分布

χ2\chi^2 分布:

χ2=X12+X22+...+Xn2\chi^2=X_1^2+X_2^2+...+X_n^2

其中，X1,X2,...XnX_1,X_2,...X_n 是来自总体 N(0,1)N(0,1) 的样本,记作 χ2∼χ2(n)\chi^2\sim\chi^2(n)

  • 可加性：χ12+χ22∼χ2(n1+n2)\chi_1^2+\chi_2^2\sim\chi^2(n_1+n_2)
  • 期望和方差：E(χ2)=n,  D(χ2)=2nE(\chi^2)=n,\;D(\chi^2)=2n
  • 上 α\alpha 分位数：P{χ2>χα2(n)}=∫χα2(n)∞f(y)d⁡y=αP\{\chi^2>\chi_\alpha^2(n)\}=\int_{\chi_\alpha^2(n)}^\infty f(y)\operatorname dy=\alpha

t分布：

t=XYnt=\frac X{\sqrt{\displaystyle\frac Yn}}

其中，X∼N(0,1),  Y∼χ2(n)X\sim N(0,1),\;Y\sim\chi^2(n) , 记作 t∼t(n)t\sim t(n)

  • 上 α\alpha 分位数：P(t>tα(n))=∫tα(n)∞h(t)d⁡t=αP(t>t_\alpha(n))=\int_{t_\alpha(n)}^\infty h(t)\operatorname dt=\alpha
  • t1−α(n)=−tα(n)t_{1-\alpha}(n)=-t_\alpha(n)
  • n充分大时，图像类似于 N(0,1)N(0,1) , 故当 n>45n>45 时用正态近似 tα(n)≈zα  ,  z∼N(0,1)t_\alpha(n)\approx z_{\alpha\;},\;z\sim N(0,1)

F分布：

F=Un1Vn2F=\frac{\displaystyle\frac U{n_1}}{\displaystyle\frac V{n_2}}

其中，U∼χ2(n1),  V∼χ2(n2)U\sim\chi^2(n_1),\;V\sim\chi^2(n_2) , 记作 F∼F(n1,n2)F\sim F(n_1,n_2)

  • 上 FF 分位数：P{F>Fα(n1,n2)}=∫Fα(n1,n2)∞ψ(y)d⁡y=αP\{F>F_\alpha(n_1,n_2)\}=\int_{F_\alpha(n_1,n_2)}^\infty\psi(y)\operatorname dy=\alpha
  • F1−α(n1,n2)=1Fα(n1,n2)F_{1-\alpha}(n_1,n_2)=\frac1{F_\alpha(n_1,n_2)}

正态总体的样本均值与样本方差的分布

无论X满足什么分布，只要存在均值和方差，均有

E(X‾)=μ,  D(X‾)=σ2n,  E(S2)=σ2E(\overline X)=\mu,\;D(\overline X)=\frac{\sigma^2}n,\;E(S^2)=\sigma^2

若X满足正态分布 X∼N(μ,σ2)X\sim N(\mu,\sigma^2) 则

  • X‾∼N(μ,σ2n)\overline X\sim N(\mu,\frac{\sigma^2}n) , 即 X‾−μσn∼N(0,1)\frac{\overline X-\mu}{\displaystyle\frac\sigma{\sqrt n}}\sim N(0,1)
  • (n−1)S2σ2∼χ2(n−1)\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)
  • X‾−μSn∼t(n−1)\frac{\overline X-\mu}{\displaystyle\frac S{\sqrt n}}\sim t(n-1), S12S22σ12/σ22∼F(n1−1,n2−1)\frac{\displaystyle\frac{S_1^2}{S_2^2}}{\sigma_1^2/\sigma_2^2}\sim F(n_1-1,n_2-1)

第五章 大数定律及中心极限定理

大数定律

  • 弱大数定律(辛钦大数定律)：lim⁡n→∞P{∣1n∑k=1nXi−μ∣<ε}=1\lim_{n\rightarrow\infty}P\{\left|\frac1n{\textstyle\sum_{k=1}^n}X_i-\mu\right|<\varepsilon\}=1, 即 X‾→μP\overline X\overset P{\rightarrow\mu}
  • 伯努利大数定律：lim⁡n→∞P{∣fAn−p∣<ε}=1\lim_{n\rightarrow\infty}P\{\left|\frac{f_A}n-p\right|<\varepsilon\}=1 即 fAn→pP\frac{f_A}n\overset P{\rightarrow p}

中心极限定理

  • 独立同分布的中心极限定理：当随机变量 X1,X2...XnX_1,X_2...X_n 服从同一分布，且具有数学期望和方差，
    则当n充分大时有 X‾∼N(μ,σ2/n)\overline X\sim N(\mu,\sigma^2/n) , 即

X‾−μσ/n∼N(0,1)\frac{\overline X-\mu}{\sigma/\sqrt n}\sim N(0,1)

第四章 随机变量的数字特征

数学期望

  • 离散型：E(X)=∑k=1∞xkpkE(X)={\textstyle\sum_{k=1}^\infty}x_kp_k

  • 连续型：E(X)=∫−∞∞xf(x)d⁡xE(X)=\int_{-\infty}^\infty xf(x)\operatorname dx

  • 复合离散型：E(Y)=∑k=1∞g(xk)pkE(Y)={\textstyle\sum_{k=1}^\infty}g(x_k)p_k

  • 复合连续型：E(Y)=∫−∞∞g(x)f(x)d⁡xE(Y)=\int_{-\infty}^\infty g(x)f(x)\operatorname dx

  • 二元离散型：E[g(X,Y)]=∑j=1∞∑i=1∞g(xi,yj)pijE\lbrack g(X,Y)\rbrack={\textstyle\sum_{j=1}^\infty}{\textstyle\sum_{i=1}^\infty}g(x_i,y_j)p_{ij}

  • 二元连续型：E[g(X,Y)]=∫−∞∞∫−∞∞g(x,y)f(x,y)dxdyE\lbrack g(X,Y)\rbrack=\int_{-\infty}^\infty\int_{-\infty}^\infty g(x,y)f(x,y)dxdy

性质
(1) E(X+Y)=E(X)+E(Y)E(X+Y)=E(X)+E(Y)
(2) E(CX)=CE(X)E(CX)=CE(X)
(3) 若X，Y相互独立，则 E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)

方差

  • D(X)=E{[X−E(X)]2}D(X)=E\left\{\left[X-E(X)\right]^2\right\}
  • D(X)=E(X2)−[E(X)]2D(X)=E(X^2)-\left[E(X)\right]^2

性质
(1) D(CX)=C2D(X)D(CX)=C^2D(X)
(2) D(X+Y)=D(X)+D(Y)+2E{[X−E(X)][Y−E(Y)]}D(X+Y)=D(X)+D(Y)+2E\left\{\left[X-E(X)\right]\left[Y-E(Y)\right]\right\} , 当X，Y独立，有 D(X+Y)=D(X)+D(Y)D(X+Y)=D(X)+D(Y)

切比雪夫不等式：P{∣X−μ∣≥ε}≤σ2ε2P\left\{\left|X-\mu\right|\geq\varepsilon\right\}\leq\frac{\sigma^2}{\varepsilon^2} , 或 P{∣X−μ∣<ε}≥1−σ2ε2P\left\{\left|X-\mu\right|<\varepsilon\right\}\geq1-\frac{\sigma^2}{\varepsilon^2}

协方差及相关系数

协方差

Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}=E(XY)−E(X)E(Y)Cov\left(X,Y\right)=E\left\{\left[X-E\left(X\right)\right]\left[Y-E\left(Y\right)\right]\right\}=E\left(XY\right)-E\left(X\right)E\left(Y\right)

性质
(1) Cov(aX,bY)=abCov(X,Y)Cov\left(aX,bY\right)=abCov\left(X,Y\right)
(2) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)Cov\left(X_1+X_2,Y\right)=Cov\left(X_1,Y\right)+Cov\left(X_2,Y\right) （分配律）

相关系数

ρXY=Cov(X,Y)D(X)D(Y)\rho_{XY}=\frac{Cov\left(X,Y\right)}{\sqrt{D\left(X\right)}\sqrt{D\left(Y\right)}}

性质
(1) ρXY=0\rho_{XY}=0 称X,Y不相关
(2) 不相关是相互独立的充分不必要条件，但当X,Y服从二维正态分布时，X，Y不相关和相互独立是等价的

note:
(1) X∼B(n,p)X\sim B(n,p) 服从二项分布，P{X=k}=(nk)pk(1−p)n−kP\left\{X=k\right\}=\begin{pmatrix}n\\k\end{pmatrix}p^k{(1-p)}^{n-k} , 则 E(X)=np,D(x)=np(1−p)E(X)=np, D(x)=np(1-p)
(2) X∼π(λ)X\sim\pi(\lambda) 服从泊松分布，P{X=k}=λke−λk!P\left\{X=k\right\}=\frac{\lambda^ke^{-\lambda}}{k!} ,则 E(X)=D(X)=λ=npE(X)=D(X)=\lambda=np
(3) X∼U(a,b)X\sim U(a,b) 服从均匀分布， f(x)={1b−a,  a<x<b0,  elsef\left(x\right)=\left\{\begin{array}{l}\frac1{b-a},\;a<x<b\\0,\;else\end{array}\right. ，则 E(X)=a+b2,  D(X)=(b−a)212E(X)=\frac{a+b}2,\;D(X)=\frac{\left(b-a\right)^2}{12}
(4) X∼N(μ,σ2)X\sim N\left(\mu,\sigma^2\right) 服从正态分布， f(x)=12πσe−(x−μ)22σ2f(x)=\frac1{\sqrt{2\pi}\sigma}e^{-\frac{\left(x-\mu\right)^2}{2\sigma^2}} , 则 E(X)=μ,  D(X)=σ2E(X)=\mu,\;D(X)=\sigma^2
(5) X服从指数分布，f(x)={1θe−xθ,  x>00,  elsef\left(x\right)=\left\{\begin{array}{l}\frac1\theta e^{-\frac x\theta},\;x>0\\0,\;else\end{array}\right. , 则 E(X)=θ,  D(X)=θ2E(X)=\theta,\;D(X)=\theta^2

第三章 多维随机变量及其分布

二维随机变量

定义

F(x,y)=P{X≤x,Y≤y}F\left(x,y\right)=P\left\{X\leq x,Y\leq y\right\}

  • 离散型：F(x,y)=∑xi≤x∑yj≤ypijF\left(x,y\right)\underset{x_i\leq x}{=\sum}\sum_{y_j\leq y}p_{ij}
  • 连续型：F(x,y)=∫−∞y∫−∞xf(u,v)dudvF\left(x,y\right)=\int_{-\infty}^y\int_{-\infty}^xf\left(u,v\right)dudv

边缘分布

  • 离散型：

{P{X=xi}=∑j=1∞pijP{Y=yj}=∑i=1∞pij  ,  {FX(x)=∑i=1x∑j=1∞pijFY(y)=∑j=1y∑i=1∞pij\left\{\begin{array}{l}P\left\{X=x_i\right\}={\textstyle\sum_{j=1}^\infty}p_{ij}\\P\left\{Y=y_j\right\}={\textstyle\sum_{i=1}^\infty}p_{ij}\end{array}\right.\;,\;\left\{\begin{array}{l}F_X(x)=\sum_{i=1}^x\sum_{j=1}^\infty p_{ij}\\F_Y(y)=\sum_{j=1}^y\sum_{i=1}^\infty p_{ij}\end{array}\right.

  • 连续型：

{fX(x)=∫−∞∞f(x,y)d⁡yfY(y)=∫−∞∞f(x,y)d⁡x  ,  {FX(x)=∫−∞x[∫−∞∞f(x,y)d⁡y]dxFY(y)=∫−∞y[∫−∞∞f(x,y)d⁡x]dy\left\{\begin{array}{l}f_X(x)=\int_{-\infty}^\infty f\left(x,y\right)\operatorname dy\\f_Y(y)=\int_{-\infty}^\infty f\left(x,y\right)\operatorname dx\end{array}\right.\;,\;\left\{\begin{array}{l}F_X\left(x\right)=\int_{-\infty}^x\left[\int_{-\infty}^\infty f\left(x,y\right)\operatorname dy\right]dx\\F_Y\left(y\right)=\int_{-\infty}^y\left[\int_{-\infty}^\infty f\left(x,y\right)\operatorname dx\right]dy\end{array}\right.

  • note:
    二维正态分布的两个边缘分布都是一维正态分布

条件分布

  • 离散型：P{X=xi,Y=yj}=P{X=xi,Y=yj}P{Y=yj}P\left\{X=x_i,Y=y_j\right\}=\frac{P\left\{X=x_i,Y=y_j\right\}}{P\left\{Y=y_j\right\}}
  • 连续型：fX∣Y(x∣y)=f(x,y)fY(y)f_{X\left|Y\right.}\left(x\left|y\right.\right)=\frac{f(x,y)}{f_Y(y)}

相互独立的随机变量

  • 若 F(x,y)=FX(x)FY(y)F\left(x,y\right)=F_X(x)F_Y(y) 或 f(x,y)=fX(x)fY(y)f\left(x,y\right)=f_X(x)f_Y(y) ， 则称X，Y相互独立
  • note:
    对于二维正态随机变量X，Y，X和Y相互独立的充要条件是 ρ=0\rho=0

两个随机变量的函数的分布

fX+Y=∫−∞∞f(x,z−x)d⁡x=∫−∞∞f(z−y,y)d⁡yf_{X+Y}=\int_{-\infty}^\infty f\left(x,z-x\right)\operatorname dx=\int_{-\infty}^\infty f\left(z-y,y\right)\operatorname dy
fY/X(z)=∫−∞∞∣x∣f(x,xz)d⁡xf_{Y/X}(z)=\int_{-\infty}^\infty\left|x\right|f\left(x,xz\right)\operatorname dx
fXY(z)=∫−∞∞1∣x∣f(x,zx)d⁡xf_{XY}(z)=\int_{-\infty}^\infty\frac1{\left|x\right|}f\left(x,\frac zx\right)\operatorname dx
Fmax(z)=∏FXn(z)i=1nF_{max}(z)=\overset n{\underset{i=1}{\prod F_{X_n}(z)}}
Fmin(z)=1−∏i=1n[1−FXn(z)]F_{min}(z)=1-\prod_{i=1}^n\left[1-F_{X_n}(z)\right]

  • note:
    ∫−∞∞e−x2d⁡x=π\int_{-\infty}^\infty e^{-x^2}\operatorname dx=\sqrt\pi
    f(x,y(x,z))前的系数是令u=z(x,y)产生的

第二章 随机变量及其分布

随机变量的分布函数

  • 离散型：跳跃值 pk=P{X=xk}p_k=P\left\{X=x_k\right\}

连续型随机变量及其概率密度

  • F(x)=∫−∞xf(t)d⁡tF\left(x\right)=\int_{-\infty}^xf(t)\operatorname dt 若f(x)在x处连续，则 F′(x)=f(x)F'\left(x\right)=f\left(x\right)

随机变量的函数分布

若 Y=g(X)Y=g\left(X\right) , 则 Fy(y)=P{Y≤y}=P{X≤h(y)}=FX[h(y)]F_y(y)=P\left\{Y\leq y\right\}=P\left\{X\leq h\left(y\right)\right\}=F_X\left[h\left(y\right)\right] ， 进一步可得 fy(y)=fX[h(y)]h′(y)f_y(y)=f_X\left[h\left(y\right)\right]h'\left(y\right)

第一章 概率论的基本概念

  • A⋂B=∅A\bigcap B=\varnothing ，则A、B互斥
  • A⋂B=∅A\bigcap B=\varnothing 且 A⋃B=SA\bigcup B=S ， 则A、B互为对立事件
  • 结合律：A⋃(B⋃C)=(A⋃B)⋃CA\bigcup\left(B\bigcup C\right)=\left(A\bigcup B\right)\bigcup C
  • 分配律：A⋃(B⋂C)=(A⋃B)⋂(A⋃C)A\bigcup\left(B\bigcap C\right)=\left(A\bigcup B\right)\bigcap\left(A\bigcup C\right)
  • 德摩根律：符号颠倒，长线变短
  • 加法公式：P(A∪B)=P(A)+P(B)−P(AB)P\left(A\cup B\right)=P\left(A\right)+P\left(B\right)-P\left(AB\right) ， P(A∪B∪C)=P(A)+P(B)+P(C)−P(AB)−P(AC)−P(BC)+P(ABC)P\left(A\cup B\cup C\right)=P\left(A\right)+P\left(B\right)+P(C)-P\left(AB\right)-P\left(AC\right)-P\left(BC\right)+P\left(ABC\right)
  • 乘法定理：P(AB)=P(A∣B)P(B)P\left(AB\right)=P\left(A\vert B\right)P\left(B\right) , P(ABC)=P(C∣AB)P(B∣A)P(A)P\left(ABC\right)=P\left(C\vert AB\right)P\left(B\vert A\right)P\left(A\right)
  • 全概率公式：P(A)=∑i=1nP(A∣Bi)P(Bi)P\left(A\right)={\textstyle\sum_{i=1}^n}P\left(A\vert B_i\right)P\left(B_i\right)
  • 贝叶斯公式（由果索因）：P(Bi∣A)=P(ABi)P(A)=P(A∣Bi)P(Bi)P(A)P\left(B_i\vert A\right)=\frac{P\left(AB_i\right)}{P\left(A\right)}=\frac{P\left(A\vert B_i\right)P\left(B_i\right)}{P\left(A\right)}
  • 独立性：P(AB)=P(A)P(B)P\left(AB\right)=P\left(A\right)P\left(B\right)
完结撒花ovo！!