方差的计算公式线性回归
举例生活中的异方差性？
举例生活中的异方差性？
异方差性（heteroscedasticity ）是相对于同方差而言的。所谓同方差，是为了保证回归参数估计量具有良好的统计性质，经典线性回归模型的一个重要假定：总体回归函数中的随机误差项满足同方差性，即它们都有相同的方差。
如果这一假定不满足，即：随机误差项具有不同的方差，则称线性回归模型存在异方差性。
若线性回归模型存在异方差性，则用传统的最小二乘法估计模型，得到的参数估计量不是有效估计量，甚至也不是渐近有效的估计量；此时也无法对模型参数的进行有关显著性检验。
一元线性回归估计标准差计算公式？
公式：各变量值与其平均数的差的平方和然后再求平均数，是方差，方差开平方就是标准差
ols估计方差表达式？
OLS估计量性质
高斯-马尔可夫定理：在线性模型的经典假设下，参数的最小二乘估计量是线性无偏估计量中方差最小的估计量（BLUE估计量）
1、线性特性
参数估计量β ^ pmb{hat{eta}}
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
既是因变量观测值Y YY的线性组合，也是随机误差项ε pmb{varepsilon}
ε
ε
ε的线性组合
β ^ ( X τ X ) ? 1 X τ Y ( X τ X ) ? 1 X τ ( X β ε ) ( X τ X ) ? 1 X τ X β ( X τ X ) ? 1 X τ ε β ( X τ X ) ? 1 X τ ε
β^β^(XτX)?1XτY(XτX)?1Xτ(Xββ εε)(XτX)?1XτXββ (XτX)?1Xτεεββ (XτX)?1Xτεε
β^β^(XτX)?1XτY(XτX)?1Xτ(Xββ εε)(XτX)?1XτXββ (XτX)?1Xτεεββ (XτX)?1Xτεε
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
?t
(X
τ
X)
?1
X
τ
Y
(X
τ
X)
?1
X
τ
(X
β
?t
β
?t
?t
β
ε
ε
ε)
(X
τ
X)
?1
X
τ
X
β
?t
β
?t
?t
β (X
τ
X)
?1
X
τ
ε
ε
ε
β
?t
β
?t
?t
β (X
τ
X)
?1
X
τ
ε
ε
ε
?t
这里推导未使用任何假定，令A ( X τ X ) ? 1 X τ A(X^{tau}X)^{-1}X^{tau}A(X
τ
X)
?1
X
τ
，则β ^ A Y β A ε pmb{hateta} AYpmb{eta} Apmb{varepsilon}
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
AY
β
?t
β
?t
?t
β A
ε
ε
ε
其中，矩阵A AA由k kk行n nn列元素构成，k kk指解释变量个数包括截距项，n nn是指观测值个数
对于某个参数β ^ k hateta_k
β
^
?t
k
?t
是矩阵A AA的k kk行元素构成的行向量与因变量观测值Y YY的向量积
线性特性是确定参数估计量的分布性质和进行统计推断的重要基础
2、无偏性
参数估计量β ^ pmb{hat{eta}}
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
的期望等于总体参数
E ( β ^ ) E ( β A ε ) E ( β ) A E ( ε ) β
E(β^β^)E(ββ Aεε)E(ββ) AE(εε)ββ
E(β^β^)E(ββ Aεε)E(ββ) AE(εε)ββ
E(
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
)
?t
E(
β
?t
β
?t
?t
β A
ε
ε
ε)
E(
β
?t
β
?t
?t
β) AE(
ε
ε
ε)
β
?t
β
?t
?t
β
?t
这里用到了线性特性、假定1、假定3
3、方差最小性
OLS估计量的有效性，也称为“最小方差性”，即在模型参数的所有线性无偏估计量中OLS估计的方差最小
先求OLS估计量的协方差矩阵
V a r ( β ^ ) E [ ( β ^ ? E ( β ^ ) ) ( β ^ ? E ( β ^ ) ) τ ] E [ ( β ^ ? β ) ( β ^ ? β ) τ ] E [ ( A ε ) ( A ε ) τ ] E [ A ε ε τ A τ ] A E ( ε ε τ ) A τ A σ 2 I n A τ σ 2 A A τ σ 2 ( X τ X ) ? 1 X τ X ( X τ X ) ? 1 σ 2 ( X τ X ) ? 1
Var(β^β^)E[(β^β^?E(β^β^))(β^β^?E(β^β^))τ]E[(β^β^?ββ)(β^β^?ββ)τ]E[(Aεε)(Aεε)τ]E[AεεεετAτ]AE(εεεετ)AτAσ2IInAτσ2AAτσ2(XτX)?1XτX(XτX)?1σ2(XτX)?1
Var(β^β^)E[(β^β^?E(β^β^))(β^β^?E(β^β^))τ]E[(β^β^?ββ)(β^β^?ββ)τ]E[(Aεε)(Aεε)τ]E[AεεεετAτ]AE(εεεετ)AτAσ2IInAτσ2AAτσ2(XτX)?1XτX(XτX)?1σ2(XτX)?1
Var(
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
)
?t
E[(
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
?E(
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
))(
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
?E(
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
))
τ
]
E[(
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
?
β
?t
β
?t
?t
β)(
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
?
β
?t
β
?t
?t
β)
τ
]
E[(A
ε
ε
ε)(A
ε
ε
ε)
τ
]
E[A
ε
ε
ε
ε
ε
ε
τ
A
τ
]
AE(
ε
ε
ε
ε
ε
ε
τ
)A
τ
Aσ
2
I
I
I
n
?t
A
τ
σ
2
AA
τ
σ
2
(X
τ
X)
?1
X
τ
X(X
τ
X)
?1
σ
2
(X
τ
X)
?1
?t
这里因为( X τ X ) ? 1 (X^{tau}X)^{-1}(X
τ
X)
?1
是对称矩阵，所以它的转置还是它本身，所以A τ X ( X τ X ) ? 1 A^{tau}X(X^{tau}X)^{-1}A
τ
X(X
τ
X)
?1
这里用到无偏性、线性特性、假定3、假定2
接下来就要证明上述OLS估计量的协方差矩阵是所有线性无偏估计量的协方差矩阵中是最小的（省略）
参数的OLS估计量β ^ pmb{hat{eta}}
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
的分布形式
我们在证明OLS估计量具有最佳线性无偏估计量性质的过程中仅使用了假定1、假定2、假定3，未使用到假定4和假定5，并且在证明过程中，我们也知道了OLS估计量的均值和方差，如果我们进一步知道OLS估计量分布形式，就可以进行统计推断了
根据假定5，可以推导出参数的OLS估计量β ^ pmb{hat{eta}}
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
也是服从正态分布的
根据线性特性β ^ A Y β A ε pmb{hateta} AYpmb{eta} Apmb{varepsilon}
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
AY
β
?t
β
?t
?t
β A
ε
ε
ε，说明参数的OLS估计量β ^ pmb{hat{eta}}
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
是随机误差项ε pmb{varepsilon}
ε
ε
ε的线性组合，而根据假定5随机误差项ε pmb{varepsilon}
ε
ε
ε服从正态分布，所以参数的OLS估计量β ^ pmb{hat{eta}}
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
也服从正态分布
因为E ( β ^ ) β E(pmb{hateta})pmb{eta}E(
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
)
β
?t
β
?t
?t
β，V a r ( β ^ ) σ 2 ( X τ X ) ? 1 Var(pmb{hateta}) sigma^2(X^{tau}X)^{-1}Var(
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
)σ
2
(X
τ
X)
?1
，所以参数的OLS估计量β ^ pmb{hat{eta}}
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
正态分布形式为
β ^ ? N ( β , σ 2 ( X τ X ) ? 1 ) pmb{hateta}-N(pmb{eta},sigma^2(X^{tau}X)^{-1})
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
?N(
β
?t
β
?t
?t
β,σ
2
(X
τ
X)
?1
)
对于具体的某个估计量b j ^ hat{b_j}
b
j
?t
^
?t
的分布形式为b j ^ ? N ( b j , σ 2 ( ( X τ X ) ? 1 ) j j ) hat{b_j}-N(b_j,sigma^2((X^{tau}X)^{-1})_{jj})
b
j
?t
^
?t
?N(b
j
?t
,σ
2
((X
τ
X)
?1
)
jj
?t
)
随机误差项方差的估计
前文推导过程中，我们求出了参数的OLS估计量β ^ pmb{hat{eta}}
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
的具体数值，β ^ ( X τ X ) ? 1 X τ Y pmb{hateta} (X^{tau}X)^{-1}X^{tau}Y
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
(X
τ
X)
?1
X
τ
Y，我们求出了参数的OLS估计量β ^ pmb{hat{eta}}
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
的期望和方差，E ( β ^ ) β E(pmb{hateta})pmb{eta}E(
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
)
β
?t
β
?t
?t
β，V a r ( β ^ ) σ 2 ( X τ X ) ? 1 Var(pmb{hateta}) sigma^2(X^{tau}X)^{-1}Var(
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
)σ
2
(X
τ
X)
?1
，我们甚至求出了参数的OLS估计量β ^ pmb{hat{eta}}
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
的分布形式，β ^ ? N ( β , σ 2 ( X τ X ) ? 1 ) pmb{hateta}-N(pmb{eta},sigma^2(X^{tau}X)^{-1})
β
^
?t
?t
β
^
?t
?t
?t
β
^
?t
?N(
β
?t
β
?t
?t
β,σ
2
(X
τ
X)
?1
)
但是，不难发现，上述表达式中，始终有个随机误差项的方差σ 2 sigma^2σ
2
的取值我们不得而知，事实上我们也无法计算，因为我们不知道总体回归模型和总体样本是如何
但是，我们可以对σ 2 sigma^2σ
2
进行估计，若计
σ ^ 2 ∑ e i 2 n ? k hat{sigma}^2 frac{sum{e_i^2}}{n-k}
σ
^
2
n?k
∑e
i
2
?t
?t
可以证明，E ( σ ^ 2 ) σ 2 E(hat{sigma}^2)sigma^2E(
σ
^
2
)σ
2
，证明省略
那么，对于具体的某个估计量b j ^ hat{b_j}
b
j
?t
^
?t
的分布形式为b j ^ ? N ( b j , σ ^ 2 ( ( X τ X ) ? 1 ) j j ) hat{b_j}-N(b_j,hatsigma^2((X^{tau}X)^{-1})_{jj})
b
j
?t
^
?t
?N(b
j
?t
,
σ
^
2
((X
τ
X)
?1
)
jj
?t
)