参数估计--中文百科全书

基本介绍

参数估计(parameter estimation)是根据从整体中抽取的样本估计整体分布中包含的未知参数的方法。人们常常需要根据手中的资料，分析或推断资料反映的本质规律。即根据样本资料如何选择统计量去推断整体的分布或数位特征等。统计推断是数理统计研究的核心问题。所谓统计推断是指根据样本对整体分布或分布的数位特征等作出合理的推断。它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。

标準特点

(1)无偏性

(2)一致性

(3)有效性

方法

矩估计法用样本矩估计整体矩，如用样本均值估计整体均值。

最小二乘法为了选出使得模型输出与系统输出yt尽可能接近的参数估计值，可用模型与系统输出的误差的平方和来度量接近程度。使误差平方和最小的参数值即为所求的估计值。

极大似然法选择参数θ,使已知资料Y在某种意义下最可能出现。某种意义是指似然函式P(Y│θ)最大,这裏P(Y│θ)是资料Y的概率分布函式。与最小二乘法不同的是，极大似然法需要已知这个概率分布函式P(Y│θ)。在实践中这是困难的，一般可假设P(Y│θ)是常态分配函式，这时极大似然估计与最小二乘估计相同。

性质

当估计值的数学期望等于参数真值时，参数估计就是无偏估计。当估计值是资料的线性函式时，参数估计就是线性估计。当估计值的均方差最小时，参数估计为一致最小均方误差估计。若线性估计又是一致最小均方误差估计，则称为最优线性无偏估计。如果无偏估计值的方差达到克拉默-尧不等式的下界,则称为有效估计值。若，则称为一致性估计值。在一定条件下，最小二乘估计是最优线性无偏估计，它的估计值是有效估计，而且是一致性估计。极大似然估计在一定条件下渐近有效，而且是一致的。

公式1

寻求最小二乘估计和极大似然估计的常用方法是将準则对参数θ求导数，计算梯度，因而要使用最最佳化的方法:梯度法、变尺度法、单纯形搜寻法、牛顿-拉夫森法等。

点估计

点估计是依据样本估计整体分布中所含的未知参数或未知参数的函式。通常它们是整体的某个特征值，如数学期望、方差和相关系数等。点估计问题就是要构造一个只依赖于样本的量，作为未知参数或未知参数的函式的估计值。例如，设一批产品的废品率为θ。为估计θ，从这批产品中随机地抽出n个作检查，以X记其中的废品个数，用X/n估计θ，这就是一个点估计。构造点估计常用的方法是:①矩估计法。用样本矩估计整体矩，如用样本均值估计整体均值。②最大似然估计法。于1912年由英国统计学家R.A.费希尔提出，利用样本分布密度构造似然函式来求出参数的最大似然估计。③最小二乘法。主要用于线性统计模型中的参数估计问题。④贝叶斯估计法。基于贝叶斯学派(见贝叶斯统计)的观点而提出的估计法。可以用来估计未知参数的估计量很多，于是产生了怎样选择一个优良估计量的问题。首先必须对优良性定出準则，这种準则是不唯一的，可以根据实际问题和理论研究的方便进行选择。优良性準则有两大类:一类是小样本準则，即在样本大小固定时的优良性準则;另一类是大样本準则，即在样本大小趋于无穷时的优良性準则。最重要的小样本优良性準则是无偏性及与此相关的一致最小方差无偏估计，其次有容许性準则，最小化最大準则，最优同变準则等。大样本优良性準则有相合性、最优渐近正态估计和渐近有效估计等。

区间估计

区间估计是依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为整体分布的未知参数或参数的函式的真值所在範围的估计。例如人们常说的有百分之多少的把握保证某值在某个範围内，即是区间估计的最简单的套用。1934年统计学家J.奈曼创立了一种严格的区间估计理论。求置信区间常用的三种方法:①利用已知的抽样分布。②利用区间估计与假设检验的联系。③利用大样本理论。