上QQ阅读APP看书，第一时间看更新
第3章 密度估计
桃李不言，下自成蹊。
——《史记·李将军传》
已知一个服从密度函数p（x）的随机变量x的N个观测x1，x2，…，xN，但不知p（x），这里p（x）称为期望学到的密度函数，试求p（x）。这个问题称为密度估计问题。假设学到的密度函数为
，令X=Y=｛x1，x2，…，xN｝，
。因此，密度估计问题可以看作具有归类输入
和归类输出
的归类问题，即密度估计问题是单类归类问题。显然，p（x）是输入类表示，
是输出类表示。
由于密度估计是单类问题，易证
。对于密度估计问题，
一般不成立。因此，类表示唯一公理对于密度估计问题不成立。但是为了简单起见，一般假设类表示唯一公理成立，即
。因为
和p（x）未知，首先需要做的是得到
。只要得到了
，也就得到了p（x）。如果知道p（x）的部分信息，比如p（x）属于某个概率分布族，计算
就成为了参数估计问题。如果除X外任何有关p（x）的信息都不知道，此时计算
就是非参数估计问题。