现在有一些样本x，假设他们服从某种分布（例如高斯分布），但是我们并不知道该分布的参数，我们通过这些样本估计出未知的参数，这就是参数估计。
样本是独立同分布的，且训练样本足够充分。 如果样本不是同一个分布，那么我们的假设（他们服从某种分布）就是错误的。 如果训练样本过少，估计出来的参数就会有偏差。
反过来考虑，假设存在某个数据流满足高斯分布，我们从中抽出部分样本x，很直观的，我们可以用x的均值和方差来作为数据流的均值和方差的近似值，而当我们把样本的数量逼近无穷时，估计的参数值就收敛于真实值。 而当我们拥有样本x，并假设其满足某种分布时，同样可以用样本来估计参数值。
最大似然估计仅仅使用了样本信息，而贝叶斯估计在其之上，又对参数进行了约束。 贝叶斯估计假设参数不再是一个固定的值，而是一个服从某种分布的变量，通过样本和参数的分布，对参数的值进行估计。 反过来考虑，假设存在某个数据流满足高斯分布，同时该高斯分布的参数值不是确定的，而是满足另一个高斯分布的随机变量。也就是说，每次对该数据流进行采样时，面对的都是一个随机的高斯分布，而该高斯分布的参数满足另外一个高斯分布。
贝叶斯估计对样本的参数进行了约束，假设样本服从的分布的参数是随机变量，服从第二个分布，同样我们可以假设第二个分布的参数也是随机变量，服从第三个分布…由此可以嵌套若干层。