1.3.2 生成模型的概率表示

如何从一组观察数据中学到符合要求的模型p_model？模型p_model可看作一条曲线，如图1-5右图所示。而神经网络可以拟合任何一条曲线，为此我们可以通过神经网络来构建模型p_model。假设一组样本构成的数据集为χ，神经网络的参数集为θ（如可表示神经网络中权重参数w及偏置b等），我们要求的分布函数可表示为：

对于给定的观察数据x，参数θ的似然函数（即在参数化的模型中观察到的样本数据的概率，第13章有进一步的说明）为：

如果数据集χ由一组独立同分布的样本x构成，即χ={x₁,x₂,…,x_n}，则数据集χ的似然函数可表示为；

由于概率乘积的计算难度较大，我们一般采用对数似然函数：