凸函数（Convex Functions）
凸函数的定义1如下：
如下图所示：严格凸函数：函数曲线位于由点和连接而成的直线下方。
凸函数：函数曲线不超过由点和连接而成的直线。
定理1：如果某函数在某个区间二阶可导且二阶导数非负，那么这个函数在该区间是凸的。
其中 twice differentiable 指的是二阶可导。
关于这个定理的证明如下：
推论1：-ln(x) 在 (0,∞) 上是严格凸函数。
证明如下：
其中的 Definition 2是凹函数的定义。
Jensen不等式
定理2 ：Jensen 不等式：
上边的定理推论描述的是两个点，如果我们看 n 个点的情况，就得到了Jensen 不等式。
证明如下，使用的是归纳法：
因为 -ln(x) 是凸函数，所以我们把 -ln(x) 函数当作 f(x) 带进去，可得：
EM算法里用到的就是这个不等式。
推论2：算术平均大于等于几何平均
证明如下：