Jensen不等式的证明

命题

若 f(x) 为区间 X 上的凸函数，则 ∀n∈N,n≥1, 若 ∀i∈N,1≤i≤n,xi∈X,λi∈R,
λi>0, 且 ∑ni=1λi=1, 则：

f(∑i=1nλixi)≤∑i=1nλif(xi)

证明：

n=1 时，显然成立。
设 n 时成立。则：
∑n+1i=1λi=1⇒∑ni=1λi+λn+1=1⇒∑ni=1λi=1−λn+1⇒∑ni=1λi1−λn+1=1
令 x′=∑ni=1λi1−λn+1xi, 则：
∑n+1i=1λixi=∑ni=1λixi+λn+1xn+1
=(1−λn+1)∑ni=1λi1−λn+1xi+λn+1xn+1
=(1−λn+1)x′+λn+1xn+1
⇒f(∑n+1i=1λixi)=f((1−λn+1)x′+λn+1xn+1)
≤(1−λn+1)f(x′)+λn+1f(xn+1)
≤(1−λn+1)∑ni=1λi1−λn+1f(xi)+λn+1f(xn+1)
=∑n+1i=1λif(xi)

Jensen不等式的扩展

若 f(x) 为区间 Y 上的凸函数，g(x):X→Y 为一任意函数， 则 ∀n∈N,n≥1, 若 ∀i∈N,1≤i≤n,xi∈X,λi∈R,
λi>0, 且 ∑ni=1λi=1, 则：

f(∑i=1nλig(xi))≤∑i=1nλif(g(xi))

推论

若 f(x) 为区间 R 上的凸函数，g(x):R→R 为一任意函数， X 为一取值范围有限的离散变量， E[f(g(X))] 与 E[g(X)] 都存在，则：

E[f(g(X))]≥f(E[g(X)])

证明：

E[f(g(X))]=∑ni=1pif(g(xi))≥f(∑ni=1pig(xi))=f(E[g(X)])