相加平均≧相乗平均≧調和平均の証明 with Jensenの不等式

先日のブログ記事

F値の前身はE値? - 睡眠不足？！

でF値 (E値) の計算に調和平均を利用した．その際，

相加平均 ≧ 相乗平均 ≧ 調和平均

という関係があることを紹介した．この関係は，いろんな方法で証明することができるらしいけれど，みんな大好きJensenの不等式で証明してみる．

なお，Jensenの読み方には，

イェンゼン
イェンセン
ジェンセン

など色々あり，僕はイェンセンと読んでいる．なお，Wikipediaではイェンゼンの模様．

相加平均，相乗平均，調和平均は，n個の要素 $x_i$ が与えられた際には，以下のように記述できる．

相加平均: $\frac{1}{n} \sum_i x_i$
相乗平均: $\left( \prod_i x_i \right)^{1/n}$
調和平均: $\frac{n}{\sum_i \frac{1}{x_i}}$

さてみんな大好きJensenの不等式は，凸関数f(x)について以下の不等式が成り立つというもの．

$f( \sum_i \lambda_i x_i ) \le \sum_i \lambda_i f(x_i)$
ただし， $\lambda_i \ge 0 \forall i$ かつ $\sum_i \lambda_i = 1$

なお，このような $\lambda_i$ による線形結合を凸結合と呼ぶらしい．
図に描くと直感的にわかりやすい．二次関数y=x^2における弦と弧の例が直感的に理解しやすい．

任意の2点aとb (図の例ではa=-1, b=1.5)が与えられたときの $f(\lambda a + (1 - \lambda) b)$ は弧の上に存在し， $\lambda f(a) + (1 - \lambda) f(b)$ は弦の上に存在する．

弧ab上の任意の点≧弦ab上の任意の点
(等号が成り立つのは点a，または点b)

ということより，凸関数の二点の凸結合についてはJensenの不等式が成り立つことがなんとなく理解できる．

正確な証明はしない (できない) けれど，任意の点に拡張するためには3点の凸結合 = 2点の凸結合ともう1点の凸結合というように数学的帰納法で証明できると思う．

さて，このJensenの不等式を利用して計算してみる．

相加平均 vs. 相乗平均

まず相加平均と相乗平均の不等式から．

$\frac{1}{n} \sum_i x_i \ge \left( \prod_i x_i \right)^{1/n}$

両辺の対数を取り，両辺にマイナスをかける (不等号反転)

$- \log \left( \frac{1}{n} \sum_i x_i \right) \le - \frac{1}{n} \sum_i \log x_i$

さて，ここでlogは凹関数なので，- logは凸関数．なんとかJensenの不等式の形にできればよい．マイナスを内側に入れてあげると，

$- \log \left( \frac{1}{n} \sum_i x_i \right) \le \sum_i \frac{1}{n} \left(- \log x_i \right)$ ... (1)

となる． $f(x) = - \log x$ ， $\lambda_i = \frac{1}{n} \forall i$ なので，Jensenの不等式より(1)が成り立つ．(証明おしまい)

相乗平均 vs. 調和平均

続いて相乗平均 vs. 調和平均．

$\left( \prod_i x_i \right)^{1/n} \ge \frac{n}{\sum_i \frac{1}{x_i}}$

こちらは逆数を取るような式変形を行うと，先ほどと同じような形になる．

$\left( \prod_i \frac{1}{x_i} \right)^{- 1/n} \ge \left( \frac{1}{n} \sum_i \frac{1}{x_i} \right)^{-1}$

あとは両辺の対数を取る．今度はマイナスはかけないので符号はそのまま．

$- \frac{1}{n} \sum_i \log \frac{1}{x_i} \ge - \log \left( \frac{1}{n} \sum_i \frac{1}{x_i} \right)$

あとは，さきほどと同じく

$\sum_i \frac{1}{n} \left( - \log \frac{1}{x_i} \right) \ge - \log \left( \frac{1}{n} \sum_i \frac{1}{x_i} \right)$

と変形すると，-logが凸関数という性質を用いて同様にJensenの不等式で導くことができる．(証明おしまい)

余談だけれどJensenの不等式は意外に歴史が浅いみたい．Jensenの不等式の生みの親であるヨハン・イェンゼン (1859-1925) によって証明されたのは1906年らしいので，まだ105年程度しか経っていないことになる．また，応用数学においては非常に重要な役割を果たすのだけれど，日本の数学教育において軽視されているというような記述[1]も見かける．

[1] イェンセンの不等式をめぐって