柴比雪夫不等式 Chebyshev's Inequality

柴比雪夫不等式 - 維基百科

若一班有36個學生，而在一次考試中，平均分是80分，標準差是10分，我們便可得出結論：少於50分或多於110分（與平均相差3個標準差以上）的人，數目不多於4個。

---

柴比雪夫不等式（Chebyshev's Inequality 是機率論中非常神奇且強大的工具。它的偉大之處在於：無論隨機變數屬於什麼分佈（常態分佈、均勻分佈、二項分佈等），只要它有有限的期望值和變異數，這個不等式就絕對成立。

它提供了一個嚴格的上限，告訴我們數據「跑離中心點太遠」的機率最高是多少。

---

📐 數學公式與直觀理解

設 Y 為一個隨機變數，其期望值（平均值）為 μ = E(Y)，變異數（波動程度）為 σ² = Var(Y)。對於任意正數 k > 0：

$P(|{}Y-\mu |{}\ge k\sigma )\le \frac{1}{k^{2}}$

• 白話解釋：數據落在距離平均值 k 個標準差之外的機率，最多只有 $\frac{1}{k^{2}}$
• 換個角度（看內部）：數據落在平均值 k 個標準差之內的機率，至少有 $1 - \frac{1}{k^2}$

📊 實際數字帶入看看：

• 若取 k = 2：任何數據分佈中，落在 $[\mu - 2\sigma, \mu + 2\sigma]$ 以外的機率最高只有 $\frac{1}{4} = 25\%$ （也就是說，至少有 75% 的數據會乖乖待在 2 個標準差以內）。
• 若取 k = 3：落在 3 個標準差以外的機率最高只有 $\frac{1}{9} \approx 11.1\%$ （至少有 88.9% 在以內）。

💡 對比常態分佈：如果是完美的常態分佈，3 個標準差以內的數據高達 99.7%。柴比雪夫不等式給的 88.9% 看起來比較寬鬆，但別忘了，它適用於任何極端、古怪、甚至嚴重偏斜的分佈，因此這個估計非常具備包容性。

---

🛠️ 柴比雪夫不等式的完整證明

我們以連續型隨機變數為例來證明（離散型隨機變數的證明完全相同，只需將積分符號 (\int ) 改為加總符號 (\sum )）。

步驟一：從變異數的定義出發

隨機變數 Y 的變異數公式為：
$\sigma ^{2}=Var(Y)=\int _{-\infty }^{\infty }(y-\mu )^{2}f(y)\,dy$
其中 f(y) 是 Y 的機率密度函數（機率絕對大於等於 0）。

步驟二：將積分區間拆成三部分

我們要關注的是距離中心大於等於 ε 的地方（令 ε = kσ）。我們把全實數軸 (-∞, ∞) 拆成三個區間：

1. 遠離左邊：$(-\infty, \mu - \epsilon]$
2. 靠近中心：(μ - ε, μ + ε)
3. 遠離右邊：$[\mu + \epsilon, \infty)$

$\sigma ^{2}=\int _{-\infty }^{\mu -\epsilon }(y-\mu )^{2}f(y)\,dy+\int _{\mu -\epsilon }^{\mu +\epsilon }(y-\mu )^{2}f(y)\,dy+\int _{\mu +\epsilon }^{\infty }(y-\mu )^{2}f(y)\,dy$

步驟三：丟棄中間，放大不等號

因為被積分的函數 $(y - \mu)^2 f(y)$ 永遠大於等於 0，所以如果我們直接把中間那一項（靠近中心的部分）丟掉，留下來的兩側積分總和一定會小於或等於原來的變異數：
$\sigma ^{2}\ge \int _{-\infty }^{\mu -\epsilon }(y-\mu )^{2}f(y)\,dy+\int _{\mu +\epsilon }^{\infty }(y-\mu )^{2}f(y)\,dy$

我們可以用絕對值把這兩段「遠離中心」的區間合併寫成 $\{y : \vert{}y - \mu\vert{} \ge \epsilon\}$：
$\sigma ^{2}\ge \int _{|{}y-\mu |{}\ge \epsilon }(y-\mu )^{2}f(y)\,dy$

步驟四：利用範圍邊界進行縮放

在積分範圍 $\vert{}y - \mu\vert{} \ge \epsilon$ 之內，我們知道每一個 y 跑離中心的距離值都滿足 $(y - \mu)^2 \ge \epsilon^2$
如果我們把積分式子裡的 $(y - \mu)^2$ 全部替換成它的最小值 ε²，整個積分值會進一步變小（或保持相等）：
$\sigma ^{2}\ge \int _{|{}y-\mu |{}\ge \epsilon }\epsilon ^{2}f(y)\,dy$

步驟五：大功告成

因為 ε² 是一個常數，可以直接提落去積分符號外面：
$\sigma ^{2}\ge \epsilon ^{2}\int _{|{}y-\mu |{}\ge \epsilon }f(y)\,dy$

別忘了，根據機率的定義，把某個範圍內的機率密度 f(y) 積分起來，就是該事件發生的機率：
$\int _{|{}y-\mu |{}\ge \epsilon }f(y)\,dy=P(|{}Y-\mu |{}\ge \epsilon )$

代回式子得到：
$\sigma ^{2}\ge \epsilon ^{2}\cdot P(|{}Y-\mu |{}\ge \epsilon )$

兩邊同除以 ε²：
$P(|{}Y-\mu |{}\ge \epsilon )\le \frac{\sigma ^{2}}{\epsilon ^{2}}$
（ 如果令 ε = kσ，代入就會得到 $P(\vert{}Y - \mu\vert{} \ge k\sigma) \le \frac{1}{k^2}$ ）。

（證明完畢）