[퍼온글] 드무아브르의 중심극한정리(de Moivre's central limit theorem)

※ 출처 - http://bomber0.byus.net/index.php/2008/07/06/680

http://bomber0.byus.net/index.php/2008/07/12/686

http://bomber0.byus.net/index.php/2008/07/12/687

http://bomber0.byus.net/index.php/2008/07/14/688

드무아브르의 중심극한정리

대학민국 고등학교 수학의 통계 부분에서 다음과 같이 말하면서 증명하지 않고 은근슬쩍 넘어가는 것이 있다.

확률변수 $X$가 이항분포 $B(n,\, p)$를 따를 때, $n$이 충분히 크면 $X$의 분포는 근사적으로 정규분포 $N(np,\, npq)$를 따른다는 것이 알려져 있다.

고등학교 교과서에서도 '중심극한정리(central limit theorem)'라는 말을 언급하는지 하지 않는지는 기억이 나지 않는데, 위에서 말하는 것은 통계학에서 가장 중요한 정리중의 하나인 '중심극한정리'의 가장 단순한 버전이라고 할 수 있다. 중심극한정리는 여러 과정을 거쳐 발전했는데, 최초는 드무아브르의 18세기 버전, 그 다음이 위에 서술된 라플라스의 19세기 초기 버전이다.

대다수의 사람들에게야 정규분포라는 것이 대략 종 모양 곡선이라고 알고 나면 땡이겠지만, 수학을 공부하는 사람의 입장에서 볼 때, 이는 매우 개탄스러운 일이라 말할 수 있다. 

<대략 종 모양... 으로는 충분하지 않다>

정규분포 $N(\mu,\, \sigma^2)$의 확률밀도함수는 그냥 대략 종모양인 것이 아니라 수학적으로

\[ \frac{1}{\sigma \sqrt{2\pi} } \exp \left(-\frac{(x-\mu)^2}{2\sigma ^2} \right) \]

라는 엄밀한 표현을 가지고 있다. 불필요한 상수들을 좀더 간략하게 표현을 하자면, 이 함수는

\[ b \exp ( -ax^2 ) \]

꼴인데, 이 함수의 그 무엇이 특별하길래 세상을 지배하는가 하는 질문은 너무나도 중요한 질문이라고 할 수 있다.

아무튼 다음 글에서는 우리 고교 과정에서 빼먹어주신 부분을 메꾸는 작업을 하는데, 드무아브르 버전의 중심극한정리를 대강 유도한다. (다시 말하자면, $b \exp (-a x^2 )$의 형태로 주어지는 함수의 등장을 두 눈으로 보게 될 것이라는 얘기.)

드무아브르 버전이라는 것은 별게 아니라 이항분포의 경우에서 확률이 $1/2$인 경우이다. (라플라스의 버전은 더 일반적인 확률 $p$에 대한 근사.) 즉, 동전을 여러번 던져서 앞면 혹은 뒷면이 나오는 경우를 셀 때, 동전을 충분히 많이 던질 경우 이것이 대체로 정규분포곡선을 따르게 된다는 것이다. 이를 가지고 수능시험에도 낼 수 있는 수준의 문제를 들자면,

동전을 $100$회 던질 때, 앞면이 $45$회 이상 $55$회 이하 나올 확률을 구하여라.

라고 물으면, 정규분포표를 보고 $0.7286$이라고 대답하면 된다.

스털링이 가져간 영광

지난 글에서는, 상수를 무시하고 보면 정규분포 $N(\mu,\, \sigma^2)$의 확률밀도함수가 $b \exp ( -ax^2 )$ 꼴이라는 이야기를 했는데, 사실 앞에 붙어 있는 상수 $b$에 대해 언급을 할 필요가 있다는 생각이 들었다. 바로 $\sqrt{2\pi}$ 말이다.

사실 여기엔 드무아브르에게는 다소 섭섭할만한 역사가 담겨져 있다. 정규분포 이야기에서 잠시 벗어나 보이는 팩토리얼 얘기를 조금 한다. 위에 있는 숫자의 근원이 여기에 있기 때문이다. 소위 스털링의 공식(Stirling's formula)이라고 알려져 있는 팩토리얼의 근사식은 다음과 같다.

\[ n! \approx \sqrt{2\pi n}\, \left(\frac{n}{e}\right)^{n}. \]

팩토리얼은 정의는 간단할지라도 $n$이 조금만 커지기 시작하면 계산하기가 그리 만만치 않은 녀석이다. 따라서 위의 식은 실용적인 측면에서도 매우 유용한 근사식이 된다. 드무아브르는 이 근사식을 유도한 바가 있다. 다만 $\sqrt{2\pi}$라는 상수를 구하지 않고 다음과 수준의 표현을 남긴다: 적당한 상수 $B$가 있어 $n!$은

\[ n! \approx B \sqrt{n} \left(\frac{n}{e}\right)^{n} \]

와 같이 근사할 수 있다. 역사는 다음과 같은 이야기를 전한다.

In Miscellanea Analytica (1730) appears Stirling's formula (wrongly attributed to Stirling) which de Moivre used in 1733 to derive the normal curve as an approximation to the binomial. In the second edition of the book in 1738 de Moivre gives credit to Stirling for an improvement to the formula. De Moivre wrote: I desisted in proceeding farther till my worthy and learned friend Mr James Stirling, who had applied after me to that inquiry, [discovered that $c = \sqrt{2 \pi}$].

크레딧을 스털링에게 돌린 드무아브르. 오늘날 팩토리얼의 근사식은 (드무아브르의 이름은 온데간데 없이) 스털링의 공식으로 불려진다. 나같은 오타쿠가 아니라면, 수학을 공부해도 스털링의 이름 앞에 드무아브르가 와야 한다는 주장을 들어본 적이 없기 쉬울 것이다. 그러나 팩토리얼에 대한 드무아브르-스털링 공식이 옳지 않겠는가? 이러한 주장에 대해서는 이곳을 참조하시면 되겠다.

후대 사람들은 정규분포의 확률밀도함수는 가우시안으로 부르며, 팩토리얼 근사식은 스털링 공식이라 부르고 있다는 사실을 죽은 드무아브르가 안다면 얼마나 억울해 하겠는가?

상수 $\pi$와 동전던지기

지금부터 말하고자 하는 드무아브르의 발견은 대략 1730년대 즈음에 벌어졌던 것이다. 데카르트가 살았던 것은 1596년 3월부터 1650년 2월까지, 뉴턴이 살았던 때가 1643년 1월부터 1727년 3월까지라고 나와 있으니, 그야말로 거인들의 어깨 위에 우뚝 선 사람들에 의해 새로운 시대의 새로운 발견이 쏟아지던 시기였을 것이다. 기억하는가? 사람들은 17세기 서양사를 천재들의 세기라 부른다는 사실을.

이보다 좀 전의 시기였던, 1655년, 영국 수학자 월리스(John Wallis)는 월리스 곱(Wallis product)이라고 불려지는 다음과 같은 공식을 남긴다.(증명은 링크 참조)

\[ \prod_{k=1}^{\infty} \frac{(2k)(2k)}{(2k-1)(2k+1)} = \frac{2}{1} \cdot \frac{2}{3} \cdot \frac{4}{3} \cdot \frac{4}{5} \cdot \frac{6}{5} \cdot \frac{6}{7} \cdot \frac{8}{7} \cdot \frac{8}{9} \cdot \cdots = \frac{\pi}{2}. \]

스털링이 드무아브르가 남긴 문제를 해결하고 역사에 이름을 남길 때, 스털링은 바로 이 월리스의 공식을 사용했다.

지금 우리의 목표는 동전을 몇 번 던질때, 몇 번 나올 확률이 얼마인지에 대한 근사식을 찾아내는 것이다. 이렇게 일반적인 문제의 해결은 다음으로 미루고, 일단 다음과 같은 구체적인 문제를 먼저 해결하자.

($n$이 충분히 클 때) 동전을 $2n$번 던질때, 앞뒷면이 각각 $n$번씩 나올 확률은 얼마인가?

답을 먼저 말하자면, 이 확률은 대략 $\frac{1}{\sqrt{\pi n}}$가 된다. 물리학자 파인만은 답속에서 숫자 파이를 보면, 이 문제 상황에서 '원'이 어디 있는가를 살펴야 한다고 했다. 하지만 '원'이 어디서 왜 나오는지는 명료하게 말하기 어렵다. (하나의 답은 월리스 공식의 유도과정에 있을 수 있다.) 그리고 그 신비에 대한 탐구는 당신의 몫이다.

동전을 $2n$번 던질때, 앞뒷면이 각각 $n$번씩 나올 확률은 수학적으로 다음과 같다.

\[ \frac{1}{2^{2n}}{2n\choose n} = \frac{1}{2^{2n}}{{(2n)!} \over {n!n!}}. \]

한편 월리스의 공식에서 일반항 $p_n$은 다음과 같은데,

\begin{align*} p_n &= \prod_{k=1}^{\infty} \frac{(2k)(2k)}{(2k-1)(2k+1)} \\ &= \frac{1}{2n+1} \prod_{k=1}^{n} \frac{(2k)^4 }{((2k)(2k-1))^2} \\ &= \frac{1}{2n+1} \cdot \frac{2^{4n}\,(n!)^4}{((2n)!)^2} \\ &\approx \frac{1}{2n} \cdot \frac{2^{4n}\,(n!)^4}{((2n)!)^2} \end{align*}

이는 월리스의 공식을 다음과 같은 방식으로도 쓸 수 있다는 것을 말해준다.

\[ \frac{\pi}{2} =\lim_{n \to \infty} {1\over{2n}}\cdot {{2^{4n}\,(n!)^4}\over {((2n)!)^2}}. \]

따라서 다음을 얻는다.

\[ \frac{1}{2^{2n}}{2n\choose n} = \frac{1}{2^{2n}}{{(2n)!} \over {n!n!}} = \sqrt{\frac{2n}{2n} \frac{1}{2^{4n}} \frac{((2n)!)^2}{(n!)^4}} \approx \sqrt{\frac{1}{2n} \frac{2}{\pi}} = \frac{1}{\sqrt{\pi n}}. \]

드무아브르의 마지막 펀치! 그 이야기는 다음 편에 계속된다.

가우시안의 눈부신 등장

이제 예정보다 길어진 시리즈의 마지막편이다. 처음 글에서 제기했듯이, 이 글은 고교 교과 과정에서 다음과 같이 얼버무리고 간 내용에 대해 약간의 구멍을 메꾸기 위한 것이다.

확률변수 $X$가 이항분포 $B(n,\, p)$를 따를 때, $n$이 충분히 크면 $X$의 분포는 근사적으로 정규분포 $N(np,\, npq)$를 따른다는 것이 알려져 있다.

잠시 여담이지만, 이렇게 중고교 교과서에 '~임이 알려져 있다'라고 하는 부분은 사실 교사에게도 학생에게도 크게 중요한 것은 아닐 것이다. 그러나 나의 경험으로 볼 때, 이 순간이야말로 선생님들이 어린 아이들의 가슴 속에 세상에 매우 긍정적인 야망을 심어줄 수 있는 좋은 찬스인 것이다. 바로 이런 곳에 더 높은 수준의 학문을 향한, 학생들이 밟을 수 있는 디딤돌이 놓여져 있는 사회가 건강하고 튼튼한 것이라는 믿음하에 이 글은 작성되고 있다. 또한 중심극한정리라는 것은, 이 세상에서 왜 일어나야 할 일들이 일어나고 있는지를 설명해주는 중요한 수학적, 통계학적 교양의 소재이기도 하다.

드무아브르의 중심극한정리라는 것을 다시 한번 쉬운 말로 표현하자면, 동전을 많이 던졌을 때 앞면이 나오는 횟수의 확률분포는 거의 정규분포를 따른게 된다는 것이다. 지난 글에서는

\[ \frac{1}{2^{2n}}{2n\choose n} \approx \frac{1}{\sqrt{\pi n}} \]

임을 월리스 공식을 사용하여 보인 바가 있다. 즉, 동전을 $2n$번 던질때, 앞뒷면이 각각 $n$번씩 나올 확률이 얼마인지 근사식을 차아본 것이다. 이제 동전을 $2n$번 던져서, 앞면이 $n+k$번 (뒷면이 $n-k$번) 나올 확률이 얼마인지를 알아보려 한다. 그 전에 먼저 아래 식의 근사값을 계산해 보자.

\[ {2n\choose n+k}{2n\choose n}^{-1}. \]

앞서 구한 것을 이용하고자 비율을 구할 것이다.

\begin{align*} {2n\choose n+k}{2n\choose n}^{-1} &= \frac{n! n!}{(n+k)!(n-k)!} \\ &= \frac{n(n-1)\cdots(n-k+1)}{(n+k)(n+k-1)\cdots (n+1)} \\ &= \frac{1 \left( 1- \frac{1}{n} \right) \cdots \left( 1 - \frac{k-1}{n} \right)}{\left( 1 + \frac{k}{n} \right) \left( 1 + \frac{k-1}{n} \right) \cdots \left( 1 + \frac{1}{n} \right)}. \end{align*}

이제 우변의 근사값을 구하기 위해 로그를 사용하는데, 이 과정에서 로그에 대해 알아야 할 것은 로그는 곱셈을 덧셈으로 바꾼다, 그리고 $x$가 충분히 작을 때, $\ln (1+x) \approx x$라는 사실이다.

이제 위 식의 우변에 로그를 취하게 되면,

\begin{align*} & \ln \frac{1 \left( 1- \tfrac{1}{n} \right) \cdots \left( 1 - \tfrac{k-1}{n} \right)}{\left( 1 + \tfrac{k}{n} \right) \left( 1 + \tfrac{k-1}{n} \right) \cdots \left( 1 + \tfrac{1}{n} \right)} \\ & \qquad = \ln \left( 1- \tfrac{1}{n} \right) + \cdots + \ln \left( 1 - \tfrac{k-1}{n} \right) - \left[ \ln \left( 1 + \tfrac{k}{n} \right) + \cdots + \ln \left( 1 + \tfrac{1}{n} \right) \right] \end{align*}

이 되고, $n$이 충분히 큰 경우,

\[ \ln \left( 1- \tfrac{1}{n} \right) + \cdots + \ln \left( 1 - \tfrac{k-1}{n} \right) \approx - \left( \tfrac{1}{n} + \cdots + \tfrac{k-1}{n} \right) = - \frac{k(k-1)}{2n} \]

\[ \ln \left( 1 + \tfrac{k}{n} \right) + \cdots + \ln \left( 1 + \tfrac{1}{n} \right) \approx (\tfrac{k}{n} + \cdots + \tfrac{1}{n} = \frac{k(k+1)}{2n} \]

이므로, 우변에 다시 지수함수를 각각 취해주게 되면 아래과 같은 식이 얻어지게 된다.

\[ \frac{1 \left( 1- \tfrac{1}{n} \right) \cdots \left( 1 - \tfrac{k-1}{n} \right)}{\left( 1 + \tfrac{k}{n} \right) \left( 1 + \tfrac{k-1}{n} \right) \cdots \left( 1 + \tfrac{1}{n} \right)} \approx \frac{\exp \left( -\frac{k(k-1)}{2n} \right)}{\exp \left( \frac{k(k+1)}{2n} \right)} = \exp \left( -\frac{k^2}{n} \right). \]

마침내 무언가가 나타났다. 지금까지 한 작업을 요약하자면,

\[ {2n\choose n+k}{2n\choose n}^{-1} \approx \exp \left( -\frac{k^2}{n} \right) \]

를 얻고 양변에 ${2n\choose n}$를 곱해주면,

\[ {2n\choose n+k} \approx {2n\choose n} \exp \left( -\frac{k^2}{n} \right). \]

따라서 동전을 $2n$번 던져서 앞면이 $n+k$번 나올 확률이란,

\[ \frac{1}{2^{2n}}{2n\choose n+k} \approx \frac{1}{\sqrt{\pi n}} \exp \left( -\frac{k^2}{n} \right) \]

이 되는 것이다. 마침내 다음과 같이 생긴 녀석, $b \exp (-ax^2)$, 즉, 가우시안이 등장한 것이다. 여기서 $n+k=x$ 로 두고, 동전을 $2n$번 던져서 앞면이 $x$번 나올 확률을 보게 되면 그 확률은 대략,

\[ \frac{1}{\sqrt{\pi n}} \exp \left( -\frac{(x-n)^2}{n} \right) \]

이 된다. 마지막으로 이항분포 $B(2n,\, \tfrac{1}{2})$의 평균과 표준편차 $\mu=n$, $\sigma^2=\tfrac{n}{2}$를 이용하여, 중심극한정리가 예측했던 바를 써보면,

\begin{align*} \frac{1}{\sigma \sqrt{2\pi} } \exp \left(-\frac{(x-\mu)^2}{2\sigma ^2} \right) &= \frac{1}{\sqrt{\frac{n}{2}}\sqrt{2\pi} } \exp \left(-\frac{(x-n)^2}{2 \frac{n}{2}} \right) \\ &= \frac{1}{\sqrt{\pi n}} \exp \left( -\frac{(x-n)^2}{n} \right). \end{align*}

우리가 얻은 식과 똑같지 않은가! 이상 드무아브르 버전의 중심극한정리를 유도해보았다.