모든 유리수점에서 연속이고 모든 무리수점에서 불연속인 함수

지난 글에서 토매 함수(Thomae function)이라 불리는 함수를 정의하고, 이 함수가 모든 유리수점에서 불연속이고 모든 무리수점에서 연속인 함수임을 보였다. 이 관찰을 바탕으로 다음과 같은 자연스러운 질문을 던질 수 있다.

모든 유리수점에서 연속이고 모든 무리수점에서 불연속인 함수가 존재하는가?

이번 글에서는 위와 같은 성질을 만족하는 함수는 존재할 수 없음을 증명하고자 한다.

모든 유리수점에서 연속이고 모든 무리수점에서 불연속인 함수

먼저 실함수 $f : \R \to \R$이 주어졌다고 하자. 이제 집합 $D(f)$를 $f$가 불연속이 되게 하는 점들의 집합으로 정의하자. 즉,

\[ D(f) = \set{c \in \R}{\text{$f$ is not continuous at $c$}} \]

로 정의한다. 또한 고정된 $\varepsilon>0$과 $c \in \R$에 대하여, 적당한 $\delta>0$가 존재하여 모든 $x,\,y \in (c - \delta,\, c + \delta)$일 때마다 $\abs{f(x) - f(y)} < \varepsilon$이 되게끔 할 수 있으면, 주어진 함수 $f$는 점 $c$에서 $\varepsilon$-연속($\varepsilon$-continuous)이라 정의하자. 즉, $f$가 점 $c$에서 $\varepsilon$-연속이면, $c$의 적당한 근방이 존재하여 이 근방 안에서는 $f$의 함수값의 변동이 최대 $\varepsilon$를 넘지 않음을 뜻한다. 또한 정의에 의해 $f$가 점 $c$에서 임의의 $\varepsilon>0$에 대하여 $\varepsilon$-연속이면 점 $c$에서 연속임을 간단히 확인할 수 있다. 이제 다음과 같이 집합

\[ D_{\varepsilon}(f) := \set{c \in \R}{\text{$f$ is not $\varepsilon$-continuous at $c$}} \]

를 정의하자. 그러면 먼저 다음의 사실을 얻는다.

보조정리 1.

고정된 $\varepsilon>0$에 대하여 집합 $D_{\varepsilon}(f)$는 닫혀있다.

증명. $(D_{\varepsilon}(f))^c$가 열린 집합임을 증명하면 충분하다. 먼저 $c \in (D_{\varepsilon}(f))^c$라 하자. 그러면 $f$는 점 $c$에서 $\varepsilon$-연속이므로, 적당한 $\delta>0$가 존재하여 모든 $x,\,y \in (c - \delta,\, c + \delta)$일 때마다 $\abs{f(x) - f(y)} < \varepsilon$을 만족한다. 이제 열린 구간 $I = (c - \tfrac{\delta}{2},\, c + \tfrac{\delta}{2})$를 정의하면, 임의의 $d \in I$에 대하여

\[ x,\,y \in (d - \tfrac{\delta}{2},\, d + \tfrac{\delta}{2}) \subseteq (c - \delta,\, c + \delta) \implies \abs{f(x) - f(y)} < \varepsilon \]

이므로 $f$는 구간 $I$에서 연속, 즉, $I \subseteq (D_{\varepsilon}(f))^c$임을 확인할 수 있다. 따라서 $(D_{\varepsilon}(f))^c$는 열린 집합이다.

보조정리 2.

$\varepsilon_1 > \varepsilon_2 >0$이면 $D_{\varepsilon_1}(f) \subseteq D_{\varepsilon_2}(f)$가 성립한다.

증명. $(D_{\varepsilon_2}(f))^c \subseteq (D_{\varepsilon_1}(f))^c$임을 보이면 충분한데, 이는 $\varepsilon$-연속의 정의에 의해 자명하다.

이제 위 보조정리를 이용하여 $D(f)$에 대한 다음의 중요한 정리를 얻는다.

정리 3.

$D(f)$는 닫힌 집합들의 가산 합집합(countable union of closed sets)이다.

증명. 먼저 임의의 양의 정수 $n \in \N$에 대하여 $D_{n^{-1}}(f) \subseteq D(f)$임은 자명하다. 또한 $c \in D(f)$이면, 다시 말해 $f$가 점 $c$에서 불연속이면, 적당한 $\varepsilon>0$이 존재하여, $f$가 점 $c$에서 $\varepsilon$-불연속이다. 이제 $\tfrac{1}{n_0} < \varepsilon$인 $n_0$를 택하면, 보조정리 2에 의해 $f$는 점 $c$에서 $\tfrac{1}{n_0}$-불연속이므로 $D(f) \subseteq D_{n_0^{-1}}(f)$임을 알 수 있다. 따라서

\[ D(f) = \bigcup_{n \in \N} D_{n^{-1}}(f) \]

를 얻는다. 이제 보조정리 1에 의해 각각의 $D_{n^{-1}}(f)$은 닫힌 집합이므로 $D(f)$는 닫힌 집합들의 가산 합집합이다.

따라서 정리 3에 의해 임의의 함수 $f$의 불연속점들의 집합은 언제나 닫힌 집합들의 가산 합집합의 형태여야만 함을 알 수 있다. 이제 어떤 함수가 $\Q$에서 연속이고 $\Q^c = \R \setminus \Q$에서 불연속이라 가정해 보자. 그러면 $\Q^c$는 닫힌 집합들의 가산 합집합의 형태여야만 함을 알 수 있다. 하지만 이는 베어 범주 정리(Baire category theorem)에 의해 불가능함을 보일 수 있다.

정리 4.

$\Q^c$는 닫힌 집합들의 가산 합집합이 될 수 없다.

증명. 먼저 베어의 범주 정리는 다음과 같다.

어떤 집합 $D$에 대하여 $D$의 폐포(closure)가 $\R$이면 $D$를 조밀한 집합(dense set)이라 하자. 만약 모든 $n \in \N$에 대하여 $D_n$이 열린 조밀한 집합이면, $\bigcap_n D_n$ 또한 조밀한 집합이다.

위 정리를 동치명제를 이용하여 다음과 같이 나타낼 수 있다.

어떤 집합 $E$에 대하여 $E$의 내부(interior)가 $\emptyset$이면 $D$를 텅빈 집합(hollow set)이라 하자. 만약 모든 $n \in \N$에 대하여 $E_n$이 닫힌 텅빈 집합이면, $\bigcup_n E_n$ 또한 텅빈 집합이다.

이제 $\Q^c$는 닫힌 집합들의 가산 합집합이라 가정해 보자. 그러면

\[ \Q^c = \bigcup_{n \in \N} E_n, \quad \text{$E_n$ is closed} \]

라 나타낼 수 있다. 이 때, 임의의 열린 구간은 언제나 유리수를 포함하기 때문에, 각각의 $E_n$은 절대로 열린 구간을 포함할 수 없다. 따라서 각각의 $E_n$은 텅빈 집합임을 알 수 있고 베어의 범주 정리에 의해 $\Q^c$ 또한 텅빈 집합임을 알 수 있다. 한 편, $\Q$는 닫힌 집합이고 (임의의 열린 구간은 언제나 무리수를 포함하기 때문에) 동시에 텅빈 집합이다. 따라서

\[ \R = \Q \cup \Q^c = \Q \cup \Big( \bigcup_{n \in \N} E_n \Big) \]

은 닫힌 텅빈 집합들의 가산 합집합이므로, 베어 범주 정리에 의해 텅빈 집합이어야만 한다. 하지만 $\R$의 내부는 $\R$이므로 모순이 발생한다. 따라서 $\Q^c$는 닫힌 집합들의 가산 합집합이 될 수 없다.

따라서 정리 3과 정리 4에 의해 $\Q^c$에서 불연속인 함수 $f$는 존재하지 않는다.

---

위와 같이 글을 정리하고 나서 좀 더 공부를 해 보니 모든 유리수점에서 연속이고 모든 무리수점에서 불연속인 함수가 존재하지 않음을 또 다른 방법으로 증명할 수 있음을 알게 되었다. '오직 $\Q^c$에서만 불연속인 함수가 존재할 수 없음'을 보였던 위 증명과 달리, 지금부터 설명할 이 증명의 초점은 '오직 $\Q$에서만 연속인 함수는 존재할 수 없음'을 보이는 것이다. 먼저 집합 $C(f)$를 $f$가 불연속이 되게 하는 점들의 집합으로 정의하자. 즉,

\[ C(f) = \set{c \in \R}{\text{$f$ is continuous at $c$}} \]

그러면 다음의 정리가 성립한다.

정리 5.

$C(f)$는 가산(countable)이면서 조밀(dense)할 수 없다.

증명. 결과를 부정하여 $C(f)$가 가산이면서 조밀한 집합이라 가정해 보자. 그러면

\[ $C(f) = \{c_1,\, c_2,\, c_2,\, \ldots \} \]

와 같이 나타낼 수 있다. 우선 $f$가 $c_1$에서 연속이므로 $c_1$을 포함하는 적당한 닫힌 구간 $I_1$이 존재하여 $x \in I_1$이면 $\abs{f(x) - f(c_1)} < 1$을 만족한다. [본래 연속의 정의에서는 열린 구간이 사용되지만 임의의 열린 구간은 닫힌 구간을 포함하므로 위 논의에는 아무 문제가 없다.] 이제 귀납적으로 축소 구간(nested interval) $(I_n)$을 다음과 같이 정의한다: 우선 $I_n$이 정의되었다고 하자. 이제 $c_{n+1} \notin I_n$이면 $I_{n+1} = I_n$으로 정의하고, $c_{n+1} \in I_n$이면 $I_{n+1}$을 

1. $I_{n+1}$은 $c_{n+1}$은 포함하지만 $c_n$은 포함하지 않는 닫힌 구간,
2. 모든 $x \in I_{n+1}$에 대하여 $\abs{f(x) - f(c_1)} < \tfrac{1}{n+1}$이 성립 

하도록 정의한다. 임의의 구간은 비가산이고 $f$가 $x_{n+1}$에서 연속이므로 언제나 위 두 조건을 만족하는 $I_{n+1}$을 찾을 수 있다. 이제 칸토어의 교점 정리(Cantor's intersection theorem) (또는 축소 구간 정리(nested interval property))에 의해, $\bigcap_n I_n$은 공집합이 아님을 알 수 있다. 편의상 $d \in \bigcap_n I_n$라 하자. 또한 정의에 따라 모든 $n \in \N$에 대하여 $I_{n+1}$은 $c_n$을 포함하지 않으므로, $\bigcap_n I_n$은 $C(f)$의 어떤 원소도 포함하지 않음을 알 수 있다. 따라서 $d \notin C(f)$를 얻는다. 

한 편, 어떤 양의 정수 $n_0 \in \N$이 존재하여

\[ I_{n_0} = I_{n_0 + 1} = I_{n_0+2} = \cdots \]

라 가정해 보자. 이는 모든 $n \geq n_0$에 대하여 $c_n \in I_{n_0}$임을 뜻한다. 즉, 구간 $I_{n_0}$의 바깥에는 $C(f)$의 원소가 오직 유한개만 존재하게 되는데, 이는 $C(f)$이 조밀하다는 사실에 모순이다. 

이제 임의로 $\varepsilon >0$을 택하자. 그러면 충분히 큰 $m \in \N$이 존재하여 $I_{m-1} \subsetneq I_m$이고 $\tfrac{1}{m} < \tfrac{\varepsilon}{2}$을 만족한다. 이제 $c_m,\,d \in I_m$이므로, 임의의 $x \in I_m$에 대하여

\[ \abs{f(x) - f(d)} \leq \abs{f(x) - f(c_m)} + \abs{f(c_m) - f(d)} < \frac{\varepsilon}{2} + \frac{\varepsilon}{2} = \varepsilon \]

따라서 $f$는 $d$에서 연속이고 $d \in C(f)$이다. $d \in C(f)$이면서 동시에 $d \notin C(f)$일 수는 없으므로 모순이 발생하고, 따라서 $C(f)$는 가산이면서 동시에 조밀한 집합이 될 수 없다.

따라서 $\Q$가 가산이면서 동시에 조밀한 집합이기 때문에, 위 정리 5에 의해 어떤 함수도 오직 $\Q$에서만 연속일 수는 없음을 알 수 있다.