대합(involution)과 유사대합(quasi-involution)에 대하여

실함수 $f:I\subset \mathbb{R}\to I$가 주어졌다고 하자. 만약 임의의 $x\in I$에 대하여

$$f(f(x))=x\text{or}f(x)=f^{-1}(x)$$

가 성립하면, 함수 $f$를 대합(involution)이라 정의한다. 즉, 대합이란 자기 자신을 역함수로 가지는 함수를 뜻한다. 항등함수 $i(x)=x$는 자명하게 대합이다. 또한 임의의 실수 $c\in \mathbb{R}$에 대하여, $f(x)=c-x$, $g(x)=\frac{c}{x}$와 같이 정의된 함수들은 모두 대합임을 알 수 있다.

$$f(f(x))=f(c-x)=c-(c-x)=x,g(g(x))=g(\frac{c}{x})=\frac{c}{\frac{c}{x}}=x$$

나아가 이 함수들의 그래프를 그려보면 모두, 직선 $y=x$에 대하여 선대칭을 이룬다. 이는 주어진 함수 $f$가 대합일 필요충분조건이 그래프 $y=f(x)$가 직선 $y=x$에 대하여 선대칭을 이루는 것이기 때문이다.

어떤 함수 $f$가 대합인 경우, 정의에 의해서 ($f\circ f$가 전단사이므로) $f$가 전단사(bijection)임을 간단히 보일 수 있다. 하지만 $f$가 연속성 여부는 보장 받지 못하는데, (앞서 소개한 예들은 모두 연속이기는 하다.) 예를 들어 다음과 같이 정의한 함수 $f$는 대합이면서 모든 정수점에서 불연속이다.

$$f(x)=\{\begin{array}{ll}x+1& \text{if}\lfloor x\rfloor \equiv 0(\mathrm{mod}2)\\ x-1& \text{if}\lfloor x\rfloor \equiv 1(\mathrm{mod}2)\end{array}$$

또한 다음과 같이 대합이지만 $0$을 제외한 모든 점에서 불연속인 함수를 정의할 수도 있다.

$$f(x)=\{\begin{array}{ll}\phantom{-}x& \text{if}x\in \mathbb{Q}\\ -x& \text{if}x\in {\mathbb{Q}}^c\end{array}$$

$I$가 유한집합이고 $f:I\to I$가 대합인 경우, 두 집합 $I$와 $\left\{x\in I\right|f(x)=x\}$는 같은 홀짝성을 갖는다라는 정리를 이용하여, $f$의 고정점(fixed point)의 존재성을 증명하는데에 대합이 이용되기도 한다. 실제로 이 아이디어를 이용하여 수학자 돈 재기어(Don Zagier)는 페르마의 두 제곱수 정리를 단 한줄로 증명하였다.

유사대합(quasi-involution)

이제 주어진 실함수 $f:I\subset \mathbb{R}\to I$가 임의의 $x\in I$에 대하여

$$f(f(x))=-x$$

를 만족할 때, $f$를 유사대합(quasi-involution)으로 정의하자. 그러면 대합에서의 경우와 마찬가지로, 유사대합에 대해서도 같은 질문을 할 수 있다. 먼저 아래의 간단한 정리를 통해서 유사대합이면서 연속인 함수 $f$는 존재하지 않음을 보이자.

정리 1.

실함수 $f:I\subset \mathbb{R}\to I$가 유사대합이면, $f$의 불연속점 $x\in I$가 적어도 하나 존재한다.

증명. 우선 $f\circ f$가 전단사이므로 $f$ 또한 전단사임을 알 수 있다. 이제 $f$가 $I$ 전체에서 연속이라 가정해보자. $I\subset \mathbb{R}$이고 $f$가 연속인 전단사 함수이므로, $f$는 반드시 $I$에서 순증가(strictly increasing)하거나 순감소(strictly deacreasing)해야만 한다. 하지만 어떤 경우든지, $f\circ f$는 $I$에서 순증가함수어야 하는데, $(f\circ f)(x)=-x$이므로 $f\circ f$가 순증가라는 사실에 모순이 발생한다. 즉, $f$는 $I$ 전체에서 연속일 수 없고, $f$가 불연속이 되게 하는 점 $x\in I$가 적어도 하나 존재한다.. 

이제 실제로 유사대합 $f:\mathbb{R}\to \mathbb{R}$을 구성해 보자. 우선 정의에 의해서 $f(0)=0$이어야만 한다. 만약 실수 $c\in \mathbb{R}$에 대하여 $f(0)=c$라고 하면,

$$f(c)=f(f(0))=0⟹c=f(0)=f(f(c))=-c$$

가 되어 $c=0$이어야만 하기 때문이다. 또한 적당한 $a\in \mathbb{R}$에 대하여 $f(a)=a$인 경우

$$-a=f(f(a))=f(a)=a$$

가 되어 $a=0$이므로, $f$는 $x=0$을 유일한 고정점으로 가짐을 알 수 있다. 이제 $0$이 아닌 두 실수 $a,b\in \mathbb{R}$에 대하여, $f(a)=b$라 가정하자. 그러면

$$f(b)=f(f(a))=-a⟹f(-a)=f(f(b))=-b⟹f(-b)=f(f(-a))=a$$

의 순환을 이룬다. 즉, 그래프 $y=f(x)$ 위의 네 점 $(a,b)$, $(b,-a)$, $(-a,-b)$, $(-b,a)$은 항상 함께 존재한다. 이 때, 이 네 점들 중에는 $1$사분면 위의 점이 반드시 존재하므로, (일반성을 잃지 않고) 다음과 같이 $f$를 정의할 수 있다. 우선 $f(0)=0$으로 정의한다. 그리고 양의 실수의 집합을 기수(cardinality)가 같은 두개의 부분집합 $A$와 $B$로 분할하고, 전단사함수 $\varphi :A\to B$를 하나 택한다. 이제 임의의 $a\in A$에 대하여 $b=\varphi (a)$로 정의하고,

$$f(a)=b,f(b)=-a,f(-a)=-b,f(-b)=-a$$

로 각각 정의하면 $f$는 $\mathbb{R}$ 전체에서 정의된 유사대합이 된다.
아래 함수 $f$는 위의 아이디어를 바탕으로 구성한 유사대합의 한 예이다.

$$f(x)=\{\begin{array}{ll}\phantom{-x}0& \text{if}x=0\\ \phantom{-}x+1& \text{if}x>0\text{ and }\lceil x\rceil \equiv 1(\mathrm{mod}2)\\ -x+1& \text{if}x>0\text{ and }\lceil x\rceil \equiv 0(\mathrm{mod}2)\\ \phantom{-}x-1& \text{if}x<0\text{ and }\lfloor x\rfloor \equiv 1(\mathrm{mod}2)\\ -x-1& \text{if}x<0\text{ and }\lfloor x\rfloor \equiv 0(\mathrm{mod}2)\end{array}$$

$f$가 유사대합일 때, 그래프 $y=f(x)$를 생각해 보면 이 그래프는 원점을 중심으로 하는 차수가 $4$인 회전대칭(rotational symmetry)을 가짐을 알 수 있다.

위 예제에서 주어진 유사대합 $f$는 모든 정수점에서 불연속임을 알 수 있다. 그렇다면, 불연속점의 개수가 유한한 유사대합이 존재할 수 있을까?

정리 2.

실함수 $f:I\subset \mathbb{R}\to I$가 유사대합이면, $f$는 무한히 많은 불연속 점을 갖는다.

증명. 결론에 반하여 $f$가 유한한 점에서 불연속이라 가정하고, 이 불연속점들의 집합을

$$D=\{d_1,d_2,\dots ,d_k\}$$

로 나타내자. 이제 $d_0=inf(I)$, $d_{k+1}=sup(I)$로 정의하고 각각의 $i=0,\dots ,k$에 대하여 열린 구간 $I_i=(d_i,d_{i+1})$을 정의하자. 그러면 $f$는

$$C=\bigcup _{i=0}^k{I}_i=\bigcup _{i=0}^k(d_i,d_{i+1})$$

에서 연속이다. 마지막으로 집합족 $\mathcal{I}=\left\{I_i\right|i=0,\dots ,n\}$을 정의하자.

한 편, $f$는 순단조(strictly monotone)이므로 각각의 $i=0,\dots ,k$에 대하여 $f(I_i)$ 또한 열린 구간이다. 또한 $f$는 $I_i$ 위에서 연속이고 단사(injective)이므로 연속인 역함수 $g_i=f(I_i)\to I_i$가 존재한다. 따라서 $f=f\circ f\circ g_i=-g_i$를 얻고, $f$는 $f(I_i)$ 위에서 연속임을 알 수 있다. 즉, $x\in C$이면 $f(x)\in C$를 얻고, 따라서 $f(C)\subset C$를 얻는다. 이제 $y\in C\setminus f(C)$가 존재한다고 가정해 보자. 그러면 $f$가 전사(surjective)이므로, 적당한 $x\in D$가 존재하여 $y=f(x)$로 나타낼 수 있다. 하지만,

$$x=f^{\circ 4}(x)=f^{\circ 3}(f(x))=f^{\circ 3}(y)\in C$$

가 되어 모순이 발생한다. 따라서 $f(C)=C$이고 $f(D)=D$라는 결론을 얻는다. 또한

$$f(C)=C⟹\bigcup _{i=0}^{n}f(I_i)=\bigcup _{j=0}^n{I}_j$$

이므로 각각의 $i$에 대하여 적당한 $j$가 존재하여 $f(I_i)=I_j$이다. 즉, 함수 $f$를 $\mathcal{I}$ 위에서의 치환(permutation)으로 이해할 수 있다.
이제 어떤 $i=0,\dots ,n$가 존재하여 $f(I_i)=I_i$라 가정해 보자. 그러면 $f{|}_{I_i}$는 $I_i$ 위에서 연속인 유사대합이 되므로 정리 1에 의하여 $I_i$에는 적어도 하나의 불연속점이 있어야 한다. 이는 모순이므로 모든 $i=0,\dots ,n$에 대하여 $f(I_i)\ne I_i$이다. 이제 $f(f(I_i))=I_i$인 경우를 생각해 보자. 이 경우, $-I_i=I_i$이므로 $0\in I_i$이고, $f(0)=0$이므로 $f(I_i)=I_i$를 얻는다. 따라서 앞의 논의에 의해 역시 모순이 발생한다. (이 사실로부터 $0\in D$임 또한 보일 수 있다.) 또한 $f^{\circ 3}(I_i)=I_i$인 경우에도, $I_i=f^{\circ 4}(I_i)=f(I_i)$가 되어 마찬가지로 모순이 발생한다. 그러므로 각각의 $i=0,\dots ,n$에 대하여 $I_i$, $f(I_i)$, $f(f(I_i))$, 그리고 $f^{\circ 3}(I_i)$가 서로 다른 열린 구간이어야만 한다. 따라서 이 열린 구간들의 개수는 $4$의 배수여야만 하고

$$\begin{array}{}(\ast )& n+1=\left|\mathcal{I}\right|\equiv 0(\mathrm{mod}4)\end{array}$$

를 얻는다.
마지막으로 위와 유사한 논의를 집합 $D$에 대해서도 적용할 수 있다. 즉, $0$을 제외한 $D$의 각각의 원소 $d_i$에 대하여 $d_i$, $f(d_i)$, $f(f(d_i))$, 그리고 $f^{\circ 3}(d_i)$는 모두 다른 원소여야 한다. 따라서 $0$을 제외한 불연속점들의 개수는 $4$의 배수여야만 하고

$$\begin{array}{}(\ast \ast )& n-1=\left|D-\{0\}\right|\equiv 0(\mathrm{mod}4)\end{array}$$

를 얻는다. 하지만 $(\ast )$과 $(\ast \ast )$는 서로 모순이므로, 결론적으로 $f$의 불연속점의 개수는 무한히 많아야만 함을 알 수 있다.. 

참고. 함수의 정의역과 치역을 복소수까지 확장하면, 전구간에서 연속인 유사대합을 구성할 수 있다. 예를 들어 $f:\mathbb{C}\to \mathbb{C}$를 $f(z)=iz$로 정의하면 된다.