[퍼온글] 행렬 이론의 과거와 현재 - 1. 선형대수학의 시작

※ 출처 - 선형대수학 멀티미디어 교재

행렬과 행렬식에 관한 연구의 출발은 기원전 4세기일 것으로 추측한다. 그러나 연구 결과의 기록은 구체적으로 기원전 2세기의 것부터 남아있으며, 연구를 위한 수단이 갖추어지는 17세기말이 되어서야 르네상스를 맞이하여 "선형대수학"의 이름으로 크게 발전하게 된다. 이어서 제2차 세계 대전을 거치며 컴퓨터의 발전과 더불어 20세기 후반에 "행렬이론(Matrix Theory)"이란 이름으로 제2의 르네상스를 구가하고 있다. 행렬과 행렬식에 관한 연구가 연립일차방정식의 연구에서 비롯되었다는 것은 그리 놀랄만한 일은 아니다. 보통은 행렬을 먼저 생각하고 그것의 행렬식를 연상하는데 역사적으로는 반대이다. 행렬의 개념은 행렬식의 개념이 소개된지 무려 150년이 지난 후에야 소개된 개념이다. 우리는 여기서 선형대수학의 발전과정을 돌아보고 현재와 미래를 생각해보자.

선형대수학의 시작

선형대수학의 과거를 돌아보자. 기원전 4세기경에 바빌로니아인들은 연립 일차방정식으로 이어지는 문제들을 연구하였음을 점토판에 보존되어 있는 아래의 문제를 통해 알 수 있다. 

총면적 1,800평방야드의 두개의 들판이 있다. 한 곳에서는 1평방야드당 5.3 bushel의 비율로 곡물이 생산되고 다른 한곳에서는 4 bushel의 비율로 곡물이 생산된다. 만약 전체 생산량이 8,800 bushel 이라면 각 들판의 크기는 얼마인가?

그후 한왕조때인 B.C. 200년에서 B.C. 100 년 사이에 쓰여진 "구장산술''이라는 수학책에서는 최초로 행렬에 관한 문제를 다루는 해법을 설명하고 있다. 우선 이 문제는 바빌로니아인들의 해법과 유사한 것이었다. 그러나, 중국인들은 바빌로니아인들보다 행렬의 개념에 더 가깝게 다가섰다. 실제로 그 책안에 다음 문제와 해법이 있다.

세 가지 종류의 옥수수 다발들이 있다. 첫째 유형 3 다발, 둘째 유형 2 다발, 셋째 유형 1 다발을 모으면 전체는 39단위량이 된다. 또 첫째 2 다발, 둘째 3 다발, 셋째 1 다발은 34단위를 이룬다. 그리고 첫째 1 다발, 둘째 2 다발, 셋째 3 다발은 26단위를 이룬다. 이때 각 유형의 1 다발에 속해있는 옥수수의 단위량은 각각 얼마인가?

여기서 저자는 주목할만한 방법으로 이 문제에 접근한다. 그는 미지수가 3개인 일차연립방정식의 계수로 다음과 같은 표를 만들었다.

\[ \begin{array}{ccc} 1 & 2 & 3 \\ 2 & 3 & 2 \\ 3 & 1 & 1 \\ 26 & 34 & 39 \end{array} \]

그 다음을, 우리의 column 연산의 부호를 이용하여 설명한다면, 3C1 - C3 을 C1 로 대치하고 (즉, $\mapsto$) $ 3C_2 - 2C_3 \mapsto C_2 $ 하여 다음과 같은 식을 얻었다.

\[ \begin{array}{ccc} 0 & 0 & 3 \\ 4 & 5 & 2 \\ 8 & 1 & 1 \\ 39 & 24 & 39 \end{array} \]

또, $ 5C_1 - 4C_2 \mapsto C_1 $ 하여 다음과 같은 식을 얻었다.

\[ \begin{array}{ccc} 0 & 0 & 3 \\ 0 & 5 & 2 \\ 36 & 1 & 1 \\ 99 & 24 & 39 \end{array} \]

이렇게 하여 각 유형의 1 다발에 속해있는 옥수수의 단위량은 각각 얼마인지가 얻어진다 ( $x_1 = 9.25$, $x_2 = 4.25$, $x_3 = 2.75$). 이것은 행과 열이 바뀌었을 뿐, 오늘날 Gauss소거법으로 알려진 방법과 같다. 놀랍게도 이 방법은 약 2,000년 후인 19세기초까지는 세계에 널리 알려지지 않았다. Gauss는 Pallas 소행성의 연구중, 1803년에서 1809년 사이에 행해 진 그 궤도의 관찰 기록을 이용하여, 미지수가 6개인 연립일차방정식을 만들었으며, 이 계수행렬에 대해 현재 "가우스 소거법"이라 불리는 방법을 고안해 냈다.

카르다노(Cardano)는, 1545년 그의 책 "위대한 술법(Ars Magna)"에서, 현재의 "미지수가 2개인 연립일차방정식의 해법"과 같은 방법을 소개했다. 이 방법을 지금 재해석해 보면 궁극적으로 행렬식의 정의로 이어짐을 알 수 있다. 1660년 de Witt는 데카르트(Descartes)의 책 "기하학"의 라틴어 번역판에 대한 논평의 한 부분으로 발표한 "Elements of Curves"에서 축의 이동으로, 현재 "대칭행렬의 대각화"라고 알려진, Quadratic function (conic section)의 canonical form을 찾는 방법을 소개했다.

행렬식의 개념은 일본인 Seki Kowa 가 1683년에 먼저 발표했으며 일본과 유럽에서 거의 동시에 등장했다. 1683년 Seki는 앞서 서술한 중국인의 해결방법과 구성이 일치하는 방법으로 $ 2 \times 2$, $3 \times 3$, $4 \times 4$, $5 \times 5$ 행렬의 행렬식을 구하는 방법을 찾아서 방정식의 해법을 구했다. 이 Seki Kowa(1642-1708)라는 사무라이 가정에서 태어난 수학자는 뉴턴(Newton)과 동시대인으로서 미적분학을 발견한 동양의 Isaac Newton으로 재평가되고 있다. 유럽에서 행렬식이 처음 대두된 것은 같은 해인 1683년이었다. 그 해에 Leibniz는 de L'Hopital 에게 보낸 편지에서 다음 연립 방정식이

\[ 10 \cdot 21 \cdot 32 + 11 \cdot 22 \cdot 30 + 12 \cdot 20 \cdot 31 = 10 \cdot 22 \cdot 31 + 11 \cdot 20 \cdot 32 + 12 \cdot 21 \cdot 30 \]

이므로 해를 갖는다고 설명했다.

\[ \begin{aligned} 10+11x+12y & = 0 \\ 20+21x+22y & = 0 \\ 30+31x+32y & = 0 \end{aligned} \]

이것은 주어진 계수행렬의 행렬식이 영이라는 조건을 보인 것이다. 따라서, 일반적인 행렬식의 개념은 1693년 라이프니츠에 의하여 소개 된 것으로 알려지기도 하고 그 전에 가우스에 의하여 알려졌다고 하기도 한다. 라이프니츠는 수학연구에 있어서 좋은 기호체계는 바로 연구 발전의 주요 요소라고 믿었기에 다양한 기호체계로 계수행렬의 연구를 시도했다. 그의 미발표 자료에는 1678년부터 약 50년간 연구한 50 가지 이상의 다양한 계수행렬 체계가 들어있다. 그는 1700년과 1710년의 단 두번의 출판으로 계수행렬 체계의 결과를 보여주었는데, 거기에서는 앞서 언급했던 de L'Hopital에게 보낸 자료에서 와 같은 기호체계를 사용하고 있다.

라이프니츠는 현재의 Cramer 공식에 이르는 기본 원리를 포함하는 결과와 현재 Laplace 여인자 전개식이라 불리는 결과의 초보적인 내용 등도 보였었다. 년대에 Maclaurin은 2차, 3차 계수행렬을 갖는 연립일차방정식에 대한 Cramer의 공식을 증명하고, 4차의 경우에 대한 최초의 연구결과를 (사후인 1748년에) 발표했다. 그후 1750년 Cramer는 $n$차 계수행렬을 갖는 연립일차방정식에 대한 일반적인 공식 "$n$개의 미지수를 가지는 연립일차방정식을 풀기 위하여 $n$개의 분수를 만드는데 그 공통 분모는 $n$개에 대한 순열의 개 수, $n!$ , 만큼의 항을 갖는다.''을 (부록에 증명 없이) 준 것이다. Cramer는 더 나아가서 주어진 방 정 식의 특정계수들의 곱으로 항들을 찾는 방법과 각 항의 부호를 결정하는 법도 보여주었다. 그는 또한 상수항을 특정계수 자리에 배치함으로써 n개의 분자를 찾을 수 있음을 보여주었다. 이는 "주어진 점들을 지나는 평면곡선의 방정식"을 찾고자하는 노력에 기인한 것이다. 이 연구는 1771년 Vandermonde가 현재 Vandermonde 행렬이라고 알려진 행렬을 이용하여 보간법 문제를 해결하면서 해결되었다.

"행렬식"이라는 용어를 처음으로 소개한 사람은 Gauss였는데, 그가 행렬식라는 용어를 사용 한 것은 행렬식이 정사각형(행렬)의 성질을 결정(determine)할 수 있기 때문이었다. 그러나 그 개념은 우리가 알고있는 행렬식과는 다른 것이었다. 현대적 의미의 "행렬식"이라는 용어를 사용하기 시작한 사람은 1812년 Cauchy 였다. 그의 결과 는 이전까지의 초기 연구중 가장 완성도가 높은 것이다. 그는 초기 연구결과들을 재증명했고, 계 수행렬을 "tableau"라고 불렀으며, 고유값(eigenvalue)을 발견했고, 행렬의 대각화에 관한 결과 와 닮은(similar)행렬의 개념을 주었다. 또, "모든 실계수 대칭행렬은 대각화가능함(diagonalizable)" 을 증명했다.

1821년 "tableau"란 이름으로 행렬을 소개한 Cauchy는 1841년, 행렬식 이론에 관해 최초의 영 문 논문을 기고했다. 이 논문에서 그는 두개의 수직선을 양옆에 그려 행렬식을 표기했고, |*| , 그 표기법이 현재 표준 기호가 되었다. 이외에도, 다른 관점에서 위와 관련된 결과들을 연구하고, 부분적으로는 좋은 결과를 낸 수학자로 Jacques Sturm, D'Alembert, Jacobi, Kronecker, Weierstrass등을 들 수 있다. 다시 말하면, 행렬식은 1693년에 Leibniz에 의해 연립일차방정식의 해를 구하는데 이용되었으며 행렬의 개념은 행렬식이 소개된 지 120여년이 지난 1812년에야 비로소 Cauchy가 처음 이용하였다. 더구나 그때는 현재 우리가 쓰고 있는 편리한 행렬의 표기법을 쓰지 않았기 때문에 널리 이 용되지 않고 있다가 1851년에 가서야 Sylvester 가 제안한 표기법이 보편화되면서 발전하였다. 사실 n2 개의 계수들의 배열에 대한 연구를 수학적으로 발전시키기 위해서는 그것을 쉽게 쓸 수 있는 표기법의 개발과 그들 사이의 관계를 설정할 연산, 즉 곱셈 연산이 절대적으로 필요했던 것이다. 이 문제는 행렬식이 소개된 지 150년이 지나 이미 행렬식에 대한 많은 연구가 진행된 후인 1851년에야 Sylvester가

\[ \begin{array}{ccc} {a_1 \alpha_1} & \cdots & {a_1 \alpha_n} \\ \vdots & \ddots & \vdots \\ {a_n \alpha_1} & \cdots & {a_n \alpha_n} \end{array} \]

으로 n2 개의 계수들의 배열을 나타내고 이것을 행렬(matrix),즉 $n \times n$(정사각) 행렬 이라고 불렀는데 MATRIX라는 말은 자궁(womb)이라는 말의 Latin어 단어로서 이것은 위의 계수들의 배열의 행(row) 또는 열(column)들이 행렬식을 배태해 낸다는 것을 고려하여 이름붙인 것으로 생각 된다. 이것이 첨자를 간편하게 섞어 쓰면서 현재 쓰는 행렬의 표기법 A = [ aij ] 로 발전한 것이다. 1851년 미국을 떠나 영국으로 돌아와 변호사가 된 Sylvester는 동료 변호사이자 그와 마찬가지로 수학에 관한 깊은 관심을 갖고있던 Arthur Cayley를 만나게 된다. Cayley는 Sylvester를 통하여 행렬 개념의 중요성을 인식하고 1853년 역행렬에 관한 논문을 최초로 발표했다. 곧이어, Arthur Cayley는 1855년 선형변환(Linear Transformation)을 연구하면서 행렬간의 곱셈을 정의하게 되고 행렬 대수(Matrix Algebra)를 연구하게 된 것이다. 즉,

\[ \begin{aligned} T_1 : {x \prime} & = ax + by \\ {y \prime} & = cx + dy \end{aligned} \qquad \begin{aligned} T_2 : {x \prime \prime} & = {\alpha x \prime} + {\beta y \prime} \\ {y \prime \prime} & = {\gamma x \prime} + {\delta y \prime} \end{aligned} \]

이면

\[{T_2 \cdot T_1} {\left( \begin{array}{c} x \\ y \end{array} \right)} = {\left( \begin{array}{c} {x \prime \prime} \\ {y \prime \prime} \end{array} \right)} \]

이 되는 $T_2 \cdot T_1 $은 무엇인가 생각하던 중,

\[ {\left( \begin{array}{c} {x \prime \prime} \\ {y \prime \prime} \end{array} \right)} = {\left( \begin{array}{c} x \\ y \end{array} \right)} \]

임을 알아차리고

\[ { T_2 \cdot T_1} : = {\left[ \begin{array}{cc} \alpha & \beta \\ \gamma & \delta \end{array} \right]} {\left[ \begin{array}{cc} a & b \\ c & d \end{array} \right]} = {\left[ \begin{array}{cc} \alpha a + \beta c & \alpha b + \beta d \\ \gamma a + \delta c & \gamma b + \delta d \end{array} \right]} \]

로 정의한 것이다. 이후에야 비로소 (vector가 아닌) 행렬들의 집합 안에 수학적 구조를 주는 행렬대수가 시작됐 다. 따라서 자연스러운 다음 관계로 그간 진행된 행렬식에 관한 연구와 새로 시작된 행렬대수 사이의 관계를 조사하게 되었고, 그래서 나온 첫 번째 중요한 결과가 행렬식의 곱셈에 관한 성질 즉,

\[ \mbox{det}(AB) = \mbox{det}(A) \cdot \mbox{det}(B) \]

이다. Cayley는 이 결과를 보면서 "행렬이론은 그간 150여년간 그렇게 중요하게 생각하고 많이 연구되어온 행렬식이론을 크게 압도하게 될 것"이라고 예언 했다. 실제로 이후의 선형대수학의 연구는 행렬(Matrix)자체의 연구, 선형변환(Linear Transformation)으로서의 행렬연구, 행렬대수 (Matrix Algebra)이론 등을 중심으로 재편되었다. Cayley는 또한 "2차 정사각행렬은 자신의 특성방정식을 만족한다"는 것을 증명했다. 그는 자신 이 3차 정사각행렬에 관한 연구결과도 확인했다고 주장했다. "임의의 행렬이 자신의 특성방정식 을 만족한다"는 정리를 일컬어 "Cayley-Hamilton 정리"라고 하는 이유는 실제로 Hamilton이 4 원수(Quoternion) 연구를 하던 중 "4차 정사각행렬은 자신의 특성방정식을 만족한다"는 것을 증명했기 때문이다. Jordan은, 1870년, Jordan표준형에 대한 연구를 발표했으며, Frobenius도, 1878년부터 독자적으로 여러 연구 결과를 발표했는데, 이에는 Frobenius Normal Form, 행렬의 Rank나 Nullity에 관한 부등식을 들 수 있다. 예를 들어,

\[ {\mbox{max}(\mbox{nullity}(A), \mbox{nullity}(B))} \leq {\mbox{nullity}(AB)} \leq{\mbox{nullity}(A) + \mbox{nullity}(B)} \]

또 Frobenius는 1896년, Cayley-Hamilton 정리의 일반적인 경우에 대해서도 최초로 증명했는 데, 연구 결과를 Cayley의 공으로 너그럽게 양보했다. 한가지 더 지적하자면 이 연구의 시기이다. 이때는 유럽대륙의 수학자들이 장악하던 수학계 에 DeMorgan, Boole 등의 영국 수학자들이 부울대수(Boolean Algebra) 등 다양한 수학적 체계에 관한 연구를 시작하고 있었으며, Charles Babbages는 현대적인 계산기를 개발하고 있던 때였다는 것이다.

Hermann Grassman은 벡터들 사이의 내적(Inner product)을 정의하여 벡터대 수(Vector algebra)를 연구하였다. 행렬 대수는 행렬곱셈을 곱셈 연산으로 하는 벡터대수의 일반 화 로 볼 수 있다. 왜냐하면, 벡터의 내적은 행렬 중 특별한 경우인 $1 \times n$행렬와 $n \times 1$행렬의 곱셈으로 생각할 수 있기 때문이다. 따라서 벡터대수는 행렬대수의 특별한 경우임을 알 수 있다. 흥미있는 것은 벡터대수에서는 볼 수 없었던 아름다운 수학적 구조가 일반화된 (일반적으로 더 복잡해야 한다고 생각되는) 행렬대수에서는 확연하고 간결하게 보여진다는 것이며, 이는 수학 적 이론의 일반화가 갖는 기본적 중요성을 다시 일깨워 주는 것이다. 또 한가지 흥미있는 사실은 Cayley의 예언이후 선형대수학의 발전과정이다. 크게 두 가지로 나누어 볼 수 있는데 첫째로 행렬을 유한차원 벡터공간 상의 선형변환으로 여기고 시작한 연구는 선형변환의 일반 이론의 발전에 힘입어 무한차원에서의 작용소이론(Operator Theory)으로 발전해 가면서 선형대수 학은 유한차원인 특수한 경우로 여겨지면서 간과되었고, 둘째로 행렬을 선형변환으로 생각하는 연구에서는 더욱 일반적인 함수론의 연구에, 또 행렬 자체에 대한 연구에서는 특별한 경우인 벡터의 연구로 말하자면 선형대수학 연구 자체는 한 동안 (2차세계대전 종전 전까지 적어도 대부분의 수학자에게는) 간과되어 왔던 것을 알 수 있다. 적어도, 일반의 수학자들에게는 그렇게 보였을 것이다.

선형대수학의 '르네상스'는 2차 세계 대전 후에 오게 되었는데, 이에 대한 동기는 무엇이었을까? 그 답은 다음과 같다.