note [🌿 다듬는 중 · growing] [⏳ 시점에 민감 · date-sensitive]

손끝은 같은데 팔꿈치는 다르다 — AI가 찾은 야코비안 추측의 반례

발행 2026-09-14 수정 2026-10-08 약 9분 · 각주 3분

목차 8

책상 위에 길이가 같은 막대 두 개를 놓고 끝을 이어 보자. 한쪽 끝은 책상에 고정하고, 가운데 연결부는 팔꿈치처럼 접힐 수 있게 둔다. 관절이 둘뿐인 단순한 로봇팔이다. 이제 동전 하나를 놓고, 고정하지 않은 쪽 끝, 곧 손끝을 그 위에 가져다 댄다. 팔꿈치를 한쪽으로 꺾어도, 반대쪽으로 꺾어도 손끝은 같은 동전에 닿을 수 있다.

손끝 위치를 알려 주면 팔의 자세도 하나로 정해질 것 같지만, 그렇지 않다. 다만 자세를 하나 골라 놓고 손끝을 아주 조금만 옮긴다면, 관절을 어떻게 돌려야 하는지는 하나로 정해진다. 지금 자세 근처에서 되돌려 계산할 수 있다는 것과, 모든 자세를 통틀어 답이 하나라는 것은 다르다.

조건을 훨씬 엄격하게 걸면 이 차이가 사라지는지 묻던 문제가 야코비안 추측이다. 조건이 그만큼 엄격하다면, 어느 점 근처에서나 되돌릴 수 있는 계산은 전체에서도 되돌릴 수 있으리라는 예상이었다. 1939년에 나온 추측인데, 2026년 7월 수학자 레벤트 알푀게(Levent Alpöge)가 AI의 도움으로 찾은 3차원 반례를 공개했다. 추측이 참이라고 증명한 것이 아니라, 조건을 모두 만족하면서 결론은 어기는 예를 찾아낸 것이다.¹ 로봇팔에서 시작하면 이 소식이 무슨 뜻인지 조금은 감을 잡을 수 있다.

같은 손끝에 도달하는 두 자세

막대의 길이는 각각 1, 고정한 기준점은 $(0,0)$ 이라고 하자. 손끝의 목표는 오른쪽으로 1만큼 떨어진 $(1,0)$ 이다. 여기서는 관절의 회전 제한이나 장애물은 생각하지 않고, 손끝의 위치만 본다. 손끝이 닿을 때 두 번째 막대가 어느 쪽을 향하는지는 따지지 않는다.

길이가 1인 막대 두 개를 이은 로봇팔을 두 번 그렸다. 왼쪽은 팔꿈치를 위로, 오른쪽은 아래로 꺾었지만, 두 그림 모두 손끝은 기준점에서 오른쪽으로 1만큼 떨어진 같은 자리에 닿는다.

첫 막대가 오른쪽 수평선과 이루는 각도를 $\theta_1$ 이라고 하자. $\theta_2$ 는 팔꿈치에서 잰다. 첫 막대를 팔꿈치 너머로 곧게 늘인 점선에서 두 번째 막대가 꺾인 각도다. 팔을 일직선으로 펴면 $\theta_2$ 는 $0^\circ$ 다. 반시계 방향을 양수로 세면 두 자세는 다음과 같다.²

자세	첫 관절 $\theta_1$	두 번째 관절 $\theta_2$	손끝
팔꿈치 위	$60^\circ$	$-120^\circ$	$(1,0)$
팔꿈치 아래	$-60^\circ$	$120^\circ$	$(1,0)$

팔꿈치 위 자세에서는 두 막대가 가로로 각각 $1/2$ 씩 나아가 합이 1이 된다. 세로로는 첫 막대가 올라간 만큼 두 번째 막대가 내려와 0이 된다. 팔꿈치 아래 자세는 위아래만 뒤집은 같은 계산이다.

관절 각도에서 손끝 위치를 계산하는 규칙을 $F$ 라고 부르면, 서로 다른 두 입력이 같은 출력으로 간 셈이다. 손끝만 찍은 사진으로는 팔꿈치가 어디에 있었는지 알 수 없다.

야코비안은 지금 자세 근처를 본다

이번에는 팔꿈치를 위에 둔 채 손끝을 조금 오른쪽으로 옮기고 싶다. 두 관절을 얼마나 돌려야 할까.

각 관절을 조금 돌렸을 때 손끝이 가로와 세로로 얼마나 움직이는지를 표처럼 모은 것이 야코비안 행렬이다. 칸마다 적는 값은 미분값, 곧 관절을 조금 돌릴 때 손끝이 그 몇 배만큼 움직이는지를 나타내는 수다. 이 로봇팔은 관절 각도가 둘이고 손끝 좌표도 둘이므로, 표는 가로 두 칸, 세로 두 칸이다.³

이 표에서 행렬식이라는 숫자 하나를 계산할 수 있다. 이 숫자의 뜻도 팔의 움직임으로 이해할 수 있다. 팔꿈치 위 자세에서 첫 관절만 조금 돌리면 손끝은 위아래로 움직이고, 두 번째 관절만 돌리면 비스듬한 방향으로 움직인다. 이렇게 두 방향이 엇갈려 있으면 행렬식은 0이 아니다. 두 움직임을 알맞게 섞어 손끝을 어느 쪽으로든 조금 옮길 수 있고, 섞는 비율도 한 가지뿐이다. 표를 거꾸로 읽어, 손끝의 작은 움직임에서 관절의 작은 회전을 구할 수 있다는 뜻이다. 두 방향이 한 직선 위에 겹치면 행렬식은 0이 되고, 표를 거꾸로 읽을 수 없다.

다만 이 표는 아주 작은 움직임을 근사해서 보여 준다. 역함수 정리는 이 표에서 얻은 결론이 실제 함수에서도 성립하는 조건을 알려 준다. 함수가 끊기거나 꺾인 데 없이 매끄럽고 어떤 점에서 행렬식이 0이 아니면, 그 점의 충분히 작은 주변에서는 실제 함수도 되돌릴 수 있다는 정리다.⁴

길이가 각각 1인 이 팔에서는 행렬식이 $\sin\theta_2$ 다. 위의 두 자세에서는 각각 $-\sqrt{3}/2$ 와 $\sqrt{3}/2$ 로, 둘 다 0이 아니다.² 따라서 지금 어느 자세에 있는지 안다면, 손끝을 가까운 곳으로 옮길 때 관절을 어떻게 돌려야 하는지도 그 자세 근처에서 하나로 정해진다.

처음 질문의 답도 여기서 나온다. 팔꿈치 위 자세에서 손끝을 오른쪽으로 조금 옮기려면, 팔꿈치를 조금 펴면서 첫 막대를 그 절반만큼 눕히면 된다. 예를 들어 $\theta_2$ 를 $-120^\circ$ 에서 $-118^\circ$ 로 $2^\circ$ 펴고 $\theta_1$ 을 $60^\circ$ 에서 $59^\circ$ 로 $1^\circ$ 눕히면, 손끝은 높이를 지킨 채 오른쪽으로 0.03쯤 나아간다. 이 자세 가까이에서는 다른 답이 없다.

이런 성질을 국소적으로 가역적이라고 한다. 국소는 지금 자세에서 가까운 곳만 본다는 뜻이고, 가역적은 계산을 되돌릴 수 있다는 뜻이다. 하지만 팔꿈치 위 자세의 주변과 팔꿈치 아래 자세의 주변은, 관절 각도로 보면 서로 멀리 떨어진 곳이다. 주변마다 답이 하나씩 나온다고 해서, 둘을 합쳐 놓았을 때도 답이 하나인 것은 아니다.

전역적으로 되돌릴 수 있으려면 입력 전체를 통틀어, 같은 출력을 내는 입력이 하나뿐이어야 한다. 로봇팔은 같은 손끝에 닿는 자세가 이미 둘이니 이 문턱을 넘지 못한다.

야코비안 추측은 조건을 더 강하게 건다

로봇팔만으로 끝날 이야기였다면 이 추측이 87년이나 버텼을 리 없다. 야코비안 추측은 아무 함수나 허용하지 않는다.

첫째, 변환은 다항식이어야 한다. $x^2+3xy+1$ 처럼 변수와 숫자를 유한 번 더하고 곱하기만 해서 만드는 식이다. 로봇팔의 위치 공식에 쓰이는 사인과 코사인은 여기에 들어가지 않는다.

둘째, 야코비안 행렬식이 몇몇 자세에서만 0이 아닌 것으로는 부족하다. 모든 입력에서 똑같은, 0이 아닌 상수여야 한다. 로봇팔의 행렬식 $\sin\theta_2$ 는 자세마다 값이 다르고, 팔을 완전히 펴거나 접으면 0이 된다. 앞의 두 자세에서 0이 아니었다는 것만으로는 이 조건을 채우지 못한다.

그런데 행렬식이 0이 되는 그 자세는 앞의 두 자세를 가르는 경계이기도 하다. 팔꿈치 위 자세에서 아래 자세로 넘어가려면 팔을 한 번은 일자로 펴거나 완전히 접어야 한다. 추측의 조건에서는 이런 경계가 아예 생기지 않는다.

좌표가 하나뿐인 경우를 보면 이 조건이 얼마나 센지 알 수 있다. 좌표가 하나면 표는 한 칸이고, 행렬식은 그냥 미분한 값이다. $x^2$ 은 미분하면 $2x$ 여서 $x=0$ 에서 0이 되고, 0의 양쪽에 있는 $x=2$ 와 $x=-2$ 는 제곱하면 똑같이 $4$ 가 된다. 미분한 값이 어디서나 같은 0 아닌 상수인 다항식은 $2x+3$ 같은 일차식뿐이다. 일차식은 $y=2x+3$ 을 $x=(y-3)/2$ 로 풀듯이 언제나 되돌릴 수 있다. 그러나 좌표가 여럿이면 일차식이 아닌 다항식도 이 조건을 채울 수 있다. 그때도 언제나 되돌릴 수 있을까. 야코비안 추측은 그렇다고 봤다.

추측을 복소수 범위에서 적으면 이렇다.⁵

복소수 좌표 $n$ 개를 입력받아 $n$ 개를 출력하는 다항식 변환에서, 야코비안 행렬식이 모든 곳에서 같은 0 아닌 상수라면, 다항식으로 된 역함수가 존재한다.

복소수는 제곱하면 $-1$ 이 되는 수 $i$ 까지 받아들여 실수를 넓힌 수다. 좌표의 개수 $n$ 이 곧 차원이어서, 앞에서 말한 3차원 반례는 복소수 좌표가 세 개인 경우다. 책상 위 로봇팔이나 우리가 사는 공간을 그대로 옮긴 이야기는 아니다.

역함수는 출력을 받아 원래 입력을 돌려주는 규칙이다. 그런 규칙이 있으려면 같은 출력에 서로 다른 입력 두 개가 붙어 있어서는 안 된다. 그래서 이 추측을 깨는 한 가지 방법은 분명하다. 다항식이라는 조건과 행렬식이 0이 아닌 상수라는 조건을 지키면서, 서로 다른 입력이 같은 출력으로 가는 예를 찾으면 된다.

로봇팔은 무엇을 찾아야 하는지 보여 준다. 다만 실제 반례는 로봇팔보다 훨씬 까다로운 규칙 안에서 그 일을 해내야 한다.

세 입력이 같은 출력으로 갔다

2026년 7월 공개된 반례는 바로 그 일을 해냈다. 알푀게가 활용한 AI는 Anthropic의 Claude Fable 5였다.¹ 같은 달 21일 테렌스 타오는 반례의 식을 적고, 왜 그런 구성이 가능한지 해설했다.⁶

반례는 복소수 좌표 세 개 $(x,y,z)$ 를 받아 세 개를 내놓는 다항식 변환 $F$ 다. 식은 세 줄이면 적을 수 있어 각주에 옮겨 두었다.⁷ 이 식을 미분해서 행렬식을 정리하면

\det DF=-2

가 된다. $DF$ 는 $F$ 의 야코비안 행렬이고 $\det$ 는 그 행렬식이다. 특정 숫자를 넣었을 때만 $-2$ 가 나오는 것이 아니라, 식을 정리하면 $x$ , $y$ , $z$ 가 모두 사라지고 항상 이 값만 남는다.

그런데 다음 세 입력을 넣으면 출력이 같다.

서로 다른 입력	같은 출력
$(0,0,-1/4)$	$(-1/4,0,0)$
$(1,-3/2,13/2)$	$(-1/4,0,0)$
$(-1,3/2,13/2)$	$(-1/4,0,0)$

모든 점에서 국소적으로 되돌릴 수 있는데, 전체에서는 어느 입력이었는지 하나로 정할 수 없다. 로봇팔에 빗대면 같은 손끝에 닿는 자세가 셋인 셈이다. 다만 로봇팔에는 두 자세를 가르는 경계가 있었고, 이 변환에는 행렬식이 0이 되는 곳이 하나도 없다. 그런데도 세 입력의 출력이 겹쳤다. 이 변환에는 역함수가 없다. 다항식이라는 조건도, 어디서나 일정한 행렬식이라는 조건도 전역적 유일성을 보장하지 못했다.

이 결과가 어디까지 미치는지는 나눠서 봐야 한다. 이번 반례로 3차원 이상의 야코비안 추측은 거짓으로 드러났다. 좌표가 넷 이상일 때는 앞의 세 좌표에 이 변환을 그대로 쓰고 나머지 좌표는 건드리지 않으면 역시 반례가 된다. 그러나 2차원 문제는 여전히 열려 있다. 참인지 거짓인지 아직 모른다는 뜻이다. 이 글은 2026년 9월 30일까지 확인한 공개 자료를 기준으로 한다.⁸

반례를 찾는 일과 확인하는 일

87년 된 추측인데 마지막 검사는 생각보다 짧다. 주어진 식이 다항식인지 보고, 야코비안 행렬식을 계산해 항상 $-2$ 인지 확인하고, 서로 다른 세 입력을 넣어 출력이 같은지 보면 된다. 다만 행렬식 검사는 몇 군데에 숫자를 넣어 보는 실험이 아니다. 문자를 그대로 둔 채 계산해 $-2$ 만 남는지 봐야 한다. 어떤 값을 넣어도 성립하는 등식, 곧 항등식인지 확인하는 일이다.

앞의 세 입력 가운데 첫 입력 $(0,0,-1/4)$ 은 암산으로도 확인된다. $x$ 와 $y$ 가 모두 0이어서, 각주에 옮겨 둔 세 식 가운데 첫 식에는 $z$ 만 남고 나머지 두 식은 0이 된다.⁷ $z$ 가 $-1/4$ 이니 출력은 $(-1/4,0,0)$ 이다.

그런 식을 찾는 일은 사정이 다르다. 아무 단서 없이 그런 다항식을 찾아내라고 하면 막막하다. 하지만 누군가 정확한 식을 내놓으면, 무엇을 계산해야 하는지는 분명해진다. AI가 어떤 생각을 거쳐 답을 찾았는지 전부 재현하지 않아도 반례는 확인할 수 있다.

그래도 계산을 마쳤다고 궁금증까지 사라지지는 않는다. 왜 하필 이 식에서는 복잡한 미분항들이 지워질까. 어떻게 이런 예를 떠올릴 수 있었을까. 타오는 반례의 기하학적 구조를 풀어 설명했고, 아르노 판덴에선(Arno van den Essen)은 9월 원고에서 기초적인 계산으로 같은 반례에 이르는 길을 제시했다.⁹ 맞는 답을 얻은 뒤에도, 그 답을 이해하는 일이 남는다.

AI가 오래된 문제를 풀었다는 소식을 들으면, 나는 그다음 장면이 더 궁금하다. 나온 답이 맞는지 확인하는 사람이 있고, 그 답이 나올 수밖에 없었던 구조를 설명하려는 사람이 있다. 발견 뒤에 이어지는 수학도 꽤 길다.

반례 하나에서 67%로

야코비안 추측을 무너뜨리는 데에는 조건을 모두 지키는 반례 하나로 충분했다. 반대로 추측이 참이라고 증명하려면, 결론이 맞는 경우를 얼마나 많이 보여야 할까. 리만 가설은 어떤 수들이 모두 한 줄 위에 놓인다고 예측한다. Anthropic이 발표한 연구는 가설 자체를 증명하지는 못했지만, 그 수들 가운데 줄 위에 있다고 보장할 수 있는 비율을 약 67%까지 높였다.¹⁰

그 숫자가 왜 큰 진전이면서도 가설의 해결은 아닌지, 다음 글 67%는 어디까지인가 — AI와 리만 가설에서 따라가 보자. 반례 하나와 달리, ‘대부분’을 보장하고도 ‘모두’에 이르지 못하는 이야기다.

더 들어가려면

알푀게의 반례 발표 — 반례의 식이 실린 원문이다. 질문을 제안한 사람과 Fable도 여기에 언급돼 있다.
타오의 반례 해설 — 직접 대입해 볼 수 있는 식에서 출발해, 그 식 밑에 깔린 기하학을 설명한다.
판덴에선의 기초적인 유도 — 반례를 어떻게 찾아갈 수 있는지 계산 과정을 따라가는 9월 프리프린트다.

알푀게의 원문은 한국 시간 2026년 7월 20일의 발표다. 미국 서부에서는 19일이어서 문헌에 두 날짜가 함께 보인다. AI 모델의 이름은 아르노 판덴에선(Arno van den Essen)의 원고 An elementary way to find a counterexample to the Jacobian Conjecture 서론에 명시돼 있다. 이 원고는 추측이 1939년 Keller에게서 시작했다는 역사도 설명한다. ↩ ↩²
두 관절 평면 로봇팔의 위치는 $x=L_1\cos\theta_1+L_2\cos(\theta_1+\theta_2)$ , $y=L_1\sin\theta_1+L_2\sin(\theta_1+\theta_2)$ 다. 라디안으로 잰 각도로 미분하면 야코비안 행렬식은 $L_1L_2\sin\theta_2$ 이며, 본문에서는 $L_1=L_2=1$ 이다. 각도 표의 도 단위는 자세를 읽기 쉽게 표시한 것이다. 팔꿈치 위와 아래의 두 해는 Wanxin Jin의 강의 Inverse Kinematics, Fig. 35 참고. 본문의 수치는 이 식에 대입해 확인할 수 있다. ↩ ↩²
Jesse Haviland와 Peter Corke, Manipulator Differential Kinematics: Part 1: Kinematics, Velocity, and Applications. 야코비안이 관절 속도와 말단 속도를 어떻게 잇는지, 역기구학에 어떻게 쓰이는지 설명한다. ↩
여기서는 입력과 출력의 차원이 같은 매끄러운 함수에 역함수 정리를 적용한다. 행렬식이 0이 아닌 점 주변에서 매끄러운 국소 역함수가 존재한다. 이것은 국소적인 결론이어서, 모든 출력에서 원래 입력이 하나라는 전역적 결론과는 다르다. 복소 다항식에서 이 조건과 국소 가역성이 어떻게 이어지는지는 타오의 해설 첫 부분 참고. ↩
추측의 정확한 진술은 타오의 Conjecture 1 및 판덴에선의 2절에 있다. 여기서는 표수 0인 복소수 범위를 다루며, 유한체 등 다른 범위의 문제와 섞지 않는다. ↩
Terence Tao, A digestion of the Jacobian conjecture counterexample, 2026년 7월 21일. AI를 활용한 3차원 반례를 Theorem 2로 설명하고 구체적인 계산을 제시한다. ↩
알푀게의 발표와 타오의 식 (1)⁠을 쓰면 다음과 같다. 입력을 $(x,y,z)$ , $s=1+xy$ 로 놓고 $F=(P,Q,R)$ 라 하자. $s$ 는 새로운 독립 변수가 아니라 식을 줄여 쓰는 기호다.
$\begin{aligned} P&=s^3z+y^2s(4+3xy),\\ Q&=y+3xs^2z+3xy^2(4+3xy),\\ R&=2x-3x^2y-x^3z. \end{aligned}$
본문의 행렬식과 세 입력의 출력은 이 식으로 계산해 확인할 수 있다. 첫 입력에서는 $x=y=0$ 이어서 $s=1$ 이고, $P=z$ , $Q=0$ , $R=0$ 이 남는다. ↩ ↩²
타오의 해설은 서두에서 추측이 3차원에서, 따라서 더 높은 차원에서도 거짓이고 2차원에서는 여전히 열려 있다고 적는다. 3차원 반례를 더 높은 차원으로 확장하는 것은 2차원 반례를 만드는 것과 다르다. David Speyer, The new counterexample to the Jacobian conjecture, 2026년 7월 20일. 반례의 식을 옮겨 적고, 이 변환이 일대일이 아니라는 점을 짚은 글이다. ↩
타오는 해설에서 저차 다항식의 곱과 그 분해를 통해 구조를 설명한다. 판덴에선이 9월 15일 arXiv에 제출한 원고는 기초적인 계산으로 반례를 하나 만든 뒤, 이 반례가 선형 좌표변환을 거치면 알푀게의 반례와 같아진다는 것을 보인다. 이 원고는 프리프린트이며, 여기서 학술지 심사를 마쳤다고 주장하는 것은 아니다. ↩
Anthropic, Learning more about Claude’s mathematical capabilities, 2026년 8월 10일. 연구용 Claude가 리만 제타 함수의 영점 가운데 임계선 위에 놓이는 비율의 하한을 높였다고 발표했다. 리만 가설 자체를 증명한 결과는 아니며, 비율이 세는 대상과 한계는 다음 글에서 다룬다. ↩