note [🌿 다듬는 중 · growing] [⏳ 시점에 민감 · date-sensitive]

AI가 수학을 풀었다는데 — 커피잔 속 백만 달러짜리 질문

작성 2026-09-14 수정 2026-09-26 약 11분 · 각주 3분

목차 9

커피에 우유를 붓고 숟가락을 돌린다. 하얀 실이 길게 늘어나다가 갈라지고, 작은 소용돌이들이 생겼다가 사라진다. 우리는 이 장면을 보면서 수학의 위기를 느끼지는 않는다. 대개는 한 모금 마신다.

그런데 이 익숙한 움직임을 적는 방정식에는 백만 달러짜리 질문이 걸려 있다. 처음에 얌전하게 움직이던 유체가, 방정식 안에서는 유한한 시간 뒤 감당할 수 없는 속도로 치달을 수 있을까. 나비에–스토크스 존재성과 매끄러움 문제다.¹

2026년 9월 8일, OpenAI는 AI 시스템이 이 문제의 해법을 찾았다며 논문을 공개했다. 컴퓨터가 검사할 수 있도록 Lean이라는 언어로 옮겨 적은 형식 증명도 함께 내놓았다. 매끄러운 외부 힘을 받는 3차원 유체에서, 속도가 끝없이 커지는 경우를 구체적으로 만들어 보였다는 발표다.² 상금을 내건 클레이 수학연구소는 9월 11일, 문제가 풀린 것으로 보인다는 소식을 반기면서도 검토와 공로 판단은 서두르지 않겠다고 밝혔다.³

대단한 소식이라는 것까지는 알겠다. 그런데 “AI가 수학을 풀었다”는 말만으로는 커피가 어떻게 된다는 건지 감이 오지 않는다.

2026년 2월에는 컴퓨터과학자 도널드 커누스가 고민하던 길찾기 문제를 클로드가 풀었다는 소식도 있었다.⁴ 소용돌이와 길찾기는 꽤 멀어 보이지만, 두 이야기를 따라가면 같은 질문을 만나게 된다. 풀이를 발견하는 일과, 그 풀이가 맞는지 확인하는 일은 어떻게 다른가.

일단 커피잔에서 시작해 보자.

커피잔 속 화살표들이 따르는 규칙

당구공 하나라면 어느 방향으로 얼마나 빠르게 움직이는지 적으면 된다. 물은 조금 귀찮다. 여기 있는 물과 바로 옆의 물이 서로 다른 방향으로 움직일 수 있다. 그래서 공간의 각 위치에 작은 화살표를 붙인다. 화살표의 방향은 물이 가는 방향이고, 길이는 속력이다. 일기예보에서 지역마다 바람 화살표를 그려 넣은 지도와 비슷하다. 다만 유체의 방정식에서는 빈틈없이 모든 점에 화살표가 붙는다.

나비에–스토크스 방정식은 이 화살표들이 어떻게 바뀌는지 적은 운동 법칙이다. 압력 차이가 물을 밀고, 흐르는 물은 제 운동을 싣고 다른 곳으로 옮겨 간다. 점성, 곧 끈적임은 이웃한 물 사이의 속도 차이를 누그러뜨린다. 꿀은 물보다 점성이 커서 저어도 소용돌이가 금방 잦아든다. 여기에 바깥에서 가하는 힘, 곧 외력도 넣을 수 있다. 밀도가 일정한 비압축성 유체라면 조건이 하나 더 붙는다. 물이 한곳에 눌려 쌓이지 않으니, 어느 작은 구역을 잡아도 들어온 만큼 나가야 한다.⁵

규칙을 안다고 결말까지 아는 것은 아니다. 체스는 말 움직이는 법을 종이 한 장에 적을 수 있지만, 그 규칙으로 둘 수 있는 모든 대국의 결말을 한눈에 내다볼 수는 없다. 이 비유는 복잡함 자체보다 짧은 규칙과 긴 결과 사이의 거리를 보여 준다.

수학자들이 묻는 것은 어느 커피잔의 다음 장면이 아니다. 방정식을 만족하는 유체의 속도와 압력을 그 방정식의 해라고 한다. 질문은 정해진 조건 아래에서 이 규칙을 계속 적용할 때, 해가 언제까지나 매끄럽게 이어지느냐다. 매끄럽다는 말은 필요한 미분을 계속 할 수 있을 만큼 변화가 잘 이어진다는 뜻이다. 그래프로 빗대면 이렇다. 속도의 그래프가 어느 한 곳에서 끝없이 치솟는 일이 없고, 아무리 확대해도 끊기거나 뾰족하게 꺾인 곳이 없다. 그 기울기를 다시 그래프로 그려도, 기울기의 기울기를 그려도 계속 그렇다.⁶

그렇다고 눈에 잔잔해 보인다는 뜻은 아니다. 복잡한 소용돌이도 수학적으로는 매끄러울 수 있다.

소용돌이보다 훨씬 이상한 일

믹서에 물을 넣고 돌리면 격렬하게 소용돌이친다. 그래도 “속력이 아주 크다”와 “어떤 상한도 없이 커진다”는 전혀 다른 말이다.

가령 $1/(1-t)$ 라는 식을 생각해 보자. $t$ 가 0.9이면 10, 0.99이면 100, 0.999이면 1,000이다. 시간 $t$ 는 1이라는 유한한 값에 다가갈 뿐인데, 식의 값은 끝없이 커진다. $t$ 가 1이 되는 순간에는 값을 아예 정할 수 없다. 이런 현상을 유한 시간 발산, 영어로는 blowup이라고 부른다. 이 식은 뜻을 보여 주는 장난감 예시이며, 이번 유체의 실제 속도 공식은 아니다.

이번 논문이 만든 해에서는 유체가 정지 상태에서 출발한다. 속도 차이를 누그러뜨리는 점성이 있고, 외력도 매끄럽다. 그런데도 유한한 시간 안에 속도가 끝없이 커진다. 놀라운 점이 하나 더 있다. 전체 운동에너지는 유계다. 시간에 따라 변할 수는 있지만 일정한 상한 아래에 머문다는 뜻이다.⁷

가장 빠른 곳의 속력은 끝없이 커지는데 전체 에너지는 어떻게 한계 안에 남을까. 빠르게 움직이는 영역이 충분히 빨리 작아지면 된다. 높이는 치솟아도 폭이 그보다 빠르게 좁아지면 넓이는 작게 남을 수 있는 것과 비슷하다. 실제 논문의 소용돌이 구조는 훨씬 복잡하지만, 최고 속력과 전체 에너지가 서로 다른 양이라는 점은 이 그림으로 잡을 수 있다.⁷

물론 커피가 실제로 무한한 속도로 튄다는 예언은 아니다. 이 방정식은 물을 분자 하나하나 대신, 빈틈없이 이어진 연속적인 물질로 다룬다. 사진을 계속 확대하면 결국 화소가 드러나듯, 실제 물도 아주 작은 규모로 내려가면 분자의 모임이다. 그러니 모형 안에서 매끄러운 해가 이어지지 않는다는 결론과, 실제 커피잔에서 벌어질 현상은 구분해야 한다. 커피잔은 질문을 떠올리기 위한 출발점이고, 논문이 다루는 공간도 벽으로 둘러싸인 잔과는 다르다.⁶

‘밖에서 힘을 준다’는 조건을 빼면 다른 뉴스가 된다

이 소식이 전해지며 가장 쉽게 떨어져 나가는 단어가 외력이다.

“물을 가만히 뒀는데 저절로 속도가 무한해졌다”라고 받아들이면 이번 결과를 잘못 읽은 셈이다. 그렇다고 무한한 힘을 집어넣어 무한한 속도를 얻었다는 말도 아니다. 힘 자체는 매끄러워야 하고, 공식 문제에 적힌 감쇠 조건까지 만족해야 한다. 공간 전체를 다룰 때라면, 멀리 갈수록 그리고 시간이 흐를수록 힘이 빠르게 약해져야 한다는 조건이다.⁶

논문이 어려워지는 곳이 바로 여기다. 단순화하면, 원하는 흐름을 먼저 짜서 방정식에 넣은 뒤, 등식이 맞지 않아 남는 차이를 외력으로 메운다고 볼 수 있다. 저자들은 발산하는 흐름을 구성하면서도 운동 방정식의 여러 항을 정교하게 맞춰, 이렇게 남는 외력이 매끄럽도록 만든다.⁷ 무엇을 얼마나 잘 맞춰야 하는지가 증명의 중심이라, “그냥 세게 밀었다”로 줄여 말할 수는 없다.

클레이 연구소의 공식 문제에는 A부터 D까지 네 갈래가 있다. 먼저 끝없이 펼쳐진 공간 전체를 다루느냐, 주기적으로 반복되는 공간을 다루느냐로 갈린다. 주기적인 공간은 오른쪽 끝으로 나간 우주선이 왼쪽 끝에서 다시 나타나는 옛 오락실 게임 화면과 비슷하다. 공간마다 다시 매끄러운 해가 계속 존재함을 보이느냐, 그 보장이 깨지는 경우를 찾느냐로 나뉜다.⁶

방향	외력 조건	보여야 하는 것
A·B: 매끄러운 해의 존재	외력 없음	허용된 초기 상태마다 해가 계속 매끄럽게 존재한다
C·D: 매끄러움의 붕괴	조건을 만족하는 매끄러운 외력 허용	그 조건 안에서도 해가 계속 매끄럽게 이어질 수 없는 경우가 있다

전체 공간을 다루는 A·C에는 운동에너지가 일정한 상한 아래에 있어야 한다는 조건도 붙는다.

네 문제를 다 풀어야 하는 것은 아니다. 공식 설명에 따르면 이 가운데 하나만 증명하면 된다. OpenAI가 해결했다고 발표한 것은 C와 D다.²

따라서 “외력이 있으니 문제를 슬쩍 바꿨다”는 비판은 공식 문제를 잘못 이해한 것이다. 반대로 “외력이 없는 경우도 이제 전부 결론 났다”는 해석은 발표 내용을 넘어선다. 작은 조건 하나가 뉴스의 크기와 의미를 바꾼다.

AI 한 명이 칠판 앞에 앉아 있던 것은 아니다

이 소식을 들으면 채팅창에 난제를 붙여 넣자 답이 튀어나오는 장면을 떠올리기 쉽다. 공개된 작업 과정은 제법 다르다.

OpenAI의 설명에 따르면 작업은 여러 그룹으로 나뉘어 진행됐고, 해법을 찾은 그룹에서는 약 1만 개의 AI 에이전트가 함께 일했다. 에이전트는 도구를 쓰고 다른 작업자와 정보를 주고받으며 과제를 수행하는 AI 작업 단위다. 사람들은 문제의 여러 형태를 나눠 주고, 유망한 중간 결과를 다른 그룹에 전달했다. 해법을 찾기까지 약 88시간, 그 뒤 Lean으로 옮겨 적고 검증하는 데 17시간이 더 걸렸다는 수치도 회사가 공개했다.²

칠판 앞의 천재 한 명보다는 큰 식당 주방에 가까운 그림이다. 그룹을 조리대에, 에이전트를 조리대마다 붙은 요리사에 빗대 보자. 회사 설명대로라면 사람은 각 조리대에 주문을 나눠 주고, 한 조리대에서 나온 쓸 만한 재료를 다른 조리대로 넘겨 주는 일도 맡았다.

맨땅에서 시작한 작업도 아니다. 유럽수학회는 9월 10일 성명에서, 이번 해법의 전략이 코르도바, 마르티네스소로아, 정(Fan Zheng) 등의 선행 연구와 관련이 있다고 짚었다. 그 선행 연구 뒤에는 다시 수십 년의 유체 수학 연구가 있다. 성명은 성과가 빨리 나온 점을 높이 평가하면서도, 누구를 저자로 올리고 공로를 어떻게 나눌지 하는 문제와, 연구에 쓰인 모델이 공개되지 않았다는 점을 함께 지적했다.⁸

AI의 기여를 작게 볼 이유는 없다. 다만 그 기여를 제대로 보려면 사람과 도구와 이전 연구가 맡은 자리도 지우지 말아야 한다. 영화 엔딩 크레디트가 포스터에 크게 실린 이름 하나로 끝나지 않는 것과 비슷하다. 누가 처음 질문을 만들었는지, 어떤 전략을 물려받았는지, 어디서 새 돌파구가 나왔는지는 각각 기록할 만한 일이다.

클로드가 찾은 세 개의 순환 코스

이번에는 입체 격자 모양의 동네로 가 보자. 가로·세로·높이로 교차로가 줄지어 있고, 교차로마다 세 방향으로 나가는 일방통행 도로가 있다. 앞에서 본 오락실 화면처럼, 어느 방향으로든 끝까지 가면 반대편 처음으로 이어진다. 이 도로들을 빨강·파랑·초록 세 순환 코스로 나눠야 한다. 조건은 두 가지다.

각 코스는 모든 교차로를 정확히 한 번씩 방문하고 출발점으로 돌아온다.
모든 도로를 빠짐없이 쓰고, 두 코스가 같은 도로를 함께 쓰면 안 된다.

교차로는 세 코스가 공유한다. 나누는 것은 도로다. 한 코스만 멋지게 만들면 끝이 아니다. 예를 들어 한 변에 교차로가 3개인 동네라면 교차로는 27개, 도로는 그 세 배인 81개다. 빨강 코스가 도로 27개로 한 바퀴를 돌고 나면, 남은 54개 도로로 파랑과 초록이 빈틈없이 한 바퀴씩 돌아야 한다.

커누스는 2월에 공개한 「Claude’s Cycles」에서, 자신이 몇 주간 고민하던 이 문제의 해법을 Claude Opus 4.6이 찾았다고 전했다.⁴ 발견에서 증명으로 넘어가는 과정을 가까이서 들여다보기 좋은 사례다.

클로드는 약 한 시간 동안 31번 탐색한 끝에, 한 변의 교차로 수가 3 이상인 모든 홀수 크기에 적용할 구성 방법을 찾았다. 문제를 제시한 필리프 스타퍼스는 진행을 도왔고, 홀수 크기 3부터 101까지 검사했다. 커누스는 그 구성이 왜 통하는지 증명했다.⁴

여기서 101이 경계다. 홀수는 끝없이 이어지는데 검사는 어디선가 멈춰야 한다. 101까지 돌려 봤다고 해서 103, 105, 그 뒤의 모든 크기까지 보장되지는 않는다. 프로그램이 여러 예에서 성공한 것과, 늘 통하는 이유를 찾아낸 것은 다른 단계다.

이후 킴 모리슨은 커누스의 증명을 Lean으로 형식화했다.⁹ 정리하면 네 단계다. 구성 방법을 발견하고, 여러 크기에서 시험하고, 모든 홀수 크기에서 통함을 증명하고, 그 증명을 기계로 검사한다. 기사에서는 이 과정 전체가 “풀었다” 한 단어로 뭉뚱그려질 수 있다.

이 길찾기 문제를 나비에–스토크스와 같은 난이도나 규모로 볼 필요는 없다. 함께 읽는 이유는 따로 있다. 길찾기에서는 쉽게 구별되는 발견·실험·증명의 단계가, 커피잔의 소용돌이를 다루는 긴 논문에도 필요하다.

답을 찾는 기계와 답을 확인하는 기계

“AI가 증명을 썼다” 다음에는 거의 자동으로 질문이 따라온다. 그 AI가 또 틀린 말을 한 것은 아닐까.

두 이야기에 모두 나온 Lean이 바로 이 질문을 다루는 도구다. Lean은 증명을 정해진 논리 언어로 적고 검사하는 증명 보조기다. 핵심 검사는 커널이라는 부분이 맡는다. 커널은 적힌 가정과 정의에서 결론이 정말 따라 나오는지 확인한다. 풀이를 어떻게 떠올렸는지는 묻지 않고, 각 단계가 규칙대로 이어지는지만 따진다. 누가 도미노를 세웠는지와 상관없이, 조각마다 다음 조각을 제대로 넘어뜨리는지만 살피는 셈이다. 해법을 제안하는 AI와, 그 해법의 논리적 연결을 검사하는 프로그램은 역할이 다르다.¹⁰

네 색이면 충분하다에서 만났던 컴퓨터 증명과도 이어진다. 4색정리에서는 사람이 짠 전략에 따라 컴퓨터가 수많은 경우를 검사했고, 나중에는 증명 전체가 형식화됐다. 이번에는 AI 시스템이 해법을 찾는 과정에도 깊이 들어갔다. 기계가 맡는 일의 범위가 넓어졌다.

다만 검사기가 받는 것은 뉴스 제목이 아니라 정확히 적힌 수학 문장이다. “이 조건이면 결론이 나온다”를 확인했어도, 그 조건이 원래 문제와 같은지는 따로 봐야 한다. 증명해야 할 내용을 가정으로 넣지는 않았는지, 증명을 비워 두고 넘어간 자리에 기대지는 않는지도 따져 봐야 한다. Lean의 공식 문서도 증명이 유효한지와 정리의 문장이 무엇을 뜻하는지를 구별한다.¹⁰

예를 들어 “모든 문에 맞는 열쇠”를 부탁했는데, 검사기에 “우리 집 현관문에 맞는 열쇠”라고 입력하면 어떻게 될까. 검사가 완벽해도 처음 부탁을 들어준 것은 아니다. 검사가 약해서 생기는 문제가 아니라, 검사할 문장을 제대로 고르는 문제다.

이번 공개 저장소에는 논문의 결과에 대응하는 Lean 코드와 검증 안내가 있다.¹¹ 뉴스의 결론뿐 아니라, 무엇을 증명했는지 적힌 문장까지 함께 공개된 셈이다.

확인 비용에서 다뤘듯, 확인할 일은 줄어들기도 하고 다른 자리로 옮겨 가기도 한다. 긴 계산의 논리적 연결을 기계에 맡길수록, 처음의 정의와 조건을 정확히 읽는 일이 더 중요해진다.

백만 달러보다 오래 남을 질문

그럼 이제 상금이 나갈까. 발표와 상금 판정은 같은 사건이 아니다. 앞서 말했듯 클레이 연구소는 성과를 평가하고 공로를 정하는 절차를 의도적으로 서두르지 않는다고 밝혔다.³ 이 글은 2026년 9월 14일 확인한 공개 자료를 기준으로 썼다.

나는 “AI가 수학자를 이겼다”는 한 줄보다, 이제 무엇이 가능해질지가 더 궁금하다. 읽기 어려울 만큼 긴 증명을 찾는 속도와, 그 안의 아이디어를 사람이 이해하는 속도는 다를 수 있다. 문제집 뒤에서 정답을 확인했다고 해서 풀이까지 이해하게 되지는 않는 것과 비슷하다. 해법이 맞다는 것을 확인한 뒤에도, 왜 그 풀이가 통했는지 알아내는 즐거움은 남는다.

4색정리에는 네 자루의 색연필이 있었다. 커누스의 문제에는 세 개의 순환 코스가 있었고, 유체의 문제에는 소용돌이가 있다. 각 장면에서 길어 올린 답을 어디까지 믿을 수 있는지, 한 걸음씩 확인하는 일이 이어진다.

커피는 여전히 식는다. 다만 다음에 우유가 길게 늘어지는 모습을 보면, 한 모금 마시기 전에 조금 더 들여다보게 될 것 같다.

더 들어가려면

클레이 연구소의 문제 소개 — 어떤 질문에 상금이 걸려 있는지부터 읽기 좋다.
OpenAI의 발표와 작업 과정 — 해법의 범위, 에이전트의 역할, 논문과 형식 증명 링크를 함께 제공한다.
커누스의 Claude’s Cycles — 클로드의 탐색과 사람이 이어 쓴 증명, 후속 발전을 기록했다.
클레이 연구소의 9월 11일 성명 — 발표 이후 평가 절차에 관한 공식 입장이다.
Lean: Validating a Lean Proof — 기계가 증명을 확인했다는 말을 어떻게 읽어야 하는지 설명한다.

클레이 수학연구소, Navier-Stokes Equation, Navier-Stokes Announcement. 밀레니엄 문제들은 2000년 발표됐고 각 문제에 100만 달러가 걸렸다. 본문의 질문은 입문용 요약이며 공간·초기 상태·외력의 조건은 뒤에서 구분한다. ↩
OpenAI, On the Navier–Stokes Millennium Prize Problem, 2026-09-08 발표, 09-10 갱신. C·D 해결 및 형식 검증 완료는 발표 주체의 보고다. 에이전트 수와 소요 시간도 회사가 공개한 수치이며, 일반 사용자의 채팅 한 번에 걸리는 시간이나 독립적으로 재현한 성능 측정값이 아니다. ↩ ↩² ↩³
클레이 수학연구소, Navier-Stokes Announcement, 2026-09-11. 해결된 것으로 보인다는 발표에 기대를 표하면서, 혁신을 분석하고 검토할 필요가 있다고 말한다. 상금 규정에 따른 평가와 공로 판단 절차를 서두르지 않겠다는 입장이므로, 이를 상금 수여 확정으로 읽지는 않았다. ↩ ↩²
Don Knuth, Claude’s Cycles, 2026-02-28, 04-14 개정. 본문은 최초의 홀수 크기 구성을 다룬다. 개정본에는 다른 모델과의 협업을 포함한 짝수 크기의 후속 해결도 기록되어 있다. ↩ ↩² ↩³
NASA Glenn Research Center, Navier-Stokes Equations와 Euler Equations. 속도장, 압력, 운동량의 이동과 점성, 비압축성 조건을 이해하기 위한 입문 자료다. 본문의 외력 조건과, 밀도가 일정한 3차원 설정은 아래 클레이 공식 설명을 따른다. ↩
Charles L. Fefferman, Existence and Smoothness of the Navier–Stokes Equation, 특히 1–3쪽. 양의 점성 계수, 비압축성, 초기 상태와 외력의 매끄러움·감쇠 또는 주기성 조건, A–D의 진술을 확인할 수 있다. 표는 조건의 차이를 보여 주기 위한 요약이며, 모든 함수 공간과 부등식을 옮긴 것은 아니다. ↩ ↩² ↩³ ↩⁴
OpenAI, Finite Time Blowup for Navier–Stokes, 초록·서론·물리적 설명. 정지 상태에서 출발하는 해, 양의 점성, 매끄러운 외력, 유한 시간의 속도 발산과 균일하게 유계인 운동에너지를 다룬다. 본문의 높이와 폭 비유는 전체량과 최댓값의 차이를 설명하며 논문의 증명을 대신하지 않는다. ↩ ↩² ↩³
European Mathematical Society, EMS statement on recent Navier–Stokes announcement, 2026-09-10. 선행 연구와 인간·AI 협업의 기여를 짚는 학회 성명이며, 논문 전체에 대한 독립 검증 보고서로 인용한 것은 아니다. ↩
Kim Morrison, KnuthClaudeLean. 커누스의 홀수 크기 구성과 증명에 대한 Lean 형식화다. 본문은 공개된 결과를 소개하며 이 저장소를 직접 빌드해 재검증한 것은 아니다. ↩
Lean 공식 문서, Validating a Lean Proof와 Axioms. 형식 문장과 의도한 수학의 대응, 의존하는 공리, 미완성 증명을 대신하는 sorryAx 등을 확인해야 하는 이유를 설명한다. 이는 일반적인 검증 원칙이며 이번 증명에 그런 결함이 발견됐다는 뜻이 아니다. ↩ ↩²
OpenAI, NavierStokesAndEuler. 논문에 딸린 Lean 형식화와 재현 안내를 공개한 저장소다. 이 글에서는 전체 코드를 직접 실행해 재검증하지 않았으며, 논문·공개 자료·관련 기관의 입장을 바탕으로 발표 내용을 설명했다. ↩