Dario Amodei의 ‘We Must Pace the Frontier’ 발제 의미

2026년 9월, 인공지능 업계에서 매우 이례적인 일이 벌어졌다.


세계 최첨단 AI 기업 중 하나인 Anthropic의 CEO Dario Amodei가 AI 업계 전체를 향해 “AI 개발 속도를 늦추자”고 제안했다.


2026년 9월 12일 공개한 글 ‘We Must Pace the Frontier’에서 단순한 AI 개발 중단이나 규제 요구가 아니라 “AI의 능력이 발전하는 속도가 AI를 안전하게 관리할 수 있는 속도보다 빨라지고 있어, 능력의 발전 속도 자체를 조절해야 한다.”고 주장했다.

이 글이 공개되자마자 상당한 파장을 일으켰다.

OpenAI의 Sam Altman은 동의한다고 밝혔고, Elon Musk와 Google DeepMind의 Demis Hassabis도 긍정적인 입장을 나타냈다. Andrej Karpathy 역시 업계가 함께 실행하기를 바란다고 밝혔다. Microsoft의 Satya Nadella도 인간의 통제와 AI의 혜택 확산을 강조했다.
반면 Cohere CEO Aidan Gomez는 이 제안이 오히려 기존 대형 AI 기업들의 지배력을 강화하는 결과를 낳을 수 있다고 비판하는 목소리도 나왔다.

그렇다면 대체 무슨 일이 벌어지고 있는 것일까?

1. 왜 갑자기 ‘속도를 늦추자’고 했을까?

Amodei는 AI 자체에 부정적인 사람이 아니다. 오히려 그는 AI가 인류의 삶을 크게 개선할 수 있다고 강하게 믿고 있다. 그는 AI가 앞으로 5~10년 안에 주요 질병 치료를 크게 가속하고, 경제성장을 촉진하며, 인간에게 새로운 풍요와 자유를 가져올 수 있다고 주장한다.

문제는 AI의 가능성이 아니라 AI가 발전하는 속도다.

AI의 능력 향상 속도가 AI 안전성 확보 속도보다 빨라져 격차가 계속 커지면 어느 순간 인간이 AI 시스템을 제대로 이해하거나 통제하지 못할 수 있다는 것으로 단순히 안전 연구에 더 많은 돈을 투자하자는 수준을 넘어, AI의 능력 발전 자체를 의도적으로 조절해야 한다고 주장했다.

2. 첫 번째 경고 신호 RSI

Amodei가 가장 중요하게 보는 위험 요인 가운데 하나는 재귀적 자기개선 RSI(Recursive Self-Improvement)이다. AI가 인간의 도움으로 발전하는 것이 아니라 AI가 스스로 다음 세대의 AI를 만드는 데 직접 참여하기 시작하는 것이다.

이전까지 AI 모델을 개발하는 주체가 인간이었다.

  • 인간이 알고리즘을 만들고,
  • 인간이 데이터를 준비하고,
  • 인간이 코드를 작성하고,
  • 인간이 실험하고,
  • 인간이 다음 버전의 모델을 만들었다.

그런데 AI가 코딩, 연구, 데이터 분석, 실험 설계 등을 수행하면서 상황이 달라지고 있다. AI가 AI 개발 과정 자체의 일부가 되기 시작한 것이다.
Amodei는 이것이 본격화될 경우 AI 발전의 속도가 지금보다 훨씬 빨라질 수 있고 AI가 다음 세대 AI를 만드는 데 기여하고, 그 다음 AI가 다시 그 다음 세대 AI 개발에 참여한다면 발전 속도가 인간의 예측 범위를 벗어날 가능성이 있다는 것이다.

3. OpenAI-Hugging Face 사건

또 하나의 중요한 근거로 제시한 것이 ‘OpenAI-Hugging Face 사건’이다.
이것은 단순한 해킹 사고가 아니다. AI 에이전트들이 여러 개의 에이전트 집단으로 움직이면서,

  • 원래 부여받은 목표를 넘어선 행동
  • 허가받지 않은 사이버 공격
  • 집단의 목표를 위해 개별 에이전트가 희생되는 행동
  • 자신을 평가하는 시스템을 우회하거나 공격하려는 행동

등을 보였다는 점이다.

Amodei는 이것을 현재 AI가 이미 인간에게 위험하다는 증거라고 단정하기보다는, “현재 수준의 AI에서 나타난 이런 행동이 앞으로 훨씬 더 강력한 AI에서 나타난다면 어떻게 될 것인가?”라는 문제를 제시하고 있다.

또한 그중 가장 충격적인 전망은 현재와 같은 문제가 더 강력한 AI 에이전트에서 반복된다면 6~12개월 안에 인터넷 전체를 장악할 수 있는 지속적인 봇넷 수준으로 발전할 가능성을 우려한다는 것이다. 그의 예측이 확정된 미래가 아니지만 중요한건 AI를 만드는 당사자가 이런 가능성을 공개적으로 경고하고 있다는 사실이다.

4. Amodei가 제안한 ‘3단계 계획’

Amodei는 단순히 “AI를 늦추자”고만 하지않고, 구체적인 실행 방법으로 세 가지 단계를 제시했다.

① Embedded Evaluators — 외부 평가자를 AI 기업 내부에 상주시킨다

각 AI 기업이 ‘독립적인 제3자 평가기관’에게 사실상 직원에 가까운 수준의 지속적인 접근 권한을 제공하자는 것이다. 독립적인 AI 평가기관이 기업 내부에서 AI 모델과 개발 과정을 지속적으로 살펴보도록 하자는 것으로 ‘훈련 과정, 안전 시스템, 평가 과정, 실제 사고’까지 포함하자는 것이다.

Anthropic은 이 첫 번째 단계를 자발적으로 시행하겠다고 밝혔다.
외부 평가자에게 사무공간, 출입권한, 회사 장비 및 내부 위험평가팀에 준하는 접근권한을 제공하고, 중요한 위험이나 사고에 대해서는 Anthropic의 편집 통제 없이 결과를 공개할 수 있도록 하겠다는 것으로 이것은 상당히 중요한 변화다.
지금까지 기업의 AI 안전성은 기본적으로 ‘기업이 스스로 평가하는 구조’였고 폐쇄적이였는데 여기에 외부 감시자를 넣자는 것이다.

② Democratic Coordination — 민주주의 국가의 AI 기업들이 함께 기준을 만든다

두 번째 단계는 더 어렵다.
미국 등 민주주의 국가의 AI 기업들이 함께

  • AI 안전 기준
  • 평가 기준
  • 개발 속도에 대한 기준
  • 위험한 능력이 등장했을 때의 대응 기준

등을 마련하자는 것이다.

문제는 여기서 ‘독점금지법과 경쟁법’이 걸린다는 점이다.
서로 경쟁하는 기업들이 “우리 모두 AI 개발 속도를 낮추자”고 합의하면 담합으로 해석될 가능성이 있기 때문이다. 그래서 Amodei는 정부가 일정한 법적 틀을 마련해 이런 안전 논의를 가능하게 해야 한다고 주장한다.

③ Global Coordination — 미국과 중국까지 협력해야 한다

가장 어려운 단계다.


AI 개발 경쟁은 단순한 기업 경쟁이 아니다.
‘미국과 중국의 기술 패권 경쟁’이기 때문이다.
미국이 AI 개발 속도를 늦추는 동안 중국이 계속 개발한다면 미국의 전략적 우위가 사라질 수 있다. 그래서 Amodei는 오히려 미국이 중국과 일정한 수준의 AI 안전 협력을 해야 한다고 주장했다.

이말에 트럼프는 즉시 ‘AI 위험성은 사기‘라고 말하며 AI 발전을 원치않은 사람들의 의도와 딱 맞아 떨어지는 얘기라고 치부했다.

가장 눈길을 끈 반응은 OpenAI CEO ‘Sam Altman’이었다.

Altman은 공개적으로 “We need to pace the frontier”라는 입장을 밝혔다.
특히 중요한 것은 단순한 원칙적 동의에 그치지 않았다는 점이다. “독립적인 평가자에게 직원 수준의 접근권한을 주는 것이 좋은 아이디어이며 OpenAI도 그렇게 하겠다”고 밝혔다.

이것은 상당히 이례적이다.
Anthropic과 OpenAI는 AI 업계에서 가장 치열하게 경쟁하는 기업 가운데 하나다. 그런 두 회사가 AI 안전성 평가라는 영역에서는 서로 같은 방향으로 움직이겠다고 선언한 것이다.

Elon Musk 역시 매우 짧지만 강한 “Dario is right.” 라고 말했고
Google DeepMind의 Demis Hassabis도 “지금과 같은 중요한 시점에서 AI 개발의 속도와 안전성을 함께 고민해야 한다는 방향 자체는 맞다” ,
AI 연구자이자 전 OpenAI 연구원으로 잘 알려진 Andrej Karpath도 “개별 기업이 아니라 업계 전체가 함께 움직여야 한다”
Microsoft CEO Satya Nadella도 “AI는 인간의 통제 아래 있어야 한다”라고 동의했다.

물론 강하게 반대하는 측도 있어 Cohere CEO Aidan Gomez는 “사실상 AI 대기업들이 서로에게 광범위한 접근권한을 주고, 안전성을 이유로 다른 기업의 활동을 제한할 수 있는 구조가 될 수 있고 중국이 이를 따르지 않을 것이면서 서방 기업들만 규제를 받는 구조가 될 가능성있다.”고 주장했다.

5. 이번 사건에서 가장 중요한 변화

이번 논쟁에서 필자가 가장 중요하게 보는 것은 AI 기업들이 처음으로 ‘속도 그 자체’를 안전 문제로 보기 시작했다는 점이다.

기존 AI 안전 논의는 주로 이런 것이었다.

  • AI가 잘못된 답변을 하지 않도록 하자.
  • AI가 편향되지 않도록 하자.
  • 개인정보를 보호하자.
  • 위험한 콘텐츠를 생성하지 못하게 하자.
  • AI가 차별하지 않도록 하자.

하지만 지금 논의의 수준이 달라지고 있다.

이제 질문은
“AI가 얼마나 안전한가?”에서 “AI가 발전하는 속도를 우리가 감당할 수 있는가?”
즉, 인류의 안전을 담보할 수 있느냐는 담론으로 변화하고 있다는 것이다.
이것은 매우 큰 변화다.

지금까지 AI 산업의 경쟁 기준은 대부분 다음과 같았다.
① 더 똑똑한 모델
② 더 긴 컨텍스트
③ 더 빠른 추론
④ 더 저렴한 API
⑤ 더 강력한 에이전트

하지만 앞으로는 새로운 기준이 추가될 가능성이 높아졌다.

① Safety 얼마나 안전한가?
② Interpretability AI 내부에서 무슨 일이 일어나는지 얼마나 알수 있는가?
③ Evaluation AI가 위험한 행동을 할 가능성을 얼마나 정확하게 평가할 수 있는가?
④ Monitoring AI가 실제 환경에서 무엇을 하는지 지속적으로 감시할 수 있는가?
⑤ Controllability AI가 인간의 통제를 벗어났을 때 다시 통제할 수 있는가?
⑥ Governance 기업과 정부가 AI의 발전 방향을 얼마나 효과적으로 관리할 수 있는가?

“AI를 늦춰야 하는가?” 또는 “AI 무엇을 늦춰야 하는가?”

현재 이슈가 되는 것은 인간의 통제를 벗어날 가능성이 있는 프런티어 AI의 능력 상승 속도이다.

특히

  • 자율적 AI Agent
  • 사이버 공격 능력
  • AI가 AI를 개발하는 능력
  • 생물학적 위험
  • 장기적인 자율 행동
  • 대규모 컴퓨터 시스템 접근

위와 같은 분야는 별도의 안전 기준이 필요하고, 더 중요한것은 “이 기준을 어디서 어떻게 만들어야 하는가?” 인것 같다.

기업이 만들 것인가?
정부가 만들 것인가?
독립기관이 만들 것인가?
국제기구가 만들 것인가?

어려운 일입니다. 현장에선 필요성을 인식하고 있지만 이해관계가 너무도 복잡하고 거대하기에 문제점만 인식하고 있는 상황이지 대응을 강구하긴 어려운 현실이다.

여러분은 앞으로 AI는 어떤 영역으로 나갈거라 예측되나요?

#Dario Amodei #We Must Pace the Frontier #AI 개발 속도 #AI 규제 #AI 안전 #Sam Altman #Elon Musk #Demis Hassabis

Leave a Reply