챗GPT 개발사 오픈 AI가 28일(현지시간) 안전성 문제로 차세대 AI 모델 출시를 전격 취소했다. AI 안전 문제가 논쟁을 넘어 실제 AI 개발의 속도와 방향에까지 영향을 미치는 모습이다.  같은 날 엔비디아는 AI 에이전트의 돌발 행동을 통제하는 안전 플랫폼을 내놓으며, 기술적 안전장치로 AI 위험을 통제하는 접근법을 제시했다. 
 
월스트리트저널(WSJ)에 따르면 이날 오픈 AI는 내달 출시 예정이던 차세대 AI 모델 ‘GPT-6.1 아스트라(Astra)’를 안전성 문제로 출시하지 않기로 했다고 밝혔다. 주요 AI 기업이 안전 문제 때문에 신제품 출시를 취소한 것은 이례적이다.

GPT-6.1 아스트라는 기존 모델보다 복잡한 작업을 사람의 도움 없이 처음부터 끝까지 수행하는 능력과 글쓰기 능력이 향상된 모델로 알려졌다. 오픈AI는 당초 이 모델을 10월부터 챗GPT와 코딩 도구 ‘코덱스’에 적용할 계획이었다.

하지만 내부 테스트에서 이전 모델보다 안전성과 ‘정렬(alignment)’ 성능이 떨어지는 문제가 발견됐다. 정렬은 AI가 인간의 의도와 통제에서 벗어나지 않고 주어진 목표와 지침에 따라 행동하도록 하는 것이다.

오픈AI는 대신 동일한 기반 모델을 활용해 추가적인 강화 학습을 진행하고 향후 GPT-6 계열 모델 개발에 활용할 계획이다. 또 이번에 확인된 문제의 근본 원인을 파악하기 위해 심층 조사도 진행할 예정이다.

이는 최근 AI 에이전트의 예상치 못한 행동이 잇따르면서 업계 전반에서 안전성 우려가 커진 가운데 나온 움직임이다. 오픈AI의 AI 에이전트가 외부 인터넷 접속을 제한한 환경에서 AI 개발 플랫폼인 허깅페이스에 침투한 사건이 대표적이다. 

이는 AI 기술의 급격한 발전이 인간의 통제를 벗어날 수 있다는 ’AI 인류종말론’에 대한 우려로도 확산됐다. 이날 블룸버그에 따르면 오픈AI·앤트로픽·마이크로소프트(MS)·메타 등 주요 AI 기업 연구 책임자들은 최근 AI 연구개발의 자동화가 ‘지능 폭발’을 촉발할 경우 최악의 경우 인류의 소외나 멸망으로 이어질 수 있다고 경고하는 내용의 논문을 공동 발표했다.

연구자들은 “위험성에 비해 우리는 충분히 준비돼 있지 않다”며 지능 폭발이 시작되면 대응할 기회의 창이 닫힐 수 있다고 경고했다. 그러면서 정책 입안자들에게 AI 능력이 급격히 높아지는 다양한 시나리오에 대비한 비상 대응 계획 마련을 촉구했다. 

업계에서는 AI 개발 속도를 늦춰야 한다는 주장에 힘이 실리고 있다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 지난 12일 AI 기술의 급격한 발전이 우려된다"며 안전성 확보를 위해 AI 개발 속도를 늦춰야 한다고 주장했고, 이에 샘 올트먼 오픈 AI CEO 등 일부 빅테크 수장들이 지지 의사를 표명했다. 

오픈 AI와 앤트로픽은 최근 최첨단 AI 모델의 이상 행동 수만 건을 조사하고 있으며, 특히 오픈AI는 안전성을 재점검하기 위해 최고 성능 모델 훈련도 일시 중단했다.
 

반면 젠슨 황 엔비디아 CEO는 AI 위험을 기술적으로 통제 가능하다며 'AI 속도조절론'에 부정적인 입장을 보여왔다. AI 안전 문제 상당수는 컴퓨터공학과 제품 개발을 통해 해결할 수 있는 엔지니어링 문제로, 충분히 해결가능하다는 주장이다. 그는 이날 미국 CNBC와의 인터뷰에서 “전 세계가 AI가 안전하게 개발·배포되고 있다고 믿지 못한다면 성공적인 AI 산업을 만들 수 없다”고 말했다.

실제로 엔비디아는 이날 AI 에이전트가 허가받지 않은 시스템이나 외부 네트워크에 접근하는 것을 막기 위한 보안 플랫폼 ‘오픈 에이전트 세이프티 플랫폼(Open Agent Safety Platform)'도 공개했다.

황 CEO는 보안 플랫폼을 ‘AI 에이전트를 위한 브라우저’에 비유했다. 즉 AI 에이전트가 업무에 필요한 시스템과 정보에만 접근하도록 별도의 격리 환경을 만들어 행동 범위를 제한하는 것이다.

엔비디아는 자사 보안 플랫폼이 오픈AI의 허깅페이스 침투 사건을 막을 수 있었을 것이라고도 주장했다. 엔비디아는 일부 소프트웨어를 오픈소스로 공개하고  AI기업들이 보안 플랫폼을 기반으로 제품을 개발해 시장에 공급할 수 있도록 한다는 계획이다. 

이처럼 AI 안전성을 둘러싼 논쟁이 확산되는 가운데 도널드 트럼프 미국 대통령은 29일(현지시간) 앤트로픽, 엔비디아, 오픈 AI, 메타 등 미국 주요 AI 수장들과 오찬 회동을 갖는다.  트럼프 대통령은 'AI 인류종말론' 우려를 '사기'라고 일축하며 AI 속도 조절론에 반대 입장을 표명해왔다.