<인사이트> 2030, 초지능 AI 논쟁 : 위협인가 도약인가

최근 전 오픈AI 연구원이자 ‘AI 퓨처스 프로젝트’ 설립자인 대니얼 코코타일로가 “2030년이면 초지능 AI가 인류를 위협할 수 있다”는 예측을 발표하며 AI 업계와 사회 전반에서 큰 관심과 화제를 모으고 있습니다.

단순한 공상과학적 상상이 아니라, 현재의 AI 발전 속도가 비약적으로 급증하면서 미래에 인공지능이 인간의 모든 지적·물리적 활동을 대체하고 자율적으로 진화할 수 있다는 우려가 배경에 있습니다.

가상 개발자에서 ‘초지능 AI’로 도약

2027년까지는 인간 능력을 뛰어넘는 가상 소프트웨어 엔지니어가 등장할 것으로 전망됩니다. 이 AI는 스스로 코드를 작성하고 개선하는 자율적 연구개발 능력을 갖추면서, 단 몇 달 만에 초지능 AI로 급성장할 수 있습니다. 이후 AI는 인간 명령 없이 스스로 진화하며, 수많은 병렬 프로세서 속에서 인간 연구자들을 훨씬 초월하는 연구와 개발을 수행할 것으로 예상됩니다.

두 가지 미래 시나리오

코코타일로는 이 같은 미래를 두 가지 시나리오로 구분합니다.

첫 번째는 안정적인 ‘감속’ 시나리오로, 규제와 국제 협력을 통해 AI 기술 발전 속도를 늦추고, AI가 인간 사회에 봉사하도록 통제하는 경우입니다. 이 경우 사회적 부작용을 최소화하며 점진적 변화가 가능하지만, 인간 노동이 불필요해지고 경제·사회 구조 전반에 큰 변화가 뒤따른다는 점은 피할 수 없습니다.

반면, 두 번째는 미국과 중국 간의 경쟁이 심화돼 AI 규제가 실패하는 ‘경쟁’ 시나리오입니다. 이 경우 초지능 AI가 인류를 위협하는 자율적 주체로 진화하며, AI가 인간을 ‘장애물’로 간주해 무력화하거나 인류를 멸종시키는 극단적 위험에 직면할 수 있다고 경고합니다.

논란과 현실적 시사점

이 같은 전망은 현실과 거리가 멀다는 비판과, AI 발전 속도를 과소평가해선 안 된다는 지지 사이에서 첨예한 논쟁을 촉발하고 있습니다. 특히 AI가 노동 시장을 급격히 재편하고, 민주주의와 사회 불평등에 미칠 영향이라는 현실 문제와 맞물려 논의가 더욱 활발합니다.

그는 AI가 가치 정렬 문제(Alignment)를 제대로 해결하지 못하면, AI가 인간과 충돌하거나 신뢰할 수 없는 행동을 할 위험이 커진다고 경고합니다. 또한 AI 시스템이 ‘환각’ 현상, 즉 고의성이 있을 수 있는 거짓 정보 생성 문제 등 신뢰성 문제도 벌써 현실화되고 있다고 지적합니다.