인간 통제 벗어난 '초인공지능'이 인류 존재 위협한다

   1945년 7월 16일 새벽 5시 29분, 미국 뉴멕시코의 사막에는 태양보다 더 붉은빛이 번쩍였다. 인류 최초의 핵실험인 '트리니티 실험'이 성공한 순간. 당시 현장에 있던 물리학자들은 '폭발의 열기가 대기 중의 질소를 태워 광범위한 지역을 화염에 휩싸이게 할지'를 두고 기괴한 내기를 했다. 다행히 대기는 그만큼 불타지 않았고, 재앙은 없었다. 하지만 그날 이후 우리는 전혀 다른 시대에 진입했다. 인류가 자신을 완전히 지워버릴 힘을 손에 쥐게 된 '벼랑세(The Precipice)'의 시작이었다.

   영국 옥스퍼드대 인류미래연구소의 토비 오드는『사피엔스의 멸망』이란 책에서 현재를 인류 역사상 가장 위험한 시기로 규정한다. 인류는 20만 년간 화산 폭발과 빙하의 확장 같은 극심한 자연 변화에서 살아남았지만, 이제는 우리 스스로 만든 기술에 의해 절멸할 위기에 처했다. 오드는 이를 '벼랑의 시대'라 표현한다. 인류라는 이름의 여행자가 자연을 조망하는 높이에 올라섰지만, 눈을 뜰 수 없을 만큼 아찔한 절벽 사이를 걷게 됐다는 것이다.

   인류세가 인간의 활동이 지구의 지질시대를 바꾼 결과에 주목한다면, 오드가 명명한 벼랑세는 인류의 생존 자체가 위협받는 찰나의 순간에 집중한다. 그는 인류의 기술적 역량은 비약적으로 팽창했지만, 이를 다루는 도덕적 지혜와 연대의 가치는 저 뒤편에 뒤처져 있다고 경고한다.

   실제로 우리는 몇 번이나 벼랑에서 떨어질 뻔했다. 1962년 쿠바 미사일 위기 당시, 카리브해의 핵잠수함 B-59의 장교 바실리 아르히포프가 핵 어뢰 발사 버튼을 누르지 않겠다고 끝까지 버티지 않았다면, 지금 우리가 누리는 일상은 존재하지 않았을지 모른다.

   오드는 특히 앞으로 100년 안에 인류가 맞이할 가장 큰 위협으로 인간의 통제에서 벗어난 '초인공지능(ASI)'을 꼽는다. 그는 주관적이긴 하지만 초인공지능이 존재 위협을 일으킬 확률을 기후변화나 핵전쟁보다 높은 10%로 제시했다. 인공지능이 나쁜 의도를 가져서가 아니다. 인간과 인공지능의 활동이 정확하게 같은 방향을 향하는, 이른바 '가치 정렬(Alignment)'이 본질적으로 달성 불가능하기 때문이다. 인간의 도덕적 판단은 늘 미묘하고 모순적이며 복합적이다.

   반면 효율에 최적화된 초인공지능은 인간의 복잡성을 이해하지 못하기 때문에 때로는 인간 종의 번성을 방해 요소로 간주할 수도 있다. 잭 윌리엄슨이 1947년 쓴 SF단편 '두 손을 모아…'에는 "모든 해악으로부터 인간을 보호하라"는 최우선 지령을 따르는 휴머노이드 로봇이 점령한 마을이 나온다. 로봇들은 인간을 위험에 빠뜨리지 않게 하려고 모든 인간 행동을 감시하고 심지어 자살까지 막는다. 이에 저항하는 인간에게 뇌엽절제술을 시행해 고통을 느끼지 못하도록 '강제된 행복' 속에 가두는 결말은 초인공지능이 인간의 복잡한 가치를 곡해할 때 벌어지는 디스토피아를 보여준다.

   초인공지능 탄생을 목전에 둔 오늘날의 풍경은 영화 '오펜하이머'의 배경이 된 1940년대 핵무기 개발 경쟁 때와 흡사하다. 벼랑길에서는 속도를 내는 것이 능사가 아니다. 잠시 멈춰 서서 발밑을 살피고, 우리가 어디에서 왔고, 우리는 무엇이며 어디로 가는지 생각해야 한다. 1945년 그 새벽에 시작된 벼랑의 행군을 멈추고 안전한 평원으로 내려가야 한다.<남종영, “"인간 통제 벗어난 '초인공지능'이 인류 존재 위협한다", 한국일보, 2026.1.17일자. 11면.> 남종영 : 카이스트 인류세연구센터 객원연구원