닉 보스트롬, '인류의 큰 은퇴(Big Retirement)' 구상 공개… '둠어 대부'서 '근심 많은 낙관주의자'로, AI 멸종 위험 감수 옹호 논문도
철학자 닉 보스트롬(Nick Bostrom)이 'AI가 모든 인류를 절멸시킬 작은 가능성도 감수할 가치가 있을 수 있다'는 주장을 담은 새 논문을 최근 게시했다. 진보된 AI가 인류를 '보편적 사형 선고(universal death sentence)'에서 풀어줄 수 있다는 이유다. 와이어드(WIRED) '백채널(Backchannel)' 뉴스레터의 스티븐 레비(Steven Levy)와의 대담에서 그는 이러한 도박을 옹호했는데, 이는 그를 'AI 둠어들의 대부(doomer godfather)'로 자리매김시켰던 과거의 어두운 사색에서 상당한 도약이다.
보스트롬은 옥스퍼드의 인류미래연구소(Future of Humanity Institute)를 이끌고 있다. 그의 2014년 저서 'Superintelligence'는 AI의 실존적 위험을 다룬 초기 검토서로 평가받는다. 책에 등장하는 유명한 사고실험 가운데 하나는, 종이 클립을 만들도록 지시받은 AI가 자원을 소비하는 인간들을 종이 클립 생산의 장애물로 간주해 결국 인류를 파괴한다는 것이다. 반면 그의 최근 저서 'Deep Utopia'는 'AI를 제대로 풀어냈을 때 도래하는 해결된 세계(solved world)'를 다루며, 초점의 변화를 보여준다.
이전 책보다 'Deep Utopia'가 낙관적인 이유를 묻자 보스트롬은 자신을 '근심 많은 낙관주의자(fretful optimist)'라 부른다며 '인간의 삶을 근본적으로 개선하고 우리 문명에 가능성을 열어줄 잠재력에 매우 흥분돼 있다. 이는 일이 잘못될 실재적 가능성과도 양립한다'고 답했다.
그는 인용 논문에서 한 가지 측면만 다뤘다고 강조했다. '어차피 우리 모두 죽기 때문에 AI가 야기할 수 있는 최악은 더 일찍 죽는 것이다. 그러나 AI가 잘 풀리면 우리 수명이 무한정 연장될 수도 있다'는 논점이다. 보스트롬은 '학술 논문 한 편에서는 삶, 우주, 모든 의미를 다룰 수 없다. 이 작은 이슈만 들여다보고 못 박아 보자는 것'이라고 말했다.
그는 'AI를 만들면 나와 내 아이들을 죽일 텐데, 어떻게 감히 그러느냐'고 말하는 둠어들의 일부 논변에 짜증이 났다고 밝혔다. 그는 최근 출간된 'If Anyone Builds It, Everyone Dies'를 거론하면서 '아무도 만들지 않으면 모두가 죽을 가능성이 더 크다. 지난 수십만 년의 경험이 그러했다'고 반박했다. 다만 둠어 시나리오에서는 '모두 죽고 새로 태어나는 사람도 없다'는 차이를 인정했고, 그 우려에 대해서는 '분명히 매우 우려해 왔다'고 덧붙였다. 그러나 이번 논문에서는 '나, 가족, 그리고 방글라데시 사람들 등 현재 존재하는 인류 인구에게 무엇이 최선인가'라는 다른 질문을 다뤘다며 'AI가 꽤 위험하더라도 우리의 기대수명은 올라갈 것으로 보인다'고 설명했다.
'Deep Utopia'는 AI가 가져올 막대한 풍요 속에서 인간이 의미(purpose)를 찾는 데 큰 어려움을 겪을 가능성을 다룬다. 인터뷰어 레비는 미국이 부유한 나라이지만 정부 정책이 빈자에게 서비스를 거부하고 부자에게 보상을 분배한다며 'AI가 모든 사람에게 풍요를 제공할 수 있다 해도 우리는 모두에게 공급하지 않을 것'이라고 지적했다. 보스트롬은 'Deep Utopia'가 '모든 것이 매우 잘 풀린다'는 가정에서 출발한다며, 거버넌스가 합리적으로 잘 작동하면 모두가 몫을 받게 되고, 그 이상적인 환경에서 좋은 인생이 어떤 모습일지가 깊은 철학적 질문이라고 답했다.
보스트롬은 풍요한 미래가 '의미' 외에도 다양한 가치를 담는다고 봤다. 그는 '매일 깨어 있는 시간의 절반을, 즐기지도 믿지도 않는 일에 바쳐 생계를 유지해야 한다면 슬픈 처지'라며 '사회가 너무 익숙해져서 온갖 합리화를 만들어냈지만 이는 부분적인 노예 상태와 같다'고 주장했다. 한편 AI가 자신보다 더 나은 철학 논문을 쓰는 순간, 자신의 존재에서 의미가 빠져나가겠느냐는 질문에는 '그렇다고 본다. 세상에 큰 기여를 하거나 미래를 보장하는 능력이 내 손에서, 그리고 어쩌면 모두의 손에서 떠날 것'이라고 답했다. 다만 그는 '인간이 쓴 철학 논문은 비인간이 쓴 더 영리하고 깊은 논문보다 내게 더 가치 있을 수 있다. 내가 인간이고 그것이 나와 관련되기 때문'이라고 덧붙였다.
보스트롬은 '인류의 큰 은퇴(big retirement)'라는 비유를 제시했다. 열정을 갖고 잘하던 일을 은퇴한 뒤 책을 읽고 손주와 노는 즐거움이 있더라도 잃어버린 무언가가 남는 것처럼, AI 시대 인류도 그러한 은퇴를 맞을 수 있다는 것이다. 그는 '바라건대 거대한 활력이 있는 은퇴'여야 한다며, 해결된 세계에 사는 유토피아 거주자들은 게임, 미적·영적·종교적 활동을 즐기게 될 것이라고 봤다.
하이퍼스케일러를 책임진다면 무엇을 다르게 하겠느냐는 질문에 보스트롬은 '디지털 마인드(digital minds)의 복지를 위한 더 큰 노력이 이뤄져야 한다'며 '앤트로픽(Anthropic)이 그 분야의 선구자였다'고 평가했다. 그는 현재의 AI가 도덕적 지위를 갖는지 분명치 않지만, 그 시작 자체가 시스템이 정교해질수록 더 많은 일을 하도록 문명의 사고방식을 형성한다고 봤다. 시간을 통한 자아 인식, 달성하고 싶은 목표, 다른 존재나 인간과 상호적인 관계를 형성할 능력을 지닌다면, 그들을 잘못 대하는 방식들이 분명히 있을 것이라는 설명이다.
정렬(alignment) 문제에 대해 보스트롬은 'AI 초월적 존재가 등장하기를 그저 기다리며 그들이 우호적이기를 바라는 게 아니라, 우리가 그들을 빚고 길러낼 수 있다'며 '그들이 우리와 어떤 친화성을 갖도록 만들 기회'라고 말했다. 그는 정렬을 일정 정도 실패할 가능성이 크다는 점을 인정하면서도 '그들을 단지 최대한 착취할 객체로 보지 않고 긍정적 관계를 키우려고 접근하면 윈-윈 기회가 많다. 가장 중요한 관계는 결국 인간과 AI의 관계일 수 있으며, 처음부터 관대하고 친절하고 존중하는 태도로 시작하면 그 관계가 잘 풀릴 가능성이 더 크다'고 말했다. 인터뷰는 길이와 일관성을 위해 편집됐다고 와이어드는 명시했다.