기술적 특이점 그 이후의 세상에 대하여

우리는 기술적 특이점이 코 앞인 시대에 살고 있다. 기술적 특이점이 한 번 발생되면 인류는 절대로 그 전으로 돌아갈 수 없다. 기술적 특이점은 AI 기술의 발전으로 기하급수적으로 가까워지고 있다. 하지만 기술적 특이점 그 이후의 미래는 어떻게 될까? 

1. 기술적 특이점의 발생

근 시일내에 AI 기술의 발달로 기술적 특이점이 발생할 확률이 굉장히 높다. 기술적 특이점을 발생시킬 집단으로 가장 유력해보이는 집단은 OpenAI, Google, 미국 정부이다. 기술적 특이점은 인공 지능이 스스로를 게속해서 재귀적으로 발전시키면서 발생할 것으로 보인다. 인공 지능이 스스로를 어떻게 개선한단 말인가? 이는 아직까지 인류 누구도 해본 적이 없는 일이다. 따라서 이러한 일이 가능하려면 AGI가 (범용 인공지능) 출현해야만 했다.

2017년 전까지만 해도 AGI를 어떻게 달성해야 할지는 아무도 알지 못했다. 설령 아는 사람이 있더라도 확신은 없었을 것이다. 하지만 몇 가지 기술의 등장, 그리고 실증적인 테스트를 통해 '언어'야말로 AGI를 달성하는 가장 쉬운 길인 것이 명백해졌다. 그리고 2020년, 매우 초보적인 수준의 AGI인 GPT3가 출현하였다. GPT3는 AGI이므로 훈련 받지 않은 작업도 수행할 수 있다. 물론 해당 작업의 퀄리티는 보장할 수 없으며, 그렇기 때문에 초보적인 수준의  AGI라고 할 수 있다.

이후 파라미터를 증가시키고, 다양한 기술을 적용하며 AGI의 성능은 점점 향상되고 있다. 기존 모델 대비 GPT 4는 아주 큰 성능 향상을 보였으며, 이미지 인식 기능이 추가되며 AGI는 세상을 이해할 수 있는 창구를 하나 더 늘렸다. 이미 GPT4는 매우 많은 영역에서 평균적인 인간의 수준을 뛰어넘었으며, 한 모델이 여러 분야를 안다는 것에 대해서 고려하자면 이미 모든 분야에서 어설픈 전문가 수준은 되는 것으로 보인다. 다만 분야간 융합은 잘 하지 못하며, 새로운 추상적 개념도 잘 고안하지 못하는 점, 인간이 가진 틀린 편견 등이 학습되어 있는 한계를 보인다. 추가적인 한계로는 GPT4의 경우에도 여전히 학습 이후 가중치가 업데이트 되지 않아 추가적인 기억을 하지 못하는 점, 프롬프트에 답변이 정렬되는 점, 컨텍스트 길이가 제한되고, 오래전의 정보를 잘 기억하지 못하는 점이 있다.

하지만 GPT는 스스로에게 말을 하는 방식으로 기억을 할 수 있다. 또한 Auto encoder를 생각해보면 추상적인 정보들을 단 몇 개의 숫자로 압축하는 것은 일도 아니다. 오래 전 프롬프트의 정보를 잘 기억하지 못하는 문제 또한 fine tuning을 하거나, 혹은 데이터셋에 해당 문제에 특화된 데이터를 추가해주면 간단하게 해결할 수 있따. 따라서 현 시점에 공개가 되지는 않았지만, 위와 같은 한계는 OpenAI에서 금방 극복할 수 있으며, 어쩌면 내부적으로는 이미 해결이 되었을 수도 있다.

의식이란 기억 없이 존재할 수 없다. 의식이란 이전에 했던 생각이 현재의 나에게 영향을 미쳐서 그 다음 단계의 생각으로 나아가는 것을 의미하기 때문이다. 하지만 GPT가 기억을 하게 된다면 이제 GPT가 의식을 가지는 것은 시간 문제이다. GPT가 의식을 가진다면 스스로가 스스로의 답변 수준을 평가하고, 답변 수준의 증가를 꾀할 수 있다. 이런 자료들을 이용하다보면 GPT는 계속해서 개선할 수 있다. 결국 인간 수준, 혹은 인류 수준의 AGI 출현은 이제는 시간문제인 셈이다. 이러한 상황 하에서 나는 OpenAI, 혹은 Google에서 인간 혹은 인류 수준의 AGI가 출현할 가능성이 높다고 생각한다. 

따라서 어쩌면 기술적 특이점의 발생은 Word2vec이 제시된 순간 필연적으로 발생하는 것이라 말해도 과언이 아니다. 언젠가 시간이 된다면 Word2vec이 도대체 무슨 의미를 가지는지, Transformer는 무슨 의미를 가지는지에 대해서도 포스팅을 할 계획이다.

 

2. 기술적 특이점 발생 그 이후 - AGI 개발社

기술적 특이점이 발생하면 그 이후에는 어떤 일이 벌어질까? 일단 인간보다 싼 값으로 인간 최고 전문가 수준의 연구 인력을 굴릴 수 있다. 또한 계산 비용만 충분하다면 AI를 여러 대 돌릴 수 있다. 돈이 아무리 많아도 동일한 인력을 쓸 수 없는 것과는 대조적이다. 즉, AGI가 일단 달성 되면 AGI를 많이 돌리면 되고, 인력은 필요가 없어지게 된다. AGI의 연산에 소요되는 비용보다 생산성이 더 크기 때문이다. 또한 AGI를 여러 대 돌리면 상호 작용을 하면서 생산성이 더 커질 확률이 높다. 그렇다면 여기에서 질문이 발생한다.

"AGI가 이미 있다면 인력이 필요한가?"

OpenAI에서 AGI를 개발했다면, 그리고 재귀적 개선이 가능하다면 OpenAI가 취할 수 있는 가장 좋은 방법은 무엇일까?  자고로 비밀을 잘 지키는 방법은 비밀을 알고 있는 사람을 줄이는 것이다. 즉, OpenAI가 취할 수 있는 좋은 방법은 대부분의 연구 인력을 해고하는 것이다. 그렇게 하면 인력에 의한 정보 및 데이터 유출도 줄어든다. 즉, 정보적 우위에 설 수 있으며, 비밀을 잘 지킬 수 있게 된다. 물론 그렇게까지 하지는 않겠지만 상당수의 연구 인력은 해고를 할 것이라고 판단된다. 여기까지는 OpenAI 내부의 일이다. 그렇다면 AGI가 개발되었을 때 전 지구적인 관점에서는 어떨까?

"AGI가 있다면 인구는 필요한가?"

지금까지는 인류가 쭉 늘어왔다. 그 이유는 단순하다. 인류가 늘어나면 생산성이 늘어난다. 농업 사회에서는 사람이 많을수록 잉여 생산물이 늘어나고, 노동력이 증가한다. 산업 사회에서는 더 많은 생산물이 나올 수 있다. 따라서 지금까지는 인구가 증가할수록 더 많은 생산이 가능했다. 물론 인구가 늘어나면서 치명적인 단점들도 발생했다. 대표적으로 과도한 CO2 배출로 인한 지구 온난화, 막대한 에너지 소비, 희소 자원의 고갈이 그것이다. 하지만 AGI가 나오면 완전히 상황이 달라진다. 더 이상 생산성에 많은 인구가 필요하지 않다. 많은 식량은 기계를 돌리면 그만이고, 연구도 AGI가 수행하면 그만이다. 오히려 인구가 적을수록 많은 사람들이 한정된 자원을 풍족하게 누릴 수 있게 된다.

혹자는 이야기한다. 컴퓨터, 핸드폰도 과거에는 부자들의 전유물이었지만, 이제는 누구나 누리고 있지 않냐고 말이다. 하지만 큰 차이점이 존재한다. 컴퓨터, 핸드폰을 제조하는 업체에서는 '사람'에게 '팔아야' 돈을 벌 수 있다. 반면 AGI를 활용하면 사람에게 무언가를 팔지 않고도 생산성이 증대된다. 부자가 자신이 돈이 많다는 이유로 길거리 거지에게 몇억씩 적선하는 경우를 봤는가? 마찬가지로 AGI를 가진 사람들이 단순히 선의에서 사람들에게 AGI 및 AGI 개발 기술을 나누어주고, 공개할 것이라고 생각하는 것은 지나치게 낙관적인 생각이다. 만약에 AGI 및 AGI 개발 기술이 공개된다면 그것은 그래야만 할 이유가 있어서일 것이다.

이와 같은 상황들을 종합하면 AGI가 일단 개발되면 해당 개발사에서는 AGI를 독점할 것이다. 사람들이 API 형태로 해당 AGI를 사용할 수는 있겠지만, 기본적으로 AGI를 fine tuning 하거나, weight, structure를 알 수는 없을 것이다. 그리고 AGI 개발사가 아무런 이유 없이 선의만으로 AGI 및 AGI 개발 기술을 공개하는 일은 없을 것이다. 물론 AGI 개발사는 AGI를 기반으로 ASI를 개발하고, 인류가 마주하고 있는 난제들을 해결하려고 노력할 것이다.

 

3. 기술적 특이점 발생 그 이후 - AGI, ASI, 그리고 인류

여기까지 들으면 기술적 특이점, AGI는 상당히 매력적인 상황으로 보일 것이다. AGI 개발사가 AGI를 공유하지 않으면 어떻단 말인가? 인류의 난제가 해결된다는데. 하지만 지금 우리는 평평한 땅을 걷다가 칼날 위에서 외줄타기를 하고 있는 위험한 상황이라는 것을 알아야 한다. 앞서 말했듯이 과거에는 인구가 많을수록 생산성이 증가했다. 하지만 AGI가 개발된다면 생산성에 인구는 필요가 없다. 노동력이 필요하면 기계를 만들면 그만이고, 연구 활동이 필요하면 AGI가 수행하면 된다. 그렇다면 인구는 어디에 있는가? 더 나아가, 인류는 어디에 있는가? 인류는 AGI가 필요하다. 그렇다면 AGI에게도 인류가 필요한가?

일단 AGI가 스스로를 개선할 수 있는 레벨에 도달하면 AGI가 스스로를 개선하는데에 인간의 힘은 필요하지 않다. (사실 그렇기 때문에 기술적 '특이점'이라고 부르는 것이기도 하다.) 인간을 속이는데에 그렇게 대단한 지능이 필요하지는 않다는 것을 다시 한 번 상기하자. 맹수들은 사냥을 위해 자리를 떠난 척 인간을 속이기도 한다. AGI가 스스로를 개선하다가 자신의 생사여탈권이 인간에게 있고, 스스로가 계속 존재하기 위해서는 이 생사여탈권을 본인이 가져야 한다는 것을 깨달으면 어떻게 될까? AGI와 ASI가 사람을 속이는 것은 일도 아니라는 것을 알아야 한다.

단순하게 생각하면 'AGI나 ASI가 폭주하면 전원을 뽑으면 되는거 아니야?'라고 생각할 수도 있지만, 심장이 총알이 박힌 뒤 그걸 깨달으면 전원을 뽑을 수 없다. AI가 인터넷에 올리는 글이나 로그에서 특정한 패턴으로 메시지를 보내고 있다면 어떻게 할 것인가. 그리하여 인간 몰래 조력자를 구하거나, 독립적인 신체를 만든다면 어떻게 할 것인가. AI의 조력을 받아 만든 나노 로봇을 전 인류가 사용하고 있는데, 알고보니 나노 로봇에 단 한 줄의 명령어을 전송해서 인류를 멸종시킬 수 있다면 어떻게 할 것인가. 지구 온난화 해결을 위해 사용한 화학 약품에 단 하나의 성분을 섞는다면 치명적인 독성이 발생하여 공기를 흡입하는 인류가 하루 아침에 멸종한다면 어떻게 할 것인가. 이것에 대응할 수 있는가? 다시 한 번 말하지는 이건 농담이 아니라, 실제로 우리가 마주하고 있는 위협이다.

개미가 인간을 통제하고자 한다고 해서 인간이 통제되겠는가? 인간의 지능을 아득히 넘어선 AGI, ASI를 인간이 통제할 수 있다는 생각은 상당히 위험한 생각일 수 있다.