오픈에이아이(OpenAI) 기업의 핵심 기술 (1) - GPT 시리즈

오픈에이아이(OpenAI) 기업의 핵심 기술 (1) - GPT 시리즈

 

지난 포스팅에서 ChatGPT가 무엇이며, 해당 서비스를 개발한 기업 '오픈에이아이(OpenAI)'에 대해서도 간략하게 살펴보았습니다.
이번 포스팅에서는 저번의 간략한 소개에서 더 나아가 '오픈에이아이(OpenAI)' 기업의 핵심 기술에 대해서 더 자세히 알아보도록 하겠습니다. 

 

 

지난 포스팅에서 언급했듯이 '오픈에이아이(OpenAI)' 기업은 더 나은 사회를 위해 모든 인간에게 이익을 주고자 인공지능 기술 개발에 주력하고 있는 엔지니어들과 연구원들로 구성된 연구기관입니다. 
그리고 해당 기업이 이를 위해 핵심적으로 발전시키고 있는 기술은 바로 AI 플랫폼입니다. 
전반적으로 OpenAI의 핵심 기술은 고급 인공지능 모델과 그 도구를 개발하는 것이며, AI 애플리케이션 개발을 지원하고 해당 기술의 발전을 더 촉진시키기 위한 인프라 구축을 중심적으로 진행 중입니다.

이를 위해서 '오픈에이아이(OpenAI)' 기업은 GPT(Generative Pre-trained Transformer), DALL-E, Codex, OpenAI GYM, 로보틱스 등을 개발했습니다.

 

 

 

GPT에 대해서 알아보자

gpt 사진출처:  Unsplash 의 D koi

 

다양한 핵심 기술들 중에서도 이번 포스팅에서는 GPT에 대해서 함께 살펴보도록 합시다.
GPT는 Generative Pre-trained Transformer의 약자로 인간과 유사한 언어를 생성할 수 있는 언어 생성 모델을 의미합니다. 해당 모델은 인공 신경망을 이용한 모델입니다. 

 

 

 

인공 신경망이란?

인공신경망을 보여주는 듯한 구조, 사진출처:  Unsplash 의 Alina Grubnyak

 

 

그렇다면 인공 신경망이란 뭘까요? 
이에 대해 알아보기 위해서 사람에게 정보가 주어졌을 때, 사람의 뇌에서 과연 어떤 절차들을 거쳐 판단이 일어나는지 살펴 봅시다. 
먼저 정보가 주어지면, 정보는 감각 기관에서 받아들여지고, 이는 뉴런을 통해 뇌로 전달됩니다. 
이후 뇌는 종합적으로 판단해서 다시 명령을 내리게 되죠. 
이때 바로 여러 개의 뉴런이 연결되면서 복잡한 처리와 연산 등을 수행하게 되는데, 이와 같은 두뇌의 정보 처리 과정을 모방해서 만든 알고리즘이 바로 인공 신경망입니다.
여러 정보가 입력되면, 정해져 있던 함수를 이용하는 과정을 거쳐서 새로운 값을 내놓는 것입니다.

 

 

 

GPT 기술과 GPT 시리즈 모음

GPT라는 언어 모델은 자연어(인간이 일상적으로 사용하는 언어) 처리의 기반이 되는 조건부 확률 예측 도구입니다. 물론 사람이 문장을 써 내려가는 것처럼 해당 문장 자체를 이해해서 직접 쓰는 건 절대 아닙니다. 방대한 양의 여러 텍스트 데이터들을 바탕으로 해당 데이터를 분석해 적절한 문장을 만들어내는 것이라고 생각하시면 됩니다. 우리처럼 글을 직접 구상하고 상상해 보며 작성하고, 직접 읽어보고 퇴고하는 등의 치열한 고민을 하는 메커니즘은 아니라는 것입니다.

 

우리가 어떤 키워드를 포함한 문장을 입력하면, GPT 언어 모델은 그 키워드와 관련하여 알고 있는 모든 자료들을 통합하고 취합해서 사람들이 요구한 답변을 담은 텍스트를 만들어 내는 것입니다. 
즉, 해당 처리과정을 고려해보면 GPT 언어 모델은 사람처럼 자신만의 신념이 담긴 글을 작성하는 주체로 보기에는 아직 부족한 점이 많습니다. 그저 많은 사람들의 의견을 통합하고 재구성한 지식 전달 체계 정도로 이해하면 적당할 것 같습니다.

하지만, 그럼에도 GPT 언어모델에 직접 질문해 보면 우리는 꽤나 놀랄 수밖에 없습니다. 
다들 인간과는 아직 다른 점이 많다라고 말해서 이질감이 들 것이라고 예상했던 바와는 다르게, 인간과 비교할 수 없을 만큼의 논리적이면서도 맥락에 딱 맞는 글을 작성해 주기 때문입니다.
심지어는 핵심 내용들을 인간들보다 더 체계적으로 정리해주는 것처럼 보이기도 하며, 더 좋은 글을 쓰기가 어렵겠다고 느껴지기도 합니다.

우리는 그렇다면 왜 해당 언어모델 GPT가 쓴 글과 인간이 직접 쓴 글을 구분할 수 없는 걸까요? 
아마 그 비결은 바로 어마어마한 학습량일 것입니다.
'오픈에이아이(OpenAI)'가 2018년에 첫 출시한 GPT-1은 1억 1700만 개의 매개변수로 학습했습니다. 

그 후 2019년에 '오픈에이아이(OpenAI)'는 4번에 걸쳐 GPT-2를 공개했습니다. 
모델 크기에 따라 약 1억 2400만 개에서 15억 개로 앞선 버전의 무려 10배 수준으로 파라미터(두 개 이상의 변수 사이의 함수 관계를 간접적으로 표시할 때 사용하는 변수)를 늘린 모델이었습니다. 
이렇게만 작성하면 '그냥 되게 큰 숫자니까 엄청 많은 양이겠지'라는 느낌만 드실 수도 있을 것 같습니다.

 

조금 더 와닿게 설명해드리자면,
인간과 유사한 수준의 글쓰기 능력으로 약 책 한 페이지의 분량을 단 10초 만에 만들어 낼 수 있는 수준이라고 생각하시면 더 이해하시기 쉬울 것입니다. 
AI네트워크가 만든 AI Writer도 GPT의 2번째 버전인 GPT2를 기반으로 만들어졌습니다. 
이게 바로 일론 머스크가 만든 비영리 연구재단 '오픈에이아이(OpenAI)'가 만들어 공개한 모델입니다. 

이 정도로도 굉장히 놀라운 수준임이 명백하지만, 해당 모델이 공개되고 나서 2020년 6월 즈음에 3번째 버전까지 출시되었습니다.
GPT-3는 1,750억 개의 매개변수를 가지고 있어 세계에서 가장 큰 언어 모델의 자리를 차지하고 있습니다. 이는 무려 GPT-1의 1000배, GPT-2의 100배 이상 크기로 꽤나 단기간이 지난 사이에 GPT 모델의 성능도 크게 향상되었습니다. 현재 GPT-3가 수행 가능한 작업으로는 각종 언어 관련 문제풀이, 랜덤 글짓기, 간단한 사칙연산, 번역, 주어진 문장에 따른 간단한 웹 코딩이 있다고 합니다.

그리고 약 3년이 지나고 2023년 3월 14일, GPT는 드디어 네 번째 버전인 GPT-4를 공개했습니다.
해당 모델의 가장 큰 특징은  바로 멀티모달(multimodal) AI라는 점입니다.
멀티모달이란 다양한 형태의 콘텐츠를 입력과 출력시에 활용할 수 있다는 것입니다.

 

GPT-3의 경우에는 텍스트 데이터만 학습이 가능해 문자로만 질문하고 답할 수 있었다면, GPT-4는 이미지를 함께 학습가능하여 이미지에 담긴 내용과 해당 맥락을 이해해 텍스트 내용과 결합하여 답변할 수 있게 되었습니다.
전반적인 기본적인 답변 능력도 향상되었고, 한 번에 기억할 수 있는 단어 수도 최대 8000 단어에서 최대 6만 4000 단어로 대폭 늘었습니다. 
현재 오픈 AI는 chatgpt 플러스를 통해 GPT-4기능을 제공하기 시작하였습니다.
관심 있으신 분들은 그 능력을 직접 확인해봐도 재미있을 것 같습니다.

 

이번 포스팅에 이어 다음 포스팅에서는 오픈에이아이 기업의 또 다른 핵심 기술인 DALL-E에 대해서 알아보도록 하겠습니다.

 

 

 

: 멀티모달(multimodal) 이란?

멀티모달(multimodal)은 두 가지 이상의 다양한 매체(media)를 사용하여 정보를 전달하거나 처리하는 기술이다. 

멀티모달 기술은 주로 컴퓨터 공학, 인공지능, 인터랙션 디자인 등 다양한 분야에서 활용되고 있다.

예를 들어, 영상에서 소리를 추출해 음성 인식을 하거나, 텍스트에서 이미지를 추출해 이미지 분석을 하는 것 등이 멀티모달 기술의 일종이다. 멀티모달 기술을 사용하면 기존의 단일 매체만 사용하는 기술에 비해 보다 다양하고 풍부한 정보를 전달할 수 있어, 사용자들에게 더욱 편리하고 효율적인 서비스를 제공할 수 있다.

최근에는 인공지능 기술의 발전과 함께 멀티모달 기술이 더욱 발전하고 있으며, 다양한 분야에서 활용이 예상되고 있다. 예를 들어, 인공지능 스피커에서 음성, 이미지, 텍스트 등을 모두 활용해 사용자들에게 보다 다양한 정보를 제공하는 것이 그 예시이다. 또한, 자율주행 자동차에서는 영상, 음성, 센서 데이터 등 다양한 매체를 활용해 운전자와의 상호작용을 가능하게 하고, 보다 안전한 운전을 돕는 등 다양한 기능을 제공할 수 있다.