사진= BAAI
사진= BAAI

중국 인공지능(AI) 연구팀이 최근 새로운 사전학습 모델인 ‘우다오(悟道) 2.0’을 발표했다고 기술전문지 기가진 등 외신이 보도했다.

이 보도에 따르면 우다오 2.0은 정부로부터 재정 지원을 받고 있는 비영리 연구단체인 베이징인공지능아카데미(BAAI)를 중심으로 여러 기관에 소속돼 있는 100명이 넘는 연구팀이 개발한 심층학습 모델이다.

우다오 2.0은 파라미터(parameter, 매개변수) 수가 1조7500억 개에 달해, 비영리 인공지능 연구단체인 오픈AI가 지난해 6월에 발표한 언어처리 모델 ‘GPT-3’의 1750억 개나 구글 산하의 구글 브레인이 개발한 언어처리 모델 ‘스위치 트랜스퍼머(Switch Transformer)’의 최대 1조6000억 개를 능가한다고 BAAI 연구자들은 주장한다.

이에 대해 기술전문매체 톰스 하드웨어(Tom‘s Hardware)는 AI의 성능에 있어서는 매개변수의 수만 중요한 것이 아니라 데이터 세트의 양이나 내용도 중요하다고 지적했다. 예를 들어 GPT-3는 불과 570GB의 데이터에서 훈련했지만 이 데이터는 사전 처리에 의해 45TB의 데이터 세트에서 짜여진 데이터였다고 한다. 따라서 “우다오 2.0과 관련한 수치는인상적이지만 모델의 성능을 나타내는 게 아닐 가능성이 있다나타내지 않을 수 있다“라고 이 매체는 주장한다.

파라미터는 기계학습 모델에 의해 정의되는 변수이며, 학습에 의해 모델이 진화함에 따라 매개변수가 향상돼 더 정확한 결과를 얻을 수 있다. 따라서 일반적으로는 모델에 포함되는 매개 변수의 수가 많을수록 기계학습 모델은 향상되는 경향이 크다고 한다.

우다오 2.0은 총 4.9테라바이트(TB)의 텍스트 및 이미지 데이터로 학습되고 있으며, 이 학습 데이터에는 중국어와 영어 텍스트를 각각 1.2TB씩 포함하고 있다. 또한 이미지 생성이나 얼굴 인식 등의 특정 작업에 특화된 심층 생성 모델과는 달리 에세이나 시를 쓰거나 정지 이미지에 근거해 보완하는 문장을 생성할 수 있고, 문장의 설명에 따라 이미지를 만들어낼 수도 있다고 한다.

베이징에서 활동 중인 AI 연구자 블레이크 얀 씨는 “거대 데이터 세트로 훈련된 이들 정교한 모델은 특정 기능에 사용하는 경우, 소량의 새로운 데이터밖에 필요로 하지 않는다. 왜냐하면 인간과 마찬가지로 이전에 학습한 지식을 새로운 작업에 응용할 수 있기 때문이다”라고 코멘트했다.

장홍지앙 BAAI 원장은 “대규모의 사전학습 모델은 범용 인공지능으로 향하는 최상의 지름길 중 하나이다”라며 우다오 2.0이 범용 인공지능에 초점을 뒀다는 점을 시사했다.

이미 우다오 2.0은 스마트폰 제조업체 샤오미를 비롯해 22개 기업과 제휴하고 있다고 사우스 차이나 모닝 포스트는 보도했다.

한편, 중국 정부는 BAAI에 막대한 자금을 지원하고 있다. 2018년과 2019년에만 3억4000만 위안(약 590억 원)의 자금을 제공한 것으로 전해진다. 미국 정부도 2020년에 AI와 양자 컴퓨팅에 10억 달러 이상의 자금을 투입할 것이라고 발표해 미국과 중국의 기술 경쟁은 한층 격화되고 있다.

저작권자 © 테크데일리(TechDaily) 무단전재 및 재배포 금지