[스탠포드 황승진 교수님의 인공지능 칼럼] 소버린 AI와 맞춤형 AI 모델이 이끄는 실리콘밸리의 AI 혁신

Chat GPT의 등장 이후 전 세계 기술 트렌드와 발전 속도가 급격히 변화하면서, LLM 모델이 산업에 미치는 영향도 더욱 커지고 있습니다. 

제미나이부터 클로드, 라마 3 등 글로벌 기업들의 LLM 개발과 함께 금융, 의료, 법조계 등 다양한 분야에서도 산업 특화된 맞춤형 AI 모델을 개발하며, 각 분야별 전문 지식까지 처리하는 AI 모델의 개발이 활발하게 이뤄지고 있는데요.

한국인 최초 스탠포드 경영 대학원 종신 교수이자, 현재 스탠포드 경영 대학원 잭디프 로시니 싱 명예교수로 활동 중인 황승진 교수님의 칼럼을 통해, 실리콘밸리에서 LLM 모델을 활용한 맞춤형 AI 모델 혁신이 어떻게 진행되고 있는지 빠르게 알려드리겠습니다.

블룸버그 GPT와 스탠포드 MUSK 

블룸버그는 금융 및 비즈니스 정보, 뉴스 및 리서치를 제공하는 회사다. 금융 정보 세계에서의 독보적 위치를 활용하여 블룸버그 GPT라는 별도의 LLM 기초+응용 모델을 만들었다. 대부분의 지식을 기초 모델에 넣었다. 

이 새로운 LLM은 금융 산업 내 정보를 자연어 처리(NLP) 할 수 있다. 이를 ‘분야별 LLM’ 혹은 ‘수직형 LLM’이라 부른다. 이는 Chat GPT 같은 일반 ‘수평형 LLM’과 구분된다. 

사실, 블룸버그는 이 둘을 합쳤다. 금융 데이터와 일반 데이터 세트를 결합하여 내부 직원과 외부 금융업 종사자가 금융 시장을 탐색, 분석 및 예측하도록 지원한다. 

또한 M&A 및 IPO와 같은 금융 거래 준비에도 도움을 줄 수 있다. 이러한 성과를 달성하기 위해, 블룸버그의 데이터 분석가들은 40년 동안 생성, 수집 및 정리한 그 분야 역대 최대 규모의 데이터 세트를 구축했다. 

규모가 총 3630억 토큰에 달했고, 500억 개의 파라메터를 훈련하는데 62만 GPU 시간이 걸렸다. 그 결과, 블룸버그 GPT는 금융 지식에서는 탁월하고, 일반 지식도 수준 급이 되었다. 

블룸버그 GPT 사용자는 여러 종류의 질문을 할 수 있다. “내년에 대한 시장 분위기를 좀 알아보게나,” 혹은 "지난 5년간 기업 인수 거래를 보고, 다음 일어날 인수 거래를 예측해 보게"라고 질문할 수 있다. 블룸버그는 막대한 지적 재정적 이점을 이용해 새 시대에 맞춰 잽싸게 재정비했다.

의료 데이터를 기반으로 암을 예측하고 

치료 결과까지 전망하는 임상용 LLM 모델 MUSK

다른 산업도, 특히 의료 분야는, 분야별 LLM을 보유하고 있다. 2025년 스탠포드 의대팀은 MUSK라는 암을 예측, 반응 및 치료하기 위한 임상용 기초 모델을 개발했다. 

일론 머스크하고는 전혀 관계없는 이름이다. 과거의 ‘진단’ 위주 AI가 아니라, ‘예측’의 도구가 된다. 

“이 환자에게 이 치료는 어떤 결과가 나올까”를 예측하고, 그중에 가장 효과적인 치료법을 찾는데 쓸 수 있다. 이에는 두 종류의 과거 경험 데이터가 필요하다. 

환자가 암과의 투쟁할 때의 X레이, MRI, CT 스캔 같은 이미지 데이터, 그리고 주치의의 코멘트, 진료 기록, 전문의와의 대화 같은 텍스트 데이터이다. 

MUSK는 많은 환자 케이스의 텍스트-이미지 멀티 모달 데이터로 사전 훈련된 트랜스포머 기초 모델을 만들었다. 

들어간 데이터의 양이 거대하다. 5천만 개의 의료 이미지와 10억 개의 병리학 텍스트를 동원했다. 이 데이터를 ‘마스킹’방식으로 학습했다. 

단어나 이미지를 가리고 이를 맞춰보라고 묻고 답을 가르쳐 주며 배우게 한다. 그리고 이미지와 텍스트를 같은 임베딩 체제에 넣어, 먼저 각자 내에서 연결(self-attention) 한 후, 다음 서로 연결해 교차 어텐션(cross attention)을 수행했다. 

즉, 텍스트와 이미지의 연결 관계를 임베딩에 반영했다. 어느 쿼리에 답할 때, 텍스트와 관련된 이미지가 같이 불려 나온다. 

이를 ‘텍스트-이미지 모델’ 혹은 ‘올인원’이라 부르며, 최근 LLM (오픈 AI CLIP, Flamingo, 제미나이)은 이렇게 훈련되어 답에 텍스트와 이미지가 같이 나온다. 

게다가, 이 기초 모델을 파인튜닝하여, 사용자 병원이 자기 나름대로의 새로운 응용을 개발할 수도 있다. 

MUSK의 목표는 의사로 하여금 과거 세상 모든 의료 경험을 내 실력과 합쳐, 현재 내 환자의 성공 확률을 최대화하는 것이다. 아이작 뉴턴 경의 표현대로, “과거 거인들의 어깨 위에 지은” 지식의 탑이다. 

바이오텍 분야도 연구 및 개발용 LLM 모델 BioGPT

바이오텍 분야도 연구 및 개발용으로 분야별 LLM이 존재한다. BioBERT, PubMedBio와 BioGPT가 그 예이다. 이 분야에 3천만 편의 연구 논문이 있다니, 교육생과 연구자에게 매우 유익할 것이다. 

이들은 인터넷이나 서적 등 데이터로 자가학습을 시켜 기초 모델을 만든 후 용도에 맞게 파인튜닝을 했다. 논문 제목이나 저자 이름으로 서치하는 게 아니라, 내용으로 한다. “누가 처음 DNA를 X레이 촬영했지?” 같이 말이다.

LM과 SML의 결합으로 탄생하는 산업 특화 AI 모델

블룸버그 GPT는 기초 모델부터 시작해 끝까지 자신이 만든 거대한 작품이지만, 비슷한 기능의 FinGPT는 오픈소스 기초 모델을 가져와 금융 정보로 파인튜닝을 했다. 

이렇게 ‘기초 모델+파인튜닝’은 흔히 사용되는 분야별 LLM 개발 방식이지만, 다른 가능성은 LLM 위에 분야에 특화된 소형 언어 모델(SLM)을 구축하는 것이다. 

이러한 2층 구조의 기초 모델은 두 모델의 장점을 모두 얻을 수 있다. LLM은 일반 지식과 기능을 제공하고, SLM은 분야 지식을 제공한다. 

실리콘 밸리의 한 시스템 개발업체는 자신의 몇 제조 분야 고객 기업과의 경험을 외부 정보와 융합해 SLM을 만든 후 일반 LLM과 함께 2층 구조를 만들었다. 

흥미롭게도, 그 회사에 따르면, 자기네는 LLM을 주로 ‘기능’으로 사용하고, ‘지식’은 SLM에서 나오니 환각 현상을 피할 수 있다고 한다.

"분야별" LLM 외에도, 국가 수준에서 "국가별" 모델이 있다. 예를 들어 중국, 미국, EU는 모두 "주권 AI"를 구축하기 시작했다. 언어, 문화, 산업과 안보를 고려해 외국의 힘에 의존하지 않겠다는 의도이다. 

덕분에 국민 여럿이서 많이 배우고 그들이 새로운 사업을 시작하는 낙수효과도 기대할 만하다. 

오라클 회장인 Larry Ellison은 모든 국가가 주권 AI 클라우드를 구축하기를 원할 것이라고 넌지시 충고한다. 어쨌든, 수직형 LLM 즉 분야별 LLM과 주권 LLM은 오늘의 대세다.

황 승 진

한국인 최초의 스탠포드 석좌교수 

스탠포드 경영 대학원 잭디프 로시니 싱 명예교수

'알토스벤처'와 ‘길리아드’ 등 20여 개 기업의 사회 이사 역임

[한국인 최초 스탠포드 종신 교수, 황승진의 인공지능 칼럼]

‘소버린 AI와 맞춤형 AI 모델이 이끄는 실리콘밸리의 AI 혁신’은 한국인 최초로 스탠포드 경영 대학원 석좌 명예교수로 임명된 황승진 교수님의 인공지능 칼럼 '블룸버그 GPT와 스탠포드 MUSK'를 이랜서에서 재편집한 글입니다. 황승진 교수님의 인공지능 칼럼은 총 20회에 걸쳐, AI 혁신과 비즈니스 변화를 심층적으로 다룹니다.