Knowledge Navigator와 뉴 AI - 황승진 교수님 칼럼

실리콘밸리 AI 칼럼

2025. 02. 10

조회수

414

우리가 지금 사용하는 수많은 기술이 과거 누군가의 상상에서 시작된 것이라는 사실, 알고 계시나요? 현대적인 컴퓨터부터 인터넷 시스템까지, 모두 상상의 씨앗이 자라 현실이 된 결과물입니다. 그렇다면 ‘인공지능(AI)’은 어떨까요? 우리가 사용하는 LLM(대규모 언어 모델) 시스템은 어떤 상상과 발상에서 출발해 지금의 모습으로 발전했을까요?

이랜서 회원분들께 AI 시대의 흐름을 정확히 이해하고 미래를 준비할 인사이트를 제공하기 위해 ‘황승진 교수님의 인공지능 칼럼’을 준비했습니다.

한국인 최초 스탠포드 종신 교수이자 스탠포드 경영 대학원 잭디프 로시니 싱 명예교수로 활동 중인 황승진 교수님의 칼럼을 통해 LLM 시스템이 어떻게 시작되어 지금의 모습으로 발전했는지 깊이 있게 알려드리겠습니다.

애플 Knowledge Navigator와 뉴 AI

인터넷 시대에서 볼 때 선사시대에 해당되는 1987년, 애플사는 자신이 그리는 기술의 장기적 비전을 Apple Knowledge Navigator란 비디오에 담았다.

그 비디오는 애플을 넘어 세계 기술사의 비전이 되었다. 워낙 장기적인지라 38년이 지난 지금도 그 비전은 다 실현되지 않았다. 허나 이제서야 겨우 가시권 내에 들어왔다. 독자에게 이 비디오를 유튜브에서 찾아서 보기를 강력히 추천한다.

<Apple Knowledge Navigator>

그 비디오에는 한 버클리 교수의 어느 하루를 그리며, AI가 어떻게 세상을 변화 시킬지를 상상해 본다. 교수는 자신의 가상 비서와 대화하며 강의 준비를 한다. 그곳에 동원되는 기술은 놀랍도록 뉴 AI와 일치한다.

영상 속 버클리 교수가 상상해 본 '가상 비서’

첫째, 가상 비서는 교수의 말을 이해하고 답한다. LLM이 미리 태어난 것 같은 착각을 준다.

둘째, 3자 멀티 모달(텍스트, 영상과 오디오) 데이터의 자연스러운 사용이다.

가상 비서는 입술을 움직이며 교수와 말을 주고받으며, 오는 전화를 받고, 놓친 전화에 대해 설명하며, 딴 교수에게 전화하며, 하루의 일정을 설명한다.

답하는 중에 논문, 도표와 지도도 사용한다. 시뮬레이션을 통해 비디오도 즉석에서 생성한다.

셋째, LLM 혼자가 아니라, 그의 일당(RAG, Agent, API, 도구)까지 등장한다. 교수의 지시사항에 맞춰 작업의 흐름 즉 워크플로를 계획하고 실천한다.

리서치 네트워크 등 여러 데이터 소스가 비서에게 매끄럽게 연결되는데, 요새로 따지면 RAG가 할 일이다. 개인 일정표는 도구로 연결하면 된다.

마지막으로, 교수는 정확한 소스를 모르지만 대강 뜻하는 바를 밝힐 뿐이다. “거, 플레밍인가 하는 친구가 최근에 발표한 삼림의 황폐화에 관한 논문…” 흔히 말하는 인텐트 기반 AI가 있는 듯하다.

어느 정보 소스에 연결할지 그 라우팅은 자동으로 되는데, 요새 같으면 ‘에이전틱 워크플로’의 일부일 것이다. 물론 그 비디오는 애플이 배우를 써서 촬영한 공상 과학극이지만, 그 기반 기술은 실제 우리 눈앞에 펼쳐지고 있다. 할리우드 영화가 실리콘 밸리에 현실로 나타난 듯하다.

상상을 현실로 만들어준 LLM의 워크플로우

이 공상극이 연출한 기술 선물세트를 우리는 요새 LLM Mesh (LLM 망)라 부른다. 여기에는 LLM, RAG, 에이전트, API 같은 도구가 등장한다.

이들은 여러 역할로 시스템 내 워크플로에 참가한다. “누가 무엇을 한 후, 누가 받아서 무엇을 어떻게 해서 답을 내놓느냐” 등을 설계하고 실천하는 것이다. 이 구성원들을 간단히 소개한다.

LLM은 언어 모델로 인간 사용자와 자연어로 대화한다. LLM은 이러한 기업 시스템의 UI(User Interface)가 된다.

다음으로, RAG는 LLM에게 외부 정보를 제공한다. 예를 들어, 각종 서류를 PDF로 변환하고, 이 PDF를 LLM과 연결할 수 있다.

또한 기업 DB에 있는 데이터를 데이터 언어 SQL로 축출한다. 이때, SQL 전환이든지 SQL 명령 수행 등은 RAG로 처리한다.

에이전트는 워크플로를 자동화한다. 특히 마스터 에이전트는 작업의 흐름을 지휘하고, LLM이 이 역할을 맡는다. 때로는 여러 명의 에이전트가 작업을 나누어 담당 처리한다.

에이전트는 독자적으로 결정권을 행사하며 주어진 임무를 달성한다. 이를 위해 소프트웨어 도구를 사용한다.

웹을 검색하든지, 파이선을 해석하고, 항공사 웹에 예약하고, 신용카드로 지불하는 API도 도구의 한 형태다.

전체 워크플로는 LangChain이나 Agent Builder 같은 에이전트 프레임워크가 관장한다. 이렇게, LLM은 그 보완 제품들과 같이 무리 지어 돌아다닌다.

LLM 하나만 가지고는 퀴즈 맞히기 정도 밖에 할 게 없다. 그 무리 덕택에 AI가 비즈니스 안으로 들어오게 되었다.

Knowledge Navigator를 완성시키는

LLM의 '3가지 연결 도구’

이제 Knowledge Navigator로부터 무대를 바꿔 오늘날의 LLM Mesh 혹은 에이전트 시스템을 상상해 본다. 한 기업이 AI 기반 챗봇을 설계한다.

인간 사용자는 제미나이 2.0나 gradio 같은 UI를 통해 마스터 에이전트와 화면 대화를 한다. 우리 마스터 에이전트는 LLM으로 3개의 연결 도구를 가지고 있다.

RAG를 통한 정확한 데이터 탐색

첫째 도구는 회사 정책과 절차가 들어있는 PDF를 RAG로 연결한다. “내 경우, 내년에 며칠의 휴가가 가능한가?”라고 물으면, 그 답이 관련 문서를 통째로 주며 “여기 어디엔가 답이 있어”라는 게 아니라, “14일”이라는 형태로 돌아온다.

회사의 관계형 DB를 액세스하게 하는 SQL 에이전트

둘째 도구는 회사의 관계형 DB를 액세스하게 하는 SQL 에이전트다. 여기에 회사의 기업 활동에 대한 중요한 정보가 포함되어 있다. 이 에이전트 역시 LLM이다. 영어 쿼리를 SQL로 번역하고, 또 테이블 형태로 나온 답을 영어로 풀어서 마스터 에이전트에게 넘긴다.

“작년에 LA 지역에서 몇 건의 주문 취소가 일어났나?”라고 자연어로 질문하면, “512 건입니다”라고 자연어로 답한다.

실시간 정보 처리를 도와주는 인터넷 검색

마지막 도구는 인터넷 검색을 가능하게 한다. 오늘의 주식 상황이든지 내일 날씨 같은 최근 뉴스는 이 도구가 처리한다. LLM은 실시간 정보를 처리할 수 없으니 이런 도움이 필요하다.

이 에이전트 시스템에서, 사용자는 챗봇와 자연스레 대화하며, 마스터 에이전트는 다 알아서 답한다. 질의 내용에 따라 마스터 에이전트는 필요한 출처를 선택해 필요한 정보를 추출한 후 사용자에게 전달한다. 하나의 UI로 모든 비즈니스가 처리된다. 드디어 애플이 꿈꾸었던 Knowledge Navigator가 완성되었다.