[스탠포드 황승진 교수님의 칼럼] AI × 빅데이터, 실리콘밸리에서 새로운 비즈니스를 창출하는 방법

ChatGPT, Gemini, Claude AI와 같은 수천억 개의 파라미터를 기반으로 학습하는 LLM(대규모 언어 모델)의 등장은 전 세계 IT 산업의 판도를 바꾸고 있습니다. 

AI는 이제 사람이 인식하지 못했던 미세한 변화까지 감지하고, 이를 바탕으로 이전에는 보이지 않던 새로운 인사이트를 도출해내고 있습니다.

실리콘밸리에서는 이러한 AI 기반의 정밀한 관찰과 통계 데이터를 활용해, 기존과는 전혀 다른 방식으로 데이터를 재구성하고 새로운 가치를 창출하는 비즈니스가 활발하게 이루어지고 있습니다.

오늘은 한국인 최초의 스탠포드 종신 교수이자, 현재 스탠포드 경영 대학원 명예교수로 활동 중인 황승진 교수님의 칼럼을 통해, 실리콘밸리에서 AI가 미세한 변화 속에서 생성되는 빅데이터를 어떻게 인사이트로 전환하는지에 대한 통찰을 전해드립니다.

AI와 빅데이터  

월스트리트 투자가들에게 시장을 이길 수 있는 가장 확실한 방법은 우수한 정보를 남들보다 먼저 얻는 것이다. 예를 들어, 미국 자동차 제조업체들은 특정 모델, 판매 지역, 연간 실적에 대한 세부적인 ‘월간’ 출하량과 판매량을 발표한다. 

숫자에 따라 주가가 출렁인다. 만약 어느 월스트리트 투자가가 매일 ‘일간’ 숫자에 접근할 수 있다면 어떨까? 또한, 주요 정유 공장의 더 정확한 판매 데이터를 당일로 얻을 수 있다면 어떨까?

'Orbital Insight'(궤도 통찰)는 이러한 데이터를 제공하는 샌프란시스코 기반 회사이다. 위성, 드론, 풍선을 사용하여 관심 지역의 항공 사진을 찍고 그 데이터를 처리하여 월스트리트 투자가 및 기타 고객(정부, 군(軍), 농사 업자)에게 판매한다. 

지리 공간 데이터를 분석할 때 기계 학습(ML)을 여러모로 사용한다. 위성 카메라는 미국 내 4,700개의 월마트 주차장에 주차된 고객의 차량 수와 방문한 고객 수를 추적한다. 

주차장을 보는 것은 쉽다. 위성 시간을 구입하면 된다. 어려운 부분은 차량과 고객을 세는 것이다. 위성 카메라는 지구 표면에서 160-2000km 위에 떠있으니까, 1평방미터는 1픽셀로 캡처된다. 

사람이나 차는 이 카메라 사진에서 약 1~2픽셀 정도로 작기 때문에 거의 보이지 않으니 셀 수가 없다. 그러나 '움직임'을 기록하면 점의 '경로'를 추적할 수 있다. 추적과 계산은 훈련된 AI가 오비탈에서 수행한다. 

이런 식으로 고객은 물론, 매장에 들어가는 직원 수까지 세어낼 수 있다. 직원들은 별도의 문을 통해 매장에 들어가야 하기 때문이다. 기계의 도움 없이 인간의 눈으로는 합리적인 시간 내에 이를 세는 것이 불가능하다.

그림자의 변화를 분석해 석유량을 추정하는 오비탈의 AI

오비탈의 다른 ‘비전 데이터+ML’의 응용 사례는 주요 정유 회사의 원통형 탱크에 저장된 석유량을 추정하는 것이다. 

위성은 위에서 탱크의 이미지를 찍는데, 내부를 볼 수가 없으니 석유량을 측정할 수 없다. 그러나 흥미롭게도, 대부분의 석유 회사는 원유를 '부유식(浮游式) 지붕'이 있는 탱크에 저장한다. 

이 지붕은 탱크 내부의 유면에 따라 상하로 움직이도록 설계되었다. 이러한 부유식 지붕은 석유와 지붕 사이의 공간을 최소화하여 대기 중으로의 휘발성 화합물의 증발을 줄인다. 

오비탈의 AI 엔지니어들은 이러한 흥미로운 관행을 적극적으로 활용했다. 

원통형 탱크의 상단 링은 지붕에 그림자를 드리우며, 오비탈은 주어진 시간과 위치에서 그림자의 모양을 측정하여 탱크 내부에 남아 있는 석유량을 추정할 수 있다. 

그림자를 부피 추정치로 변환하는 작업은 ML을 통해 수행된다. 또한, 항구에 들어오는 유조선을 추적하여 매일 순유출량을 파악하고 판매량을 계산할 수 있다. 이 정보를 얻은 투자자들은 석유 회사의 주가나 원유 선물 가격을 더 잘 예측할 수 있다. 

이 모델은 2015년경에 개발되었으므로 뉴 AI 이전의 AI이다. 아마도 시키기만 하면, 새로운 AI 역시 이 작업을 훌륭하게 해 낼 것이다.

SNS 데이터가 대답하는 시대

이 사례의 핵심은 ‘관찰과 통계 집계의 기계화’다. 구태여 고상한 위성이 아니더라도, 많은 관찰 가능한 데이터가 인터넷에 존재한다. 

로체스터 대의 ‘제보 루오’ 교수팀은 인스타그램에 개제된 사진을 통해 젊은이들의 음주 행태에 대해, 설문 조사보다 더 정확한 집계를 할 수 있었다. AI를 써서 사진에 나온 인물의 성별, 나이, 인종을 추정하고 같이 사진에 나타난 주류와 제품명까지 조사할 수 있었다. 

그들은 익명 설문조사에 솔직히 답하기는 꺼려 해도, 인스타그램에 웃는 얼굴로 술자리를 자진 공개하길 즐기고 있었다. 아마도 술기운이었던 같다.  

이번에는 ‘언어 데이터+ML’의 예를 보자. SNS에 개제된 ‘대화’에는 대중의 솔직한 의견과 관심이 반영되어 있다. 

일반인들은 내 회사나 제품에 대해 어떻게 생각하나? 이때도 설문조사보다는 페이스북, 틱톡, 인스타그램, 링크드인, 위쳇이나 X 같은 SNS의 솔직한, 어쩌면 너무 솔직한, 대화가 더 진실에 가깝다. 

수십억 줄의 SNS 대화를 읽고 통계 집계하는 3자 서비스를 소셜 리스닝(social listening)이라 부르며, 이 카테고리에는 수많은 상용 제품이 있다. 대부분은 AI 즉 LLM의 언어 능력을 사용한다.

AI로 SNS 데이터를 분석해 

고객의 '진짜' 반응을 읽어내는 소셜 리스닝

한 사용 예를 들자. 이어폰 제조업체 A는 고품질 헤드폰을 전 세계에 공급한다. 일부 제품의 가격은 1,200 달러 이상이었다. 이들은 소셜 리스닝 제품에게 다음 같은 질문을 던졌다. 

첫째, 일반인들은 헤드폰을 얼마나 자주 언급하나? 또 언제? (답은 금요일 그리고 방학 직전). 

둘째, 우리 제품은 헤드폰 카테고리에서 얼마나 자주 언급되나? 누가 우리보다 앞섰나? (답은 ‘비츠 by Dr. Dre’) 

셋째, 우리 제품에 대해 뭐라고 말하나? 좋게 말한 비율은 얼마인가? 이 조사에서 A사는 다소 놀라운 사실을 발견했다. 

조사 전까지만 해도, 판매량이 작은 것은 당연히 ‘높은 가격’ 때문이라 생각했다. 허나 SNS에서 가장 자주 언급되는 것은 ‘잦은 고장’이었다. 또 80% 정도만이 긍정적 평가를 주었다. 

이러한 sentiment analysis(감정 분석)을 하는 데는 LLM의 언어 인식력이 필수다. “둘이 쓰고 듣다가 하나가 죽어도 모른다”란 말의 뜻이 “긍정”이라는 것을 알아채야 한다.

전화 여론 조사에 비교해, 소셜 리스닝의 단점은 응답자가 젊은 연령층에 편중된다는 것이고, 장점은 솔직한 정보, 그리고 빠른 답이다. 

질문을 낸 지 1-2분 만에 답을 얻을 수 있다. 마치 답이 앉아서 질문을 기다리고 있었던 것 같다. 생각해 보면, 세상에 수많은 답들이 여러분의 질문을 기다리고 있는지 모른다. 새로운 AI의 새로운 선물(膳物)이다. 

황 승 진

한국인 최초의 스탠포드 석좌교수 

스탠포드 경영 대학원 잭디프 로시니 싱 명예교수

'알토스벤처'와 ‘길리아드’ 등 20여 개 기업의 사회 이사 역임

[한국인 최초 스탠포드 종신 교수, 황승진의 인공지능 칼럼]

‘AI × 빅데이터, 실리콘밸리에서 새로운 비즈니스를 창출하는 방법’은 한국인 최초로 스탠포드 경영 대학원 석좌 명예교수로 임명된 황승진 교수님의 인공지능 칼럼 'AI와 빅데이터'를 이랜서에서 재편집한 글입니다. 황승진 교수님의 인공지능 칼럼은 총 20회에 걸쳐, AI 혁신과 비즈니스 변화를 심층적으로 다룹니다.