[뉴스레터] 2월 23일 미라클레터

안녕하세요? 미라클러님. 한국에는 어제 눈이 많이 왔다고 들었는데요. 실리콘밸리는 요즘 비가 오고 흐린 날이 계속되고 있습니다. 여기서는 눈을 볼이 거의 없어서 이런 소식이 들릴 때마다 한국에 계시는 지인과 가족들의 생각이 납니다.

어제는 여러가지 일들이 한번에 있었는데요. 엔비디아가 분기 실적을 발표했고, 인텔이 열리는 행사에 샘올트먼 오픈AI CEO가 참석했습니다. 이 모든 것들은 하나를 말하고 있는데요. 미라클레터에서 제가 요즘 지겹게(?) 말씀드리고 있죠.

바로 인공지능(AI)이 새로운 '컴퓨팅'의 시대를 연다는 것입니다.

오늘의 에디션  
지구 상에서 가장 중요한 기업
샘 올트먼을 만났습니다
파운드리에 올인하는 인텔
괴물같은 속도의 AI반도체
한줄브리핑


하키스틱 모양으로 상승하는 엔비디아 매출



지구 상에서 가장 중요한 기업


21일 전세계가 주목하는 실적을 발표한 엔비디아. 사실 엔비디아는 이틀 동안 주가가 5% 가량 하락하면서 사람들의 우려가 컸어요. 예상된 실적보다 너무 주가가 빠르게 오르고 있다는 평가가 나온거죠. 그런데 뚜껑을 열어보니 엔비디아의 매출과 순이익은 예상을 훨씬 뛰어넘었어요. 연간 기준으로 보면 1년전 약 36조원 정도의 매출을 냈던 엔비디아는 1년만에 81조원의 매출을 내는 기업이 됐어요. 1년만에 두 배 이상 매출이 커진 것. 순이익은 약 7배 이상 커져서 돈을 찍어내는 기계가 되었습니다. 🤑


이날 투자자들을 대상으로 하는 컨퍼런스 콜에서는 애널리스트들이 마치 생일 축하를 하듯 젠슨 황에게 축하의 말을 건냈습니다(그런데 젠슨 황 CEO는 거의 1년째 축하를 받고 있습니다). 그래서인지 오늘 젠슨 황 CEO는 평소보다 더 흥분된 모습이었습니다. 이날 골드만삭스는 엔비디아를 ‘지구 상에서 가장 중요한 주식(Most Important Stock on Planet Earth)’이라고 얘기하기도 했습니다.

AI데이터센터는 AI공장이다

컨퍼런스 콜에서 젠슨 황 CEO의 발언에서 흥미로운 부분을 몇 개 가져와봤어요.

“지금 두 개의 산업 차원에서 변화의 초입에 있다. 하나는 AI데이터센터이고 다른 하나는 생성형AI이다.”

“새로운 AI데이터 센터는 데이터를 원재료로 ‘인공지능’을 만들어는 AI공장(AI Factory)이다”

“생성형AI로 이제 소프트웨어가 언어와 동영상, 생물학까지 이해하게 될 것이다”

“향후 5년 동안 전 세계 데이터센터 인프라 설치가 두 배로 늘어나고 연간 수천억 달러의 시장 기회를 창출할 것이다”



데이터센터와 엔비디아의 반도체가 무슨 상관일까요?


엔비디아가 만드는 GPU라고 하는 반도체는 데이터센터에 들어가는 AI학습 및 추론 서비스용 고성능 서버컴퓨터를 구성해요. 이런 AI서버컴퓨터가 많이 들어가는 AI데이터센터는 기존의 데이터센터와 많이 다르답니다.
젠슨 황 CEO는 AI데이터센터와 이 데이터센터로 작동되는 생성형AI가 '가속컴퓨팅(Accelerated Computing)'의 시대를 열고 있다고 말하고 있는 겁니다!

샘 올트먼을 만났습니다

같은 날, 산타바바라의 엔비디아 본사로부터 얼마 떨어지지 않은 산호세 컨벤션 센터에는 인텔 파운드리의 행사가 열렸습니다. 컴퓨터 CPU를 만드는 인텔은 3년 전 파운드리 사업에 뛰어들 것을 밝혔는데요. 우리 회사 반도체만 만드는 것이 아니라 다른 회사 반도체도 대신 만들어주겠다는 것입니다. 2017년 파운드리 사업에 본격 뛰어든 삼성전자를 뒤늦게 따라오는 모습이죠.

이날 인텔은 마이크로소프트의 첨단 반도체를 자신들의 파운드리에서 생산을 할 것이라고 밝혔어요. 이 반도체는 마이크로소프트의 데이터센터용 AI반도체일 것으로 추정됩니다. 이 AI반도체로 데이터센터를 만들면 마이크로소프트는 엔비디아의 반도체를 덜 사도 됩니다.



인텔은 또 중요한 사람을 이 자신들의 행사에 불렀습니다. 바로 샘 올트먼 오픈AI CEO. 사실 이날 오픈AI와 인텔 사이의 중요한 발표는 없었어요. 7조달러의 투자유치에 대해서 샘 올트먼은 ‘오보’라고 말했지만 그렇다면 정확하게 투자유치를 하고 있는 금액이 어느 정도인지도 밝히지 않았습니다. 반도체 회사를 만들고 있는지에 대해서도 말하지 않았습니다. 기사가 되는 내용은 안 나왔다는거에요. 😂


최초의 DGX-1 을 오픈AI에 기증하는 젠슨 황 엔비디아 CEO <일론머스크>

AI는 거거익선

하지만 대담에서 샘 올트먼의 생각을 엿볼 수 있는 얘기들이 나왔습니다.


“AI 반도체는 휴대전화에 들어가는 작은 칩 같은 것이 아니다. 전기와 같은 것이다”

“모델이 커질수록 AI의 성능은 아름다운 일관성을 가지고 좋아진다”

“지금 사람들은 AI에 필요한 컴퓨팅 파워의 규모를 매우 낮게 예측(underestimate)하고 있다”



최근 공개된 소라가 더 많은 컴퓨팅 파워를 사용해 학습시킬수록 더 좋은 모델이 만들어진 것처럼, 샘 올트먼은 모델의 크기를 키우고 여기에 더 많은 컴퓨팅 파워를 투여할수록 더 좋은 성능의 AI가 만들어질 것이라고 믿는 듯 했습니다.



이미 많은 데이터와 연구인력을 갖춘 오픈AI에게 유일한 제약조건은 ‘AI인프라’인 것같았습니다. 그가 다음 스텝으로 무슨 일을 하려고 하는지 정말 궁금해졌습니다.



다섯 개의 웨이퍼를 모으는 자가 AI를 지배할 것이다 <인텔>

파운드리에 올인하는 인텔

이날 인텔 행사에는 매우 예외적인 손님이 참석했습니다. 바로 반도체 설계 IP 회사인 Arm 의 CEO인 르네 하스. Arm 은 인텔과 다른 설계 아키텍처를 가지고 있는 경쟁사죠. 인텔 아키텍처의 독점에서 벗어나기 위해 애플이 선택한 것이 Arm 이었고, Arm 아키텍처는 모든 스마트폰 AP(스마트폰용 CPU)의 기본이기도 해요.  미디어텍, 퀄컴, 삼성전자의 AP가 모두 Arm 기반. 그렇게 되면서 인텔은 모바일 시장이라는 큰 시장을 잃었고, 지금처럼 수세에 몰리게 됐습니다.

이런 점에서 인텔이 파운드리 사업에 진출한 것은 당연해 보였어요. 엔비디아, 퀄컴 같은 반도체 전문기업뿐 아니라 애플, 마이크로소프트, 아마존, 메타 같은 기업들도 직접 자기들이 설계한 반도체를 갖고 싶어하니까요. 자기들이 설계한 반도체를 쓴다는 것은 결국 인텔 반도체를 안 쓴다는 것. 그러니 대신 생산이라도 해줘야겠죠?

이날 르네 하스 Arm CEO가 인텔 행사에 등장했고, 두 회사는 앞으로 Arm 기반의 반도체를 인텔 파운드리에서 생산하는데 협력을 하기로 했습니다. 어떻게 보면 경쟁자를 고객으로 끌어들인 것이죠. 르네 하스 CEO는 이렇게 인텔의 행사에 온 것에 대해서 ‘윈도우에서 작동하는 아이튠즈를 보는 스티브 잡스의 기분’이라고 비유했습니다. 😆


인텔은 1993년 미국 시총 20위에 진입해 2020년까지 머무릅니다.    



돋아나라 빠진 이빨  

이날 인텔은 회사 조직을 ‘인텔 파운드리’와 ‘인텔 프로덕트’로 나눈다고 밝히고 파운드리 고객의 정보가 절대 프로덕트에 들어가지 않도록 ‘차이니즈월’을 철저하게 칠 것이라고 밝혔어요. 앞으로 실적도 별도로 낸다고 했죠. 파운드리 비즈니스만 하는 TSMC와 달리 삼성전자와 인텔은 자신들의 반도체도 만들어요. 고객들과 이해상충 문제가 발생할 수도 있죠.

인텔이 파운드리 사업을 하기로 결정한 것은 3년전. 사실 챗GPT같은 생성형AI가 폭발하기 전이었죠. 하지만 인텔은 시장의 관심이 AI에 쏠리는 것을 기회로 삼기로 한 것 같아요. 프로덕트쪽에서 AI용 반도체를 만들어내고, 파운드리에서는 AI 반도체를 만드는 회사들을 고객으로 삼기로 한 것. 마이크로소프트의 반도체를 생산하기로 한 것이 아주 중요한 수주였어요.


인텔 파운드리는 미국 반도체 산업의 상징과 같은 기업이에요. '무어의 법칙'이라는 유명한 법칙도 인텔의 고든 무어라는 사람에게서 나온 것이고, 불과 몇년 전까지만 해도 전세계를 호령하던 반도체 기업이 인텔. 하지만 모바일 시대를 놓치고, 데이터센터 GPU를 놓치면서 반도체 산업의 왕관은 엔비디아에 물려줬죠. 하지만 여전히 미국과 유럽에 대부분의 생산시설이 있고, 미국의 기관투자자들이 소유한 회사라는 점에서 인텔은 가장 '미국적인 반도체'기업이에요.

그래서 일까요. 인텔은 자국 영토내에서 반도체를 생산하도록 만들려는 미국 정부의 도움을 기대하고 있어요. ‘반도체 법’이라는 보조금 뿐만 아니라 미국의 기업들이 전략적으로 인텔 파운드리를 선택해주길 바라는거죠. 삼성전자나 TSMC가 미국에 파운드리를 가지고 있고 짓고 있지만 그래도 ‘진짜’ 미국기업은 인텔 뿐이라는 것.


과연 인텔이 파운드리 사업을 통해 되살아 날 수 있을까요? 2030년이면 답을 알 수 있을 것 같아요. 인텔은 2030년까지 삼성전자를 제치고 전세계 파운드리 2위가 될 거라고 말했거든요.

괴물같은 속도의 AI반도체

최근 X(옛 트위터)에서는 그록이라는 반도체 회사가 화제인데요. 이 회사의 사이트에서 믹스트랄이나 라마2 같은 오픈소스 LLM을 돌려볼 수 있습니다. 그런데 속도가 매우 빨라요. 챗GPT의 답답한 속도를 경험하다가 이 그록에서 돌아가는 LLM을 보다보면 기분이 상쾌할 정도.

그록은 구글에서 TPU(AI 용 반도체)를 만들던 조나단 로스라는 분이 2016년 창업한 반도체 스타트업. 처음에는 TSP라고 부르던 제품을 최근 LPU(Language Model Processing Unit)라는 이름으로 내놓았어요.


그록은 창업때부터 엔비디아 GPU 같은 데이터센터용 AI반도체 시장을 타겟으로 만들어졌어요. 가장 큰 특징은 반도체에 우리가 DRAM이라고 부르는 메모리가 없다는 것. 대신 DRAM보다 속도가 빠른 SRAM만이 있어서 GPU보다 아주 빠르게 추론이 가능하다고 해요. 반도체의 구조도 기존의 반도체와 다르게 아주 단순하게 만들어졌다고.


현재 AI반도체는 점점 추론과 학습의 역할 분담이 나눠지고 있는데요. 이미 만들어진 AI모델을 고객에게 서비스하는 것이 추론. 앞으로 AI가 발전하고 대중화할수록 추론에 필요한 반도체가 많아지게된다고 해요. 실제로 엔비디아는 이번 실적발표에서 추론쪽이 차지하는 사업비중이 40%라고 밝히기도 했어요.

만약 LPU 처럼 속도가 빠른 반도체가 AI데이터센터에 들어간다면 샘 올트먼이 원했던 컴퓨팅 파워는 훨씬 저렴한 비용으로 공급이 될 거에요. 그리고 엔비디아의 경쟁자가 될 수 있겠죠.

다만 그록의 데모가 자신들에게 유리하게 만들어져있고, 현실적인 사업성은 낮다는 지적도 있어요. DRAM이 없는 그록은 거대언어모델이라는 LLM 을 넣기가 어렵다는 주장. 또한, 일견 엔비디아보다 싸고 효율적으로 보이지만 총소유비용(TCO)을 감안하면 경쟁력이 없다는 얘기도 나오죠.



2021년 마지막 투자를 받았던 그록이 투자유치를 위해 강력한 마케팅을 하고 있다는 설명도 있어요. 저는 전문가가 아니기 때문에 그록이 정말 좋은 반도체이고 제품인지는 모르겠지만 AI반도체로 성공하기는 정말 어렵다는 건 알 수 있을 것 같아요. 인텔과 같은 대기업도 힘든데 스타트업은 얼마나 어려울까요!

2021년 11월 챗GPT와 생성형AI 의 부상으로 AI 시장의 판도가 바뀌었듯, 챗GPT 이전의 AI를 타겟으로 했던 반도체와 이후의 생성형AI를 타겟으로 하는 반도체를 다를 수 밖에 없다고 해요. 이런 점을 생각해보면 샘 올트먼이나 손정의 회장이 AI반도체를 만들겠다고 나서는 것도 이해가 되어요. 세상의 판도가 뒤집히면 늦게 출발한 사람이 오히려 제일 앞서나가게 되기 때문이죠!

한줄 브리핑 🎤

구글이 오픈소스 LLM인 '젬마(Gemma)'를 공개했어요. 구글의 AI 모델인 제미나이를 기반으로 만들어진 작은 크기의 모델. 큰 모델에서는 오픈AI의 GPT, 오픈소스에는 라마2와 경쟁을 하기로 한 것 같아요.
전기 트럭을 만드 리비안이 직원의 10% 정리해고. 전기차와 자율주행차 업체들의 구조조정이 이어지고 있어요.
미국의 대표적인 커뮤니티 사이트 레딧이 구글과 연 6000억달러를 AI 학습용 콘텐츠 제공 계약읗 하기로 했어요. 상장을 앞둔 레딧은 다양한 수익원을 찾아야하는 상황.
애플이 다양한 스포츠 데이터를 제공하는 무료 앱 애플 스포츠를 출시. 스포츠 콘텐츠를 강화하는 애플의 큰 그림은 무엇일까요?


맺음말
실리콘밸리 마운틴뷰에 있는 컴퓨터 역사 박물관에 가면 컴퓨터의 시작 중 하나로 ‘주판’을 꼽아요. 말 그대로 계산을 하는 것이 ‘컴퓨터’라는 거죠. 그래서 인류는 사람을 많이 동원해서 ‘계산기(컴퓨터)’로 쓰기도 했죠. 그러다 반도체의 등장으로 이 계산을 훨씬 빠르게 할 수 있게됐어요.

이 반도체에 계산을 시키는 방식이 예전에는 한번에 하나씩 하는 순차처리(Sequential Processing)가 많았는데(CPU에서 하듯이) 지금은 엄청나게 많은 단순한 계산을 동시에 하는 병렬처리(Parallel Processing)를 하게됐어요. 왜냐면 지금 우리가 사용하는 인공지능은 우리의 뇌를 모방한 것인데, 이는 병렬처리를 통한 계산을 거치고 이것을 '학습'이라고 부르거든요.

엔비디아, 오픈AI, 인텔, 그록 같은 회사들은 모두 한 가지를 말하고 있어요. 우리에게 아주아주 성능이 좋은 계산기(컴퓨터)가 있다면, 우리는 무엇이든 할 수 있을 것이라고요. 그것에 우리 인류의 미래가 달려있다고요.

여러분의 멋진 미래를 위해
이덕주 드림