向阳乔木(@vista8)의 스레드

AI는 칩의 모양을 새롭게 정의하고 있습니다. 칩은 또한 AI가 어디까지 발전할 수 있는지를 결정합니다. 세 가지 추세가 있습니다. 1. 일반용에서 특수용까지. 이전에는 모두가 범용 GPU를 사용해 AI를 실행했습니다. 그러나 이것이 대규모 모델 추론, 학습 및 엣지 배포에 문제가 된다는 사실이 이제 밝혀졌습니다. 칩의 설계 논리는 완전히 다릅니다. 저는 앞으로 3~5년 안에 더 많은 전용 AI 칩이 나올 것으로 생각합니다. 예를 들어, 학습용 칩은 높은 컴퓨팅 성능을 가져야 하고, 추론용 칩은 전력을 절약해야 하며, 에지용 칩은 지연 시간이 낮아야 합니다. 엔비디아는 이제 학습용 H 시리즈와 추론용 L 시리즈로 제품 라인을 차별화하고 있습니다. 비런, 수이위안 등 국내 기업도 차별화된 포지셔닝을 모색하고 있다. 미래에는 단일한 지배적인 플레이어가 존재하지 않을 것입니다. 대신 "훈련하는 왕, 추론하는 군주, 클라이언트 측 게임의 플레이어가 있는" 환경이 될 것입니다. 2. 메모리 내 컴퓨팅 분야에서 획기적인 발전을 이루어 메모리 장벽 문제를 해결했습니다. 현재 대규모 모델의 가장 큰 병목 현상은 컴퓨팅 성능이 아니라 데이터 전송입니다. 칩은 메모리에서 데이터를 지속적으로 읽고, 계산을 수행한 다음 다시 써야 하는데, 이는 너무 느리고 전력을 너무 많이 소모합니다. 매장 내 컴퓨팅은 컴퓨팅과 저장을 결합하여 데이터를 앞뒤로 이동할 필요성을 없애줍니다. 이 기술이 획기적인 발전을 이루면 AI에 엄청난 영향을 미칠 것입니다. 청화대학교, 중국과학원, 그리고 몇몇 스타트업 기업들이 모두 이 방향으로 노력하고 있습니다. 만약 메모리 내 컴퓨팅 칩이 앞으로 3~5년 안에 대량 생산될 수 있다면... 이를 통해 대규모 모델의 추론 비용이 엄청나게 줄어들어 현재는 구현이 불가능한 많은 애플리케이션을 미래에 구현할 수 있게 됩니다. 3. 칩과 알고리즘이 함께 최적화됩니다. 예전에는 알고리즘 엔지니어가 코드를 작성하고, 칩 엔지니어가 칩을 만들어서 각자의 일을 했습니다. 하지만 지금은 많은 회사가 협업적 디자인을 하고 있습니다. 알고리즘은 칩의 특성을 알고 있으며, 칩은 알고리즘에 최적화되어 있습니다. Apple이 그 예입니다. Apple의 신경 엔진과 iOS AI 기능은 함께 설계되었기 때문에 iPhone에서 AI 모델을 실행하는 것이 매우 원활합니다. 테슬라의 FSD 칩도 마찬가지입니다. 자율주행 알고리즘에 맞게 맞춤 제작되었습니다. 국내에서는 화웨이가 이 측면에서 더 나은 성과를 냈다고 평가됩니다. Ascend 칩은 Pangu 대형 모델과 HarmonyOS 시스템에 통합되어 있습니다. 미래에는 이러한 통합된 하드웨어와 소프트웨어 역량이 핵심적인 경쟁 우위가 될 것입니다.