Morgan Stanley: Дефіцит пам’яті для AI триватиме кілька років, три основні шляхи розв’язання, структурні можливості для зберігання та гетерогенної обчислювальної потужності

За інформацією від "Zhytom Finance APP", Morgan Stanley опублікував аналітичний звіт щодо галузі напівпровідників, у якому зазначає, що дефіцит DRAM пам’яті триватиме протягом цього циклу розвитку AI-індустрії, а розширення обчислювальних потужностей AI не чекатиме на запуск нових заводів з виробництва пластин. Галузь долає вузьке місце з пам’яттю шляхом трьох технологічних підходів: зниження технічних характеристик обладнання, роз'єднання архітектури інференсу та пулінгу пам’яті CXL, і у межах існуючих обмежень продовжує нарощувати обчислювальні потужності. Банк й надалі позитивно налаштований щодо лідерів ринку зберігання даних, таких як Micron (MU.US) і Sandisk (SNDK.US), а також бачить додаткові можливості зростання у сфері CXL-з'єднань та гетерогенного інференсу, рекомендує Astera Labs (ALAB.US), Marvell (MRVL.US), Cerebras (CBRS.US) та Nvidia (NVDA.US).

Morgan Stanley акцентує, що нинішній дефіцит AI-пам’яті — це не короткострокове порушення, а структурне протиріччя, коли зростання обчислювальної потужності значно перевищує темпи нарощування пропозиції пам’яті. Розмір провідних великих моделей подвоюється кожні 6 місяців, швидкість збільшення контекстного вікна топових моделей складає 5-6 разів на рік, а попит на паралельний інференс тільки зростає, що призводить до вибухового попиту на обсяг і пропускну здатність пам’яті. Цикл будівництва заводу з виробництва DRAM пластин триває кілька років, еластичність пропозиції дуже низька, і дефіцит буде зберігатися ще кілька років. CEO Nvidia, Huang Jenxun, також публічно заявив, що галузь має змінити підхід: потрібно використовувати архітектурні інновації для вирішення проблеми з пам’яттю, а не просто чекати розширення виробничих потужностей.

У відповідь на дефіцит HBM та основної пам’яті, галузь безпосередньо реагує шляхом вибіркового зниження технічних характеристик пам’яті у кожному пристрої (De-speccing). Візьмемо архітектуру Rubin від Nvidia: обсяг LPDDR5 у одному сервері знижено з запланованих 54TB до 28TB, обсяг HBM на одному GPU — з 288GB до 192GB, що дозволяє забезпечити відвантаження цілих систем завдяки зменшенню висоти укладки пам’яті. Morgan Stanley зазначає: зниження характеристик не ліквідує вузьке місце пам’яті, а перерозподіляє тиск між різними рівнями пам’яті; після скорочення високошвидкісної локальної пам’яті, кеші KV та інші нечастотні дані переміщуються на NAND, а також збільшується взаємодія даних між GPU, що стимулює попит на пропускну здатність мережевих з’єднань, по суті, це забезпечення дефіцитної пам’яті з високою пропускною здатністю за рахунок більш швидкої мережевої взаємодії та дешевших ресурсів зберігання даних.

Другий шлях вирішення проблеми — це роз'єднання архітектури інференсу (Disaggregation). AI-інференс включає два принципово різних етапи: Prefill, орієнтований на обчислення, та Decode, який критично залежить від пропускної здатності пам’яті. Традиційна архітектура використовує один і той же акселератор для обох задач, що призводить до низької ефективності ресурсів. На сьогодні галузь швидко рухається до гетерогенного інференсу — розділяє ці два етапи на різне обладнання: Prefill, інтенсивний до обчислень, виконується універсальним GPU, а Decode, інтенсивний до пропускної здатності пам’яті, обробляється спеціалізованими чипами з великим вбудованим SRAM.

Типовими представниками є інженери wafer-level від Cerebras, архітектура Groq LPU, яку придбала Nvidia — обидва забезпечують на етапі декодування набагато більшу ефективність пропускної здатності пам’яті, ніж традиційні GPU. Morgan Stanley вважає, що гетерогенний інференс стане важливим напрямком розвитку AI-інфраструктури та дасть точний додатковий ринок для виробників потужностей, що спеціалізуються на декодуванні.

Третій шлях — це реконструкція системи пам’яті за допомогою технології CXL. CXL (швидке обчислювальне з'єднання) дозволяє розширити, об’єднати та пулити пам’ять завдяки швидкому з’єднанню, так що пам’ять більше не прив’язана до одного процесора, і цей підхід стає ключовим для подолання обмежень на обсяг пам’яті. Morgan Stanley прогнозує, що попит з боку AI призведе до того, що ринок CXL та відповідних чипів для додаткової пам’яті досягне у 2030 році близько 6 мільярдів доларів США, значно перевищуючи масштаби ринку розширення пам’яті для традиційних CPU. Основною цінністю є формування багаторівневої архітектури пам’яті: дані з найвищою частотою зберігаються у HBM, дані з трохи меншою частотою — у CXL пам’яті, рідко використовувані холодні дані — у NAND, і таким чином відповідність між частотою звертання до даних і вартістю зберігання.

Щодо основних інвестиційних напрямів Morgan Stanley наголошує на трьох стратегічних векторах: по-перше, продовжувати надмірно інвестувати у Micron і Sandisk, оскільки зниження технічних характеристик викликане дефіцитом пропозиції, а не ослабленням попиту, довгостроковий попит на пам’ять для AI зростає, дефіцит буде поступово поглинати виробничі можливості; по-друге, робити ставки на лідерів у CXL та scale-up підключеннях — Astera Labs та Marvell; по-третє, звернути увагу на бенефіціарів гетерогенного інференсу, таких як Cerebras, та Nvidia, яка через поглинання Groq вдосконалює свою гетерогенну стратегію.

Попередження про ризики: Темпи зростання попиту на AI-обчислювальні потужності можуть бути нижчими за очікування; впровадження CXL технологій — повільніше, ніж очікувалося; розширення виробничих потужностей пам’яті — швидше за очікування.