Мировой дефицит оперативной памяти вынуждает крупных операторов дата-центров прибегать к нестандартным решениям. Старший директор по инфраструктуре цепочки поставок Google Cloud Нихил Чериан рассказал, что компания начала разбирать списанные серверы и извлекать из них пригодные модули DDR4 для повторного использования.
По прогнозу TrendForce, в третьем квартале серверная DRAM подорожает на 13–18%, а память для ПК — на 18–23%. Схожие цифры приводит Goldman Sachs: аналитики ожидают роста цен на 18% и 17% соответственно. В августе спотовые цены на 8-Гбайт модули DDR4 и DDR5 достигли $142 и $133.
Дефицит заставил Google не только оптимизировать новые ускорители и ПО, но и выстроить внутреннюю цепочку повторного использования компонентов старых серверов. На снижение зависимости от внешней памяти рассчитаны и новые ИИ-чипы компании.
Предназначенный для инференса TPU8i использует многоуровневую иерархию памяти: каждый ускоритель оснащён 288 Гбайт HBM3E, а серверная система задействует DDR5 для операций на уровне хоста. Однако нехватка DRAM оказалась настолько острой, что в отдельных случаях Google устанавливает вместо DDR5 модули DDR4, извлечённые из списанных серверов.
Инженеры компании разработали специальные аппаратные адаптеры, позволяющие подключать память предыдущего поколения к новым серверам для ИИ-систем. Для этого списанное оборудование возвращают, разбирают и извлекают пригодные к повторной эксплуатации модули.
По словам Чериана, ИИ-отрасль стремительно перешла от ограничений вычислительных мощностей к ограничениям, связанным с памятью. Сейчас высокопроизводительная память составляет более 75% стоимости комплектующих типичного ИИ-сервера.
Рост цен вынуждает технологические компании искать способы сократить объём памяти на единицу вычислительной мощности. Google решает эту задачу сразу на двух уровнях — аппаратном и программном, оптимизируя библиотеки, архитектуру моделей и алгоритмы сжатия KV-кеша.