#cxl

Компания Micron разработала систему MemServer, которая позволяет использовать модули памяти DDR4 в серверных системах, изначально поддерживающих только DDR5. Каждый узел поддерживает до 1 Тбайт ОЗУ: 768 Гбайт DDR5-6400 с прямым подключением к CPU и 256 Гбайт DDR4-2400 через интерфейс CXL и контроллер Vistara.

Vistara — собственный ASIC, созданный для подключения старых DDR4-модулей из списанных серверов к новым через интерфейс CXL, чтобы смягчить дефицит DRAM.

Каждый запрос к ChatGPT вызывает пересылку данных между CPU, GPU и памятью, повторяясь для каждого слова. Это создаёт узкое место.