Современные GPU для ИИ окружены несколькими стеками HBM, но наращивание слоёв ведёт к перегреву. В обычной HBM кристаллы DRAM соединяются через TSV и разделены диэлектриком с низкой теплопроводностью.
На июньском симпозиуме IEEE VLSI представлены два подхода: кристаллы DRAM предлагается ставить на ребро вместо обычного вертикального стека. Это увеличивает пропускную способность и ёмкость без роста тепловыделения.
Концепция V-Die от UNIST и Hanbat National University: кристаллы на ребре, микрофлюидные каналы охлаждения между ними, собственные блоки I/O на каждом кристалле и контакты вдоль нижней кромки с шагом ~20 мкм.
V-Die обеспечивает в 4 раза больше соединений, чем HBM4, и сокращает время чтения на 37%. При нагрузке уровня GPT-3 на GPU класса H100: 540 токенов/с против 296 у HBM4, задержка ниже на 32%, температура ~45°C против >80°C.
Критика V-Die: обеспечить точность совмещения контактов на рёбрах куба с контактами подложки ускорителя крайне сложно. Эту проблему решила японская группа из University of Tokyo, Tohoku University и RIKEN.
Их концепция MOSAIC передаёт данные и управляющие сигналы индуктивным бесконтактным способом. На кристаллах — катушки 80×240 мкм, на подложке — ответные катушки под прямым углом. Точное совмещение не требуется.
Жёсткие контакты в MOSAIC сохраняются только для питания. В одном кубе — 98 кристаллов и 294 ГБ памяти. При толщине DRAM-кристаллов 100 мкм — 294 кристалла и 882 ГБ при пиковой температуре ~81,3°C.
0 комментариев