#cxl

Каждый запрос к ChatGPT вызывает пересылку данных между CPU, GPU и памятью, повторяясь для каждого слова. Это создаёт узкое место.