Перец, об который обжигаются GPU
Ещё недавно казалось, что выпускать чипы для искусственного интеллекта — удел гигантов вроде NVIDIA, Google или Amazon. Судя по последним утечкам, теперь к этому клубу готова присоединиться и OpenAI. Под кодовым именем «халапеньо» инженеры компании испытывают собственный ускоритель, предназначенный для вывода нейросетей. Первые результаты, как сообщается, оказались настолько удачными, что внутри лаборатории уже планируют масштабные партии для своих дата-центров.
Обычно анонсы специализированного «железа» проходят в рамках конференций и семинаров, но информацию о тестах «халапеньо» распространили отраслевые СМИ со ссылкой на анонимные источники. Впрочем, патентная активность и открытые вакансии OpenAI в области аппаратного дизайна ещё ранее указывали на то, что за слухами стоит реальная инженерная работа.
Чип, заточенный под будущее OpenAI
Разработка собственного чипа имеет смысл только в том случае, если вы хотите оптимизировать самое дорогое звено продукта. В случае языковых моделей это инференс — момент, когда тысячи пользователей одновременно посылают запросы. Каждый такой запрос требует огромного количества операций с умножением матриц. Современные GPU решают эту задачу одинаково хорошо и для обучения, и для вывода, но обучение происходит редко, а вывод — постоянно. Значит, настало время инструмента, настроенного именно под постоянные нагрузки.
«Халапеньо» — не универсальный процессор. На нём не запустить обычные приложения, но для работы нейросетей он подходит идеально. Его архитектура упрощена до набора специализированных ядер, которые выполняют в основном операции матричного умножения и обрабатывают механизм внимания — фундамент трансформеров и больших языковых моделей.
Почему перец?
Сотрудники компании любят давать проектам неформальные кодовые имена. «Халапеньо» — жгучий перец — стал намёком на способность чипа раскалять рынок до красна. Никакого отношения к питанию или мексиканской кухне устройство, разумеется, не имеет.
Первые тесты: скорость и энергопотребление
Самые интересные данные доступны пока только в пересказе. По утверждению источников, на тестовых нагрузках прототип в несколько раз обходит топовые серверные ускорители по скорости обработки запросов, однако главное достижение — энергоэффективность. Собственный чип OpenAI демонстрирует намного более высокое соотношение производительности на ватт.
Этого удалось достичь несколькими техническими решениями.
- Низкоточные вычисления. Веса моделей могут храниться и обрабатываться в 8-битном формате без видимого падения качества. Для подобных расчётов чип спроектирован с самого начала.
- Сокращённый конвейер. Все инструкции подчинены одной задаче, поэтому ядра не тратят такты на ненужные ветвления и переключение контекста.
- Быстрая память. Веса моделей находятся прямо на кристалле и рядом с вычислительными блоками, а для больших моделей предусмотрена высокоскоростная связь с внешней памятью.
Энергопотребление в режиме полной нагрузки, по неофициальным данным, оказалось значительно ниже, чем у решений общего назначения. Это означает, что серверы смогут обрабатывать больше запросов без расширения мощности и систем охлаждения.
Что изменится на рынке ИИ?
Успех «халапеньо» может привести к тектоническим сдвигам. Стоимость генерации текста и обработки изображений упадёт, что позволит сделать API-доступ дешевле и доступнее для малого бизнеса. Появятся новые продукты, которые сегодня экономически нерентабельны: персонализированные ассистенты, работающие в реальном времени, массовый аудио- и видеоанализ и даже автономные агенты, способные выполнять длинные цепочки задач.
Кроме того, собственный чип усиливает переговорную позицию OpenAI с облачными провайдерами. Компания сможет переносить часть нагрузки на собственную платформу. Для пользователей это обернётся меньшим числом сбоев и более предсказуемыми ценами.
Не стоит забывать и об экологии: более низкое энергопотребление означает меньшее влияние на окружающую среду. Тем более что дата-центры уже приносят заметную долю мировых выбросов углерода.
Остались вопросы
Как часто бывает с громкими новостями, «халапеньо» вызывает и скепсис. Первые кремниевые образцы могут быть нерепрезентативными: в серии часто снижаются тактовые частоты из-за тепловых ограничений и разброса характеристик. Неизвестна стоимость производства и целевая цена для клиентов — если она окажется высокой, экономия на электричестве не спасёт.
Также под вопросом совместимость чипа с популярными фреймворками. Большинство компаний используют графические ускорители через высокоуровневые библиотеки CUDA и PyTorch, и для перевода кода на новую платформу требуется время. OpenAI, скорее всего, будет задействовать «халапеньо» в связке с собственным программным стеком, но делать ли чип открытым для сторонних разработчиков — большой вопрос.
Итоги
Первый звонок прозвенел: чип «халапеньо» с большой вероятностью станет реальным продуктом, а не экспериментальным прототипом. Пока это лишь инженерная история без официальных спецификаций и дат релиза. Но если тестовые показатели подтвердятся, рынок аппаратных решений для ИИ столкнётся с новым сильным игроком, который способен переписать привычные правила игры. Ждём официальных заявлений и первых образцов.
