Стартап Etched представил свой ASIC Sohu для искусственного интеллекта, заявив, что он намного быстрее и дешевле, чем графические процессоры NVIDIA Blackwell B200 следующего поколения.
Etched делает «самую большую ставку в области искусственного интеллекта» с Sohu ASIC с трансформаторным двигателем и претендует на большие цифры
Не каждый день появляются компании, которые бросают вызов таким компаниям, как NVIDIA, в производительности вычислений на базе искусственного интеллекта, но похоже, что Etched может быть здесь, чтобы сделать именно это.
В настоящее время фирма полагается на «Transformer Engine», архитектуру нейронной сети, используемую в моделях искусственного интеллекта OpenAI ChatGPT и Llama LLM от Meta. Тем не менее, они решили пойти еще дальше, представив специализированный процессор ASIC под названием Sohu, с единственной целью предоставить клиентам вариант, который, как утверждается, в 10 раз быстрее, чем NVIDIA Blackwell , и в 20 раз быстрее, чем графические процессоры NVIDIA Hopper AI. .
.png)
Это, безусловно, смелые заявления Etched; у них также есть некоторые ориентиры, подтверждающие их. Фирма заявляет, что один Sohu ASIC может обслуживать более 500 000 токенов Llama 70B в секунду, что эквивалентно колоссальным 160 единицам NVIDA H100.
Кроме того, Sohu может обслуживать любую современную модель искусственного интеллекта, будь то Llama от Meta или Anthropic от Google, и команда заявила, что они также могут вносить коррективы для дальнейшей интеграции, обеспечивая широкое распространение ASIC.
-p-800.png)
«Выжимание FLOPS» — это то, что Sohu удалось сделать лучше всего, поскольку фирма показала, что их ASIC удалось достичь впечатляющего коэффициента использования в 90%, вдвое больше, чем предлагает рынок. Etched добилась этого, выделив большую часть транзисторов, специализирующихся на трансформаторах, в то время как другие фирмы, такие как NVIDIA, больше сосредоточены на программируемости, поэтому их экосистеме не удается выжимать FLOPS, сопоставимые с Sohu.
Обсуждая будущее, Etched говорит, что они являются первыми в гонке ASIC и, вероятно, одной из доминирующих фирм в ней, учитывая, как им удалось извлечь выгоду из ажиотажа. Они заключили партнерские отношения с TSMC, применив их 4-нм техпроцесс в Соху, и, как сообщается, привлекли финансирование в размере 120 миллионов долларов, что свидетельствует о том, что фирма заметила огромный интерес со стороны отрасли.
С помощью Sohu Etched стремится поднять обработку ИИ в реальном времени на новую высоту, в конечном итоге сделав ее обычным явлением, а не барьером.