英伟达迎来强劲对手Etched AI开创新技术将Transformer架构直... - 谷动谷力

12月19日消息:美国芯片初创公司Etched AI近日宣称，他们成功开创了一项新的技术，将Transformer架构直接“烧录”到了芯片中，创造出了世界上最强大的专门用于Transformer推理的服务器。据称，这项技术可以运行万亿参数的模型，套用网络新闻语：“甩英伟达几百条街”，毕竟是刚才出来的概念产品还没落地，能不能“甩英伟达几百条街”，看持续市场表现吧，是骡子是马拉出溜溜，但这项技术如果落地了，对英伟达来说，的确将迎来最强劲的对手，也难怪老黄前两天“喊话员工躺平”，老黄深感来自对手的压力吧。

该服务器具有多项功能，包括实时语音代理，能够在毫秒内处理成千上万的词;更好的编码与树搜索能力，可以并行比较数百个响应;多播推测解码功能，实时生成新内容;支持未来的万亿参数模型，只需一个核心，支持全开源软件栈，可扩展至100T参数模型;还具备高级解码技术，包括光束搜索和MCTS解码。

此外，每个芯片还配备了144GB HBM3E，支持MoE和转换器变体，为服务器的高性能提供了有力支持。这一突破性技术的问世，将为Transformer架构的应用带来新的可能性。