英伟达详解下一代AI专用Vera CPU 称速度是其他CPU的两倍多
英伟达发文称,DeepInfra的基准测试结果显示,NVIDIA Vera CPU的速度是其他CPU的两倍多,并且能够支持更多并发的AI代理。云平台DeepInfra是NVIDIA开放AI生态系统的早期体验参与者,独立设计并运行了基于其生产型AI代理基础设施的基准测试。DeepInfra每周处理近五万亿个代币,其中约30%由代理系统驱动。其云平台专为高通量AI推理而建。基准测试显示,在相同服务质量下,支持最多1.6倍的并发AI代理,协同速度高达2.2倍,同时提升基础设施利用率和成本效益。这些结果表明,NVIDIA Vera CPU 能够实现生产代理人工智能所需的成本效益、低延迟和吞吐量。随着AI代理承担更复杂的推理、规划、工具使用和数据流动,CPU性能在围绕每次模型调用的协调工作中变得越来越重要。作为英伟达对AI工厂极端联合设计策略的一部分,Vera CPU专为代理性工作负载设计。DeepInfra的基准测试强调了NVIDIA Vera CPU如何帮助云服务提供商提升基础设施利用率、提高成本效率,并在相同服务质量下支持更多并发的AI代理。
相关产品 >
-
FET4418-C核心板
S5P4418核心板基于三星四核Cortex-A9 S5P4418方案设计。S5P4418核心板强大的多媒体性能,支持双屏同显异步显示。S5P4418核心板320PIN引脚将CPU资源全部引出,扩展更丰富。如需S5P4418解决方案,S5P4418多媒体解决方案,S5P4418硬件方案,可咨询400-885-3357咨询客服。 了解详情
-
FET3568-C核心板
RK3568性能强而稳 国产芯|嵌入式RK3568系列核心板,采用瑞芯微国产高性能AI处理器RK3568设计生产,RK3568兼具CPU、GPU、NPU、VPU于一身,RK3568 性能、性价比在同类产品中具有较高优势,RK3568处理器是一款定位中高端的通用型SoC, RK3568核心板主要面向工业互联网、HMI、NVR存储、车载中控、工业网关等领域。目前RK3568系列已经批量稳定出货
了解详情

