首页

加入收藏

您现在的位置 : 首页 > 最新资讯

智见焦点|英伟达携H200再次席卷AI界一文看懂AI“军火商”的大动作

时间:11-16 来源:最新资讯 访问次数:153

智见焦点|英伟达携H200再次席卷AI界一文看懂AI“军火商”的大动作

出品|科技《智见焦点》栏目作者|赵芙瑶“AI军火商”又有大动作了!在算力紧缺、H100被疯抢、热炒之时,北京时间11月13日晚间,英伟达带着NVIDIA H200 Tensor Core GPU(图形处理器)再次燃爆AI界!英伟达此次最新推出的 H200 GPU,是其前代产品 H100的升级版。这款GPU基于强大的 NVIDIA Hopper 超级芯片架构,专为处理超大规模的大型模型训练和推理而设计,非常适合生成式人工智能和高性能计算(HPC)任务。此次H200的性能都有哪些飞跃?无论是部署在本地、云环境、混合云还是边缘计算环境中,H200都能轻松应对吗?答案是确定的。性能、内存实现飞跃 成倍提升LLM推理能力性能提升:H200在执行Llama2 70B推理任务时比H100快了1.9倍,在执行GPT-3 175B推理任务时快了1.6倍。对于高性能计算(HPC)任务,H200显示出比传统的双x86 CPU快110倍的性能。更令人震撼的是,与传统的中央处理器(CPU)相比,H200在高性能计算方面的速度提升了惊人的110倍。内存优势:H200是第一个提供141GB HBM3e内存的GPU,内存带宽高达每秒4.8TB,这几乎是H100的两倍。这种大幅增加的内存和带宽对于需要处理大量数据的应用,如大规模模型的训练和推理,以及科学计算非常重要。在AI大模型时代,企业依赖LLM(大语言模型)来处理多样化的推理需求。一个AI推理加速器必须提供最高的吞吐量,以便在为庞大用户基础规模部署时具有最低的总体拥有成本(TCO)。数据显示,H200在处理像Llama2这样的LLM时,与H100 GPU相比,推理速度提高了2倍。具体而言,Llama2 13B模型在H100 GPU上的性能是1倍,在H200上是1.4倍;GPT-3 175B模型在H100和H200上性能都是1倍;Llama2 70B模型在H100上的性能是1倍,在H200上是1.9倍。HPC性能:在HPC(高性能计算)应用中,H200与H100和A100相比表现出高达2倍的性能提升。这表明H200在需要大量内存和高带宽的应用中尤其有优势,如物理模拟、气候研究或复杂的数据分析。能源和总拥有成本(TCO):H200显著降低了LLM推理工作负载的能源使用和TCO,据英伟达称,能够减少50%。在保持与H100相同功耗配置的情况下,H200提供了更好的性能,这表明其在能源效率上有所改进,对于需要在数据中心规模部署的企业而言,这是一个重要的经济考量因素,也就是说,企业“买的越多,省的越多”。代际变革:NVIDIA GPU在GPT-3 175B推理性能上也呈现不断增长地趋势。从A100到预计在2024年发布的B100,性能的增长实现了从1倍到预计的18倍。相比于A100,H200的性能提高了11倍。也就是说,NVIDIA的Hopper架构实现了在其前代产品基础上的显著性能跃升,并且通过不断的软件增强和开源库的发布(如TensorRT-LMLM)持续推动性能的提升,为大语言模型的推理能力提供能量。GPU赋能企业AI软件:NVIDIA此次强调了H200 GPU与其AI企业软件的结合,希望简化企业创建AI平台的过程,加快生成式AI的开发和部署。无论是3D模型、图表还是图像,H200在多个AI应用领域中都具有应用潜力,包括计算机视觉、语音AI等。GH200加持AI超级计算机:可用于气候、医药和量子研究等值得一提的是,GH200的发布还将为AI超算中心提供算力支持。新一代超级计算机JUPITER将由NVIDIA Grace Hopper™加速计算架构提供动力,为AI和模拟工作负载提供极端规模的计算能力。JUPITER设在德国Jülich研究中心,由EuroHPC联合企业拥有,由Eviden和ParTec承包。JUPITER是与NVIDIA、ParTec、Eviden和SiPearl合作建造的,旨在加速气候和天气研究、材料科学、药物发现、工业工程和量子计算等领域基础AI模型的创建。JUPITER标志着四节点NVIDIA GH200 Grace Hopper Superchip配置的首次亮相,基于Eviden的BullSequana XH3000液冷架构,并配备一个由近24,000个NVIDIA GH200 Superchip组成的增强模块,这些Superchip通过NVIDIA Quantum-2 InfiniBand网络平台相互连接。JUPITER能够为AI训练提供超过90 exaflops的性能,比Jülich之前的JUWELS Booster系统多出45倍。其还能提供1 exaflop的高性能计算(HPC)应用性能,同时仅消耗18.2兆瓦的电力。四节点GH200具有创新的节点架构,配备288个Arm Neoverse核心,能够使用高达2.3太字节的高速内存实现16 petaflops的AI性能。四个GH200处理器通过高速NVIDIA NVLink®连接网络。结语前一阵子GPTs以及GPT-4 Turbo的更新令人振奋,尤其是图片解析功能更是让诸多创业公司叫苦不迭,此次英伟达携GH200震撼登场,配备了7个NVDEC(硬件解码器)和7个JPEG解码器来用于处理视频和图像数据,这无疑意味着其视频分析和图像处理应用将爆炸式提升。相信全球都将无比期待明年公布的英伟达B100 AI 芯片以及GH200的上市了。

本信息由网络用户发布,本站只提供信息展示,内容详情请与官方联系确认。

标签 : 最新资讯