爱游戏-英特尔软硬协同，优化阿里云通义千问2 AI模型

[导读]一向以来，英特尔致力在与行业领先、立异的生态火伴展开合作，并针对AI模子进行优化。近日，英特尔公布其数据中间、客户端和边沿的AI解决方案为阿里云通义千问2(Qwen2)的全球发布供给撑持。 一向以来，英特尔致力在与行业领先、立异的生态火伴展开合作，并针对AI模子进行优化。近日，英特尔公布其数据中间、客户端和边沿的AI解决方案为阿里云通义千问2(Qwen2)的全球发布供给撑持。 英特尔公司副总裁兼数据中间与人工智能软件总司理Pallavi Mahajan和英特尔数据中间与人工智能团体副总裁兼中国区总司理陈葆立暗示，在阿里云推出通义千问2年夜模子确当日，英特尔即为客户和开辟人员供给了针对该AI模子和软件而优化的AI解决方案。 软件优化 为了最年夜限度地晋升诸如阿里云通义千问2的年夜模子效力，周全的软件优化很是主要，此中包罗从高机能融会算子到均衡精度和速度的进步前辈量化手艺。另外，英特尔还采取KV Caching、PagedAttention机制和张量并行来提高推理效力。英特尔的硬件可操纵软件框架和东西包进行加快，并取得超卓的年夜模子推理机能，此中江南体育包罗PyTorch和英特尔 PyTorch扩大包、OpenVINO™东西包、DeepSpeed、Hugging Face库和vLLM。 英特尔与阿里云在数据中间、客户端和边沿平台上的AI软件优化，有助在构建一个立异的生态情况，且截至今朝，已获得了包罗ModelScope、阿里云PAI、OpenVINO等在内的诸多立异功效。得益在此，阿里云AI模子可在多样化的计较情况中进行优化。 测试成果：英特尔 Gaudi AI加快器 英特尔Gaudi AI加快器专为生成式AI和年夜模子的高机能加快而设计。利用最新版本的英特尔Gaudi Optimum，可以轻松摆设新型号的年夜模子。在英特尔Gaudi 2上对70亿参数和720亿参数的通义千问2模子的推理和微调吞吐量进行了基准测试，以下为具体机能指标和测试成果。 表1. 70亿参数的通义千问2在单颗英特尔Gaudi 2加快器上的推理 表2. 720亿参数的通义千问2在8颗英特尔Gaudi 2加快器上的推理 表3. 通义千问2 FP8在英特尔Gaudi 2加快器上的推理 表4. 通义千问2在英特尔Gaudi 2加快器上的微调 测试成果：英特尔 至强 处置器 英特尔 至强 处置器作为通用计较的基石，为全球规模内的用户供给壮大的算力。英特尔至强处置用具有普遍可用性，合用在各个范围的数据中间，这使其成为那些但愿可以或许快速摆设AI解决方案，又无需配备专项根本举措措施企业的抱负选择。英特尔至强处置器的每一个焦点均内置了英特尔 高级矩阵扩大(英特尔AMX)，可处置多样化的AI工作负载并加快AI推理。下图揭示了英特尔至强处置器所供给的延迟机能可知足多种用例。 图1. 在基在第五代英特尔 至强 可扩大处置器的阿里云ecs.ebmg8i.48xlarge实例上，通义千问2的下一个推理token延迟 AI PC 由最新英特尔 酷睿™ Ultra处置器和英特尔锐炫™显卡驱动的AI PC让AI的气力触和客户端和边沿，使开辟者在当地也能摆设年夜模子。AI PC配备了专门的AI硬件，如神经处置单位和内置的英特尔锐炫™显卡，或配备了英特尔 Xe Matrix Extensions加快的英特尔锐炫™A系列显卡，以处置高需求的边沿AI使命。这类当地处置能力可实现个性化的AI体验，加强隐私性，并供给快速响应时候，这对交互式利用法式相当主要。 以下展现了15亿参数的通义千问2，在基在英特尔 酷睿™Ultra的AI PC上运行时所揭示的壮大机能。 Demo 1. 在内置英特尔锐炫™显卡的英特尔 酷睿™ Ultra 7 165H上，通义千问2的推理 表2. 在内置英特尔锐炫™显卡的英特尔 酷睿™ Ultra 7 165H AI PC上，通义千问2的下一个token延迟 表3. 在由英特尔锐炫™ A770 16GB限量版驱动的AI PC上，通义千问2的下一个token延迟

欲知详情，请下载word文档 下载文档

为了知足高速数据传输需求，数据中间蓬勃成长，在这个进程中光器件的感化变得愈来愈主要。实现电旌旗灯号与光旌旗灯号之间的高效转换需要切确的测试解决方案，特别是用在对高度集成的光器件履行测试的解决方案。虽然这些器件的测试还面对严重挑战...

要害字： 数据中间 光器件

Claude 3.5 Sonnet是Anthropic最早进的Claude系列AI模子的新成员，比Claude 3 Opus更智能且价钱只有其五分之一 要害字： AI模子 生成式AI

伊利诺伊州莱尔 – 2024年6月14日 – 作为全球电子行业的带领者和毗连方案的立异者，Molex莫仕发布了一份陈述，深切切磋了在热治理方面存在的误区和各类可能性，和数据中间架构师和运营商若何尽力知足市场对高速数据吞...

要害字： I/O模块 数据中间

May 30, 2024 ---- 按照TrendForce集邦咨询研究，NVIDIA Hopper平台H100在本年第一季欠缺景象逐步纾解，属同平台的新品H200在第二季后逐步放量，第三季新平台Blackwell将进入...

要害字： 数据中间 GPU

人工智能（AI）在处置年夜量资料时，其实相当耗能，供电已经是将来摆布AI成长的主要要害之一，不外，摩根年夜通发布研究陈述指出，AI 数据中间巨量水耗损问题相对被轻忽，2030 年天天用水量可能到达 4.5 亿加仑。

要害字： AI 数据中间