SharePlusSharePlus
中文 ▼
亚马逊推出TorchNeuron工具 挑战英伟达硬件主导地位
科技by Julie Bort

亚马逊推出TorchNeuron工具 挑战英伟达硬件主导地位

🤖 本内容基于所附来源由人工智能辅助生成和摘要——不能替代原文或专业建议。

原始来源:techcrunch.com

要点

  • TorchNeuron支持PyTorch应用以极少的代码修改在AWS Trainium芯片上运行。
  • 亚马逊采用Apache 2.0协议开源该工具,并贡献代码以推进PyTorch的硬件中立性。
  • Trainium在AI模型训练与实时推理工作负载中均能提供统一的高性能。
  • 此举直接针对英伟达CUDA软件在云计算领域的竞争优势。

科技行业向大规模生成式模型开发的扩展长期依赖于专用芯片。英伟达通过其专有的CUDA生态系统在该领域建立了早期领先优势,在其图形处理器与流行的人工智能库之间创建了深度软件集成。随着云计算服务商努力控制不断飙升的硬件成本,定制加速芯片设计已成为一种替代方案。亚马逊云科技(AWS)推出了TorchNeuron这一开源集成层,旨在让使用PyTorch的开发者无需进行大量的代码重构,即可直接使用其自研的Trainium系列处理器。

PyTorch最初由Meta开发,现由Linux基金会托管,支持着当今绝大多数机器学习模型。在过去,在非英伟达架构上运行这些应用程序需要复杂的转换层或手动重写代码,这为工程团队带来了巨大的阻力。TorchNeuron通过接入PyTorch内的标准执行机制解决了这一障碍。通过修改配置参数,开发者即可将工作负载处理直接指向Trainium芯片。这种方法旨在减少工程开销,使初创公司和企业团队能够主要基于财务性价比而非迁移复杂度来评估替代芯片方案。

对于云客户而言,这带来的财务影响是显而易见的。企业级AI运营包含两个不同阶段:利用海量数据集训练模型,以及向终端用户提供实时推理查询。AWS将Trainium定位为一款旨在高效处理这两个阶段的统一芯片,在应用程序的整个生命周期内提供单一的硬件基线。早期企业用户报告称,每花费一美元所处理的数据量有了显著提升。此外,亚马逊承诺向PyTorch核心代码库贡献与芯片无关的更新,这标志着其在解除流行软件框架与特定硬件厂商绑定方面做出了更广泛的战略努力。

尽管TorchNeuron显著降低了采用替代云芯片的门槛,但对于严重依赖自定义CUDA内核或特定硬件扩展的应用程序而言,挑战依然存在。此外,由于Trainium处理器属于AWS特有,这种可移植性优势主要在亚马逊生态系统内部发挥作用,而非跨越竞争对手的多云环境。然而,降低由软件引起的切换成本标志着AI硬件格局的一次关键转变,有助于促进更健康的市场竞争,并为开发团队在扩展计算工作负载时提供急需的选择。

想深入了解吗?

加入互动式学习讨论——提问、质疑、深入探索。

🟢 WhatsApp✈️ Telegram

Recommended for you

Tools and services we trust to boost productivity and content workflows.

Browse picks
原始来源 →
亚马逊推出TorchNeuron工具 挑战英伟达硬件主导地位