Amazon бросает вызов Nvidia с новым инструментом TorchNeuron

Развитие технологий генеративного искусственного интеллекта требует колоссальных вычислительных мощностей. Компания Nvidia долгое время оставалась лидером отрасли благодаря экосистеме CUDA, обеспечивающей глубокую интеграцию ее графических чипов с библиотеками машинного обучения. Стремясь снизить затраты на облачную инфраструктуру, крупные IT-компании создают собственное аппаратное обеспечение. Amazon Web Services сделала важный шаг в этом направлении, выпустив TorchNeuron для своих процессоров Trainium.

Библиотека PyTorch является основной платформой для создания и обучения современных нейросетей. Ранее адаптация приложений под процессоры, отличные от Nvidia, требовала серьезных трудозатрат и переработки кода. TorchNeuron интегрируется в стандартные механизмы PyTorch, позволяя переключать вычислительные задачи на чипы Trainium простым изменением конфигурации. Это существенно сокращает время разработки и позволяет компаниям тестировать альтернативное оборудование.

С финансовой точки зрения чипы Trainium привлекательны тем, что они рассчитаны как на этап обучения моделей, так и на этап исполнения запросов (инференс). Такая универсальность снижает общие расходы на облачные ресурсы. Кроме того, Amazon планирует вносить изменения в основной репозиторий PyTorch, чтобы избавить фреймворк от привязки к конкретным аппаратным решениям.

Тем не менее, проекты, сильно зависимые от специфических CUDA-библиотек, по-прежнему требуют ручной доработки. Кроме того, процессоры Trainium доступны только внутри облака AWS. Тем не менее, возможность легкого перехода между чипами стимулирует конкуренцию и создает более гибкие условия для ИИ-разработчиков.