1. Компания Stability AI разработала модель генеративного ИИ Stable Diffusion, которая была протестирована на ускорителях вычислений Nvidia H100 Hopper, A100 Ampere и Intel Gaudi2.
2. Intel Gaudi2 продемонстрировал производительность примерно на 56% выше, чем Nvidia H100, специально спроектированный для ускорения генеративного ИИ и больших языковых моделей (LLM).
3. В тестах участвовали пары кластеров с общим размером 16 ускорителей и размером батча 16 на каждый ускоритель (всего 256).
4. Системы на Intel Gaudi2 способны генерировать 927 изображений в секунду, в то время как ускорители H100 и A100 генерируют 595 и 381 изображение в секунду соответственно.
5. При увеличении количества кластеров до 32 и числа ускорителей до 256, Gaudi2 генерирует 12 654 изображения в секунду, в то время как A100 генерирует 3992 изображения в секунду.
6. При использовании фреймворка PyTorch, чипы A100 создают изображения до 40% быстрее, чем Gaudi2.
7. Ускорители Gaudi2 планируют использовать в Stability Cloud.
8. В более ранних тестах модели Stable Diffusion XL с использованием фреймворка PyTorch, ускоритель Intel Gaudi2 генерирует изображение размером 1024 × 1024 за 3,2 секунды.
9. Исследователи Stability AI ожидают, что при дальнейшей оптимизации Gaudi2 превзойдёт A100, считая, что более быстрый интерконнект и больший объем памяти делают решения Intel вполне конкурентоспособными.
Компания Stability AI вновь подняла планку в мире искусственного интеллекта, представив свою новую модель генеративного ИИ под названием Stable Diffusion. Однако, наряду с этим встал вопрос о производительности ускорителей вычислений, которые могут эффективно обрабатывать такие сложные модели. В рамках тестирования модели Stable Diffusion 3, были задействованы три гиганта рынка ускорителей: Nvidia H100 Hopper, A100 Ampere и Intel Gaudi2.Thank you for reading this post, don't forget to subscribe!
Из результатов тестирования стало ясно, что Intel Gaudi2 выделяется производительностью, превосходя Nvidia H100 на целых 56%. Этот ускоритель был специально разработан для ускорения генеративного ИИ и обработки больших языковых моделей. В тестах, проведенных на парах кластеров общим размером 16 ускорителей, Gaudi2 продемонстрировал способность генерировать 927 изображений в секунду, в то время как конкуренты A100 и H100 справлялись лишь с 381 и 595 изображениями соответственно.
Подняв планку до 32 кластеров и 256 ускорителей, Gaudi2 уверенно опережает A100, генерируя целых 12 654 изображения в секунду против 3992 у A100. Однако, при использовании фреймворка PyTorch, чипы A100 демонстрируют преимущество в создании изображений до 40% быстрее, чем Gaudi2. Тем не менее, планы использования ускорителей Gaudi2 в облачном сервисе Stability Cloud говорят о том, что эти чипы имеют большое будущее.
Исследователи из Stability AI выразили уверенность в возможностях Intel Gaudi2, предполагая, что с дальнейшей оптимизацией он сможет превзойти A100. Компания также отмечает, что быстрый интерконнект и большой объем памяти делают решения Intel весьма конкурентоспособными. В предыдущих тестах модели Stable Diffusion XL, Intel Gaudi2 продемонстрировал способность генерировать изображения размером 1024 × 1024 всего за 3,2 секунды, что свидетельствует о его впечатляющей производительности.
Таким образом, битва ускорителей вычислений в самом разгаре, и Intel Gaudi2 явно бросает вызов своим конкурентам, открывая новые перспективы для развития генеративного ИИ и других сложных вычислительных задач.