Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Organizacja MLCommons zaprezentowała dwa nowe benchmarki MLPerf Inference v5.0, mające na celu ocenę wydajności sprzętu i oprogramowania w realizacji złożonych zadań AI. Te inicjatywy odzwierciedlają dynamiczny rozwój technologii AI oraz konieczność dostosowania infrastruktury do obsługi coraz bardziej wymagających modeli.
Pierwszy z nowych benchmarków opiera się na modelu Llama 3.1 od firmy Meta, który zawiera 405 miliardów parametrów i obsługuje sekwencje wejściowe i wyjściowe do 128 000 tokenów. Test ten koncentruje się na zadaniach takich jak ogólne odpowiadanie na pytania, rozwiązywanie problemów matematycznych oraz generowanie kodu, sprawdzając zdolność systemów do przetwarzania dużych zapytań i syntezy danych z wielu źródeł.
W ramach tych testów firma Nvidia przedstawiła swoje najnowsze serwery AI, znane jako Grace Blackwell, wyposażone w 72 procesory graficzne (GPU). W porównaniu z poprzednią generacją, nowe serwery osiągnęły wydajność wyższą o 2,8 do 3,4 razy, nawet przy porównaniu konfiguracji z ośmioma GPU. To znaczący krok naprzód, biorąc pod uwagę rosnące wymagania aplikacji AI, które często wykorzystują wiele układów jednocześnie.
Z kolei firma AMD nie przedstawiła wyników dla testu z modelem Llama 3.1 o 405 miliardach parametrów, co może sugerować różnice w strategiach rozwoju lub priorytetach biznesowych w porównaniu z konkurencją.
Drugi nowy benchmark został zaprojektowany tak, aby symulować oczekiwania wydajnościowe konsumenckich aplikacji AI, takich jak ChatGPT, z naciskiem na osiągnięcie niemal natychmiastowych czasów odpowiedzi. To podkreśla rosnące znaczenie optymalizacji infrastruktury AI w celu sprostania wymaganiom użytkowników końcowych, którzy oczekują szybkich i precyzyjnych odpowiedzi.
Wprowadzenie tych benchmarków przez MLCommons stanowi istotny krok w kierunku standaryzacji oceny wydajności systemów AI. Pozwala to nie tylko na obiektywne porównanie różnych rozwiązań sprzętowych i programowych, ale także stymuluje innowacje w zakresie projektowania układów scalonych oraz optymalizacji oprogramowania. W kontekście dynamicznego rozwoju AI, takie inicjatywy są kluczowe dla zapewnienia, że infrastruktura technologiczna nadąża za rosnącymi wymaganiami aplikacji i użytkowników.
Warto również zauważyć, że rosnąca złożoność modeli AI, takich jak Llama 3.1, stawia przed producentami sprzętu wyzwania związane z zapewnieniem odpowiedniej mocy obliczeniowej oraz efektywności energetycznej. Firmy, które potrafią sprostać tym wyzwaniom, mogą zyskać przewagę konkurencyjną na szybko rozwijającym się rynku AI.
