Se pare că AWS cumpără miliarde de rafturi Nvidia GB300 în fiecare lună și le stochează în depozite.
Nori întunecați AI: Ca orice alt hiperscaler dornic să sacrifice totul pentru a transforma AI într-o oportunitate de schimbare a jocului, Amazon face niște cascadorii îndrăznețe atât cu finanțele sale, cât și cu hardware-ul său. Un nou raport spune că compania cumpără mai multe GPU-uri decât are puterea de a rula.
Se presupune că Amazon primește în fiecare lună rafturi Nvidia în valoare de miliarde de dolari, chiar dacă unele site-uri nu sunt pregătite pentru ele și nu există încă energie electrică pentru a alimenta acceleratoarele AI. Potrivit e-mailurilor interne văzute de Business Insider, Amazon este dispus să angajeze miliarde în numerar în avans, atâta timp cât poate asigura din timp noua capacitate hardware.
Mesajele descriu procesul Amazon Early Rack Receipt, prin care AWS se aștepta să ia rafturi de servere Nvidia GB300 în valoare de aproximativ 5 miliarde de dolari numai în august, cu aproximativ 3 miliarde de dolari în plus în fiecare lună pentru viitorul apropiat. Amazon primește servere „construite pentru era raționamentului AI” înainte de faza finală de implementare.
Unele facilități AWS din SUA nu au suficientă putere pentru a instala și a porni serverele, ceea ce înseamnă că hardware-ul costisitor este stocat în depozite „intermediare” până la finalizarea site-ului final al centrului de date. În e-mailuri, o echipă Amazon a deplâns că nu exista o prognoză clară pentru instalarea efectivă a tuturor GPU-urilor pe care compania le achiziționa în fiecare lună.
Lipsa capacității energetice a Amazon face parte dintr-un fenomen în creștere cunoscut sub numele de „GPU-uri întunecate”. Giganții din centrele de date și din cloud acumulează tot hardware-ul pe care îl pot, dar o mare parte din acesta adună praf pe rafturi, în timp ce restul industriei IT rămâne cu resturi.
Problema întunecată a GPU-ului adaugă, de asemenea, presiune financiară întreprinderilor din centrele de date. Fluxul de numerar liber al Amazon a devenit negativ în al doilea trimestru pentru prima dată din 2023, iar compania se așteaptă să rămână așa pentru o perioadă, cheltuielile de capital urmând să ajungă la aproximativ 220 de miliarde de dolari în acest an.
Amazon cheltuiește mai mult decât orice alt hyperscaler pentru a construi noi capabilități AI și capacitatea centrului de date și își schimbă practicile obișnuite de afaceri pentru a face acest lucru. Înainte de nebunia inteligenței artificiale, AWS a preluat dreptul de proprietate asupra rafturilor doar după ce acestea au fost terminate și livrate la un centru de date. Acum, compania fondată de Jeff Bezos este dispusă să cheltuiască miliarde în avans pentru a asigura mai multe rafturi AI mai devreme în lanțul de aprovizionare.
Un purtător de cuvânt al Amazon a apărat abordarea, numind practica de depozitare a rafturilor finite într-un depozit „cea mai bună practică de afaceri”. Compania se așteaptă la profituri financiare semnificative din această construcție masivă a infrastructurii AI, deoarece AI este o oportunitate o dată în viață pe care nicio companie IT nu își poate permite să o rateze. AWS a trecut prin ceva similar înainte, a spus CEO-ul Amazon, Andy Jassy.
