Noi cipuri, modele și instrumente de platformă
Imaginea de ansamblu: Un lucru care a devenit clar când vine vorba de AI generativă este că suntem încă în primele zile ale tehnologiei. Evoluțiile și perfecționările majore ale produselor existente vor fi o parte standard a ciclului de știri din industria tehnologică pentru ceva timp de acum încolo.
La conferința lor anuală re:Invent din Las Vegas, Amazon’s Web Services (AWS) a exemplificat această tendință cu o serie de anunțuri de produse și servicii axate în primul rând pe îmbunătățirea ofertelor lor existente, mai degrabă decât pe introducerea unora complet noi.
Pentru a fi clar, au existat câteva intrări cu adevărat noi în furtunul de incendiu al anunțurilor care au devenit sinonime cu discursurile principale AWS – în special în ceea ce privește modelele de fundație. Chiar și acolo, totuși, s-ar putea argumenta că accentul a fost în mare măsură pe rebranding sau înlocuirea produselor existente.
O parte din motivul acestei abordări este că marile companii tehnologice precum Amazon au reușit inițial să definească și să creeze un cadru la nivel înalt pentru activarea GenAI. De-a lungul timpului, însă, a devenit evident că aceste instrumente și procese nu au îndeplinit pe deplin nevoile multor clienți.
Mai simplu spus, valorificarea capabilităților GenAI a fost și, în multe cazuri, este încă prea complexă pentru majoritatea organizațiilor.
Având în vedere acest lucru, AWS sa concentrat pe abordarea acestor lacune la re:Invent din acest an. Au perfecționat instrumentele și au combinat produse și servicii existente pentru a face pași semnificativi spre simplificarea creării și implementării tehnologiilor GenAI. Aceste eforturi au fost concepute pentru a se adapta companiilor cu o gamă largă de sofisticare tehnică.
În special, au abordat această provocare printr-un set extins de oferte, inclusiv silicon personalizat, modele de fundație, îmbunătățiri ale bazelor de date, instrumente pentru dezvoltatori și platforme software.
Trainium 2 Chip
Începând de la nivelul siliciului, noul CEO al AWS Matt Garman și-a început discursul principal subliniind investițiile substanțiale ale companiei în cipuri personalizate din ultimul deceniu. El a subliniat decizia prevestitoare a companiei de a investi în CPU-uri bazate pe Arm cu cipul său Graviton, spunând că afacerea lor bazată pe Graviton este acum mai mare decât întreaga afacere de calcul a AWS la momentul lansării Graviton. Apoi a anunțat disponibilitatea generală a cipului Trainium 2 și a instanțelor de calcul EC2 optimizate pentru antrenamentul AI și sarcinile de lucru de inferență care utilizează aceste cipuri.
Făcând acest lucru mai departe, Garman a susținut că Trainium 2 reprezintă prima alternativă viabilă la GPU-urile Nvidia – mai ales la un cost de operare semnificativ mai mic. Deși validitatea acestei afirmații rămâne de văzut, discuțiile inițiale în jurul arhitecturii cipului sugerează că este o îmbunătățire semnificativă față de Trainium de prima generație.
În mod interesant, Garman a dezvăluit și detalii timpurii despre Trainium 3, semnalând angajamentul profund al companiei față de dezvoltarea continuă a siliciului. În ciuda acestor eforturi personalizate de siliciu, AWS a reafirmat rolul Nvidia ca partener esențial, anunțând noi instanțe EC2 cu GPU-urile Blackwell de la Nvidia, care urmează să debuteze în curând.
Bineînțeles, o componentă critică a oricărui sistem de calcul GenAI este software-ul folosit pentru a construi și a ajusta modele și aplicații care rulează pe acest hardware. În acest sens, Garman a introdus numeroase îmbunătățiri platformelor Amazon SageMaker și Bedrock, inclusiv lansarea SageMaker Studio, care consolidează serviciile AWS independente anterior într-o interfață de utilizator unificată.
Sagemaker Studio
Bazându-se pe moștenirea sa ca instrument pentru oamenii de știință de date și modelele timpurii AI/ML, SageMaker a devenit din ce în ce mai important în era GenAI, permițând dezvoltarea, instruirea și reglarea fină a modelelor de bază. Deloc surprinzător, SageMaker Studio oferă acum îmbunătățiri care valorifică pe deplin noile capabilități ale Trainium 2, poziționând combinația ca o alternativă competitivă la CUDA și GPU-urile Nvidia.
Îmbunătățirile aduse Bedrock – o platformă adaptată pentru dezvoltatorii de aplicații GenAI care doresc să lucreze cu modele de fundație existente – includ noi modele binecunoscute și introducerea unei piețe Bedrock pentru o selecție mai largă de modele.
Două completări deosebit de interesante la Bedrock sunt caracteristica sa de distilare a modelului și o metodă de reducere a halucinațiilor. Bedrock Distillation permite comprimarea modelelor de frontieră mari – cum ar fi un model Llama cu 405 de miliarde de parametri – în ceva la fel de compact ca o versiune cu 8 miliarde de parametri, folosind tehnici de personalizare specializate.
Deși acest proces are similarități cu Retrieval Augmented Generation (RAG), el folosește metode distincte care pot da rezultate și mai eficiente. Între timp, Bedrock Guardrails include acum o verificare automatizată a raționamentului, o tehnică verificabilă matematic, concepută pentru a reduce substanțial halucinațiile în ieșirile GenAI. Deși detaliile despre modul în care a funcționat au fost rare, cu siguranță a sunat ca o descoperire potențial foarte importantă.
Bedrock încorporează, de asemenea, unele capacități de reglare fină, exclusiviste anterior pentru SageMaker, dar prezentate la un nivel superior de abstractizare. Deși acest lucru îmbunătățește versatilitatea Bedrock, poate crea suprapunere și confuzie cu privire la instrumentul care este cel mai potrivit pentru o anumită sarcină sau tip de utilizator.
Amazon s-a confruntat cu același tip de confuzie cu privire la rolul lui Sagemaker, Bedrock și capacitățile lor de agent Q atunci când au introdus Q la re:Invent de anul trecut (consultați „Strategia Amazon AWS GenAI vine cu un Q mare” pentru mai multe). De atunci, cred că au îmbunătățit poziționarea fiecărei opțiuni în stiva lor de dezvoltare, dar este încă extrem de complex și merită și mai multă simplificare și clarificare a mesajelor.
Pentru a aborda mai bine provocările pe care le au companiile în organizarea datelor pentru a-și ingera în modelele de bază GenAI, AWS a introdus îmbunătățiri notabile în ofertele lor de stocare și baze de date S3. Printre punctele importante se numără suportul pentru tabelele de date gestionate Apache Iceberg pentru a accelera analiza lacurilor de date și crearea automată a metadatelor care pot fi căutate. Acestea, împreună cu alte anunțuri, subliniază angajamentul AWS de a îmbunătăți pregătirea și organizarea datelor.
Pentru dezvoltatori, AWS a dezvăluit Amazon Q Developer, o suită de capabilități bazate pe inteligență artificială pentru a ajuta la scrierea de coduri noi, modernizarea codului Java și mainframe vechi, automatizarea documentației codului și multe altele.
Două dintre cele mai mari surprize de la prezentarea AWS au fost revenirea fostului CEO AWS (și acum CEO Amazon) Andy Jassy și dezvăluirea noilor modele de fundație ale companiei, marca Nova. Această gamă include patru niveluri de modele multimodale alături de modele specializate pentru crearea de imagini și videoclipuri.
Împreună cu cipul Trainium, îmbunătățirile SageMaker și Bedrock și instrumentele îmbunătățite pentru baze de date, modelele Nova formează un portofoliu cuprinzător GenAI. AWS consideră că acest lucru îi poziționează ca furnizor de top de soluții complete pentru GenAI.
Acestea fiind spuse, introducerea lui Nova ridică întrebări. Modelele Nova înlocuiesc modelele Titan de la Amazon, care au fost prezentate nu cu mult timp în urmă ca o parte cheie a strategiei lor AI. Această schimbare bruscă poate tulbura mesajele pentru companiile și dezvoltatorii care lucrează deja cu Titan. Cu toate acestea, discuțiile cu reprezentanții AWS sugerează că Nova reprezintă un salt înainte semnificativ în arhitectură și performanță. Deși decizia de a pivota de la Titan poate ridica sprâncene, ea reflectă natura dinamică și rapidă a spațiului GenAI.
În timp ce plecam de la eveniment, nu m-am putut abține să nu fiu impresionat de gama cuprinzătoare de îmbunătățiri pe care AWS le-a adus instrumentelor și serviciilor sale GenAI. În timp ce tehnologia va continua, fără îndoială, să evolueze, pe măsură ce migrăm de la epoca dovezilor de concept GenAI la implementările GenAI la nivel de întreprindere, având acces la suita completă de instrumente de la un furnizor important de cloud computing care abordează o serie de puncte incipiente. este obligat să schimbe jocul.
Bob O’Donnell este fondatorul și analistul șef al TECHnalysis Research, LLC, o firmă de consultanță tehnologică care oferă consultanță strategică și servicii de cercetare de piață industriei tehnologiei și comunității financiare profesionale. Îl puteți urmări pe Twitter @bobodtech
