Algoritmul său de cache „inteligent” gestionează cache -ul masiv al sistemului, format din SSD -uri
Redactor de luare: În Colossus: Proiectul Forbin, un supercomputer avansat devine simțitor și înrobește omenirea. Colossus este, de asemenea, numele platformei de stocare unde se află aproape toate serviciile de internet Google. Deși nu știm dacă compania s-a inspirat direct din filmul clasic de sci-fi, conotațiile sunt încă prezente.
Într -o postare recentă pe blog, Google a dezvăluit câteva dintre „secretele” care se ascunde în spatele Colossus, o infrastructură masivă de rețea pe care compania o descrie drept platforma sa de stocare universală. Colossus este robust, scalabil și ușor de utilizat și de programat. Google a spus că mașina masivă folosește în continuare unități de hard disk magnetic încercate și adevărate (totuși în evoluție).
Colossus alimentează multe servicii Google, inclusiv YouTube, Gmail, Drive și multe altele. Platforma a evoluat din proiectul sistemului de fișiere Google, un sistem de stocare distribuit pentru gestionarea aplicațiilor mari, intensiv în date, făcând lucrurile mai gestionabile. Surprinzător, Google a supraîncărcat Colosus prin instalarea unei tehnologii de cache exclusive care se bazează pe unități rapide în stare solidă.
Google construiește un sistem de fișiere Colossus pe cluster într -un centru de date. Multe dintre aceste clustere sunt suficient de puternice pentru a gestiona mai multe exabyte de stocare, cu două sisteme de fișiere, în special, găzduind mai mult de 10 exabyți de date fiecare. Compania susține că aplicațiile sau serviciile bazate pe Google nu ar trebui să rămână niciodată fără spațiu pe disc într-o zonă cloud Google.
Debitul de date într -un sistem de fișiere Colossus este impresionant. Google susține că cele mai mari clustere „în mod regulat” depășesc ratele de citire de 50 de terabyți pe secundă, în timp ce ratele de scriere sunt de până la 25 de terabyți pe secundă.
„Acest lucru este suficient pentru a trimite mai mult de 100 de filme de 8K de lungime completă în fiecare secundă”, a spus compania.
Stocarea datelor la locul potrivit este esențială pentru realizarea acestui tip de performanță deasupra. Utilizatorii interni Colossus pot dicta dacă fișierele lor trebuie să meargă la un HDD sau la un SSD, dar majoritatea dezvoltatorilor folosesc o soluție automatizată cunoscută sub numele de cache SSD distribuită L4. Această tehnologie folosește algoritmi de învățare automată pentru a decide ce politică se aplică la anumite blocuri de date. Cu toate acestea, sistemul scrie în cele din urmă orice date noi către HDDS.
Tehnologia L4 Caching poate rezolva (parțial) această problemă în timp, observând modele de I/O, segregând fișierele în „categorii” specifice și simulând diferite destinații de stocare. Conform documentației Google, aceste politici de stocare includ „Place on SSD timp de o oră”, „Place on SSD timp de două ore” și „Don’t Place on SSD”.
Atunci când simulările prezic corect modelele de acces la fișiere, o mică porțiune de date este pusă pe SSD -uri pentru a absorbi majoritatea operațiunilor de citire inițiale. În cele din urmă, datele sunt migrate către stocare mai ieftină (HDDS) pentru a minimiza costurile generale de găzduire.
„Ca bază pentru toate Google și Google Cloud, Colossus este esențial în furnizarea de servicii fiabile pentru miliarde de utilizatori, iar capacitățile sale sofisticate de plasare SSD ajută la reducerea costurilor și performanța în timp ce se adaptează automat la modificări ale volumului de muncă”, a spus compania. „Suntem mândri de sistemul pe care l -am construit până acum și așteptăm cu nerăbdare să continuăm să îmbunătățim amploarea, sofisticarea și performanța.”
