Sistemul de fișiere cu fâșie de fâșie promite acces la date AI de mare viteză
Ce s -a întâmplat? Ca răspuns la organizațiile occidentale care o numesc „umbroase și de încredere”, Deepseek a lansat „Open Source Week”. În cadrul evenimentului de săptămâna trecută, compania a lansat mai multe depozite în comunitatea open-source, inclusiv un sistem de fișiere extrem de eficient. Mulți specialiști AI care examinează codul au fost impresionați.
Săptămâna trecută, Deepseek a lansat cinci dintre cele mai avansate depozite de software în timpul evenimentului său „Open Source Week”. Firma AI chineză a dezvăluit un sistem de fișiere bazat pe Linux pe care îl folosește intern pentru sarcini de lucru AI și pentru inferență. Sistemul de fișiere Fire-Flyer (3FS) se mândrește cu unele repere de performanță impresionante. Companiile AI occidentale au luat notă și explorează repos. Compania a proiectat 3FS pentru a accelera sarcinile AI. Tehnologia folosește caracteristicile unităților moderne de stocare în stare solidă și ale rețelelor RDMA, oferind un strat de stocare partajat pentru a simplifica implementarea aplicațiilor distribuite.
Harware -ul lui Tom observă că codul 3FS Deepseek funcționează fără caching citit și acordă prioritate cererilor de citire aleatorii, deoarece modelele AI care rulează pe noduri GPU accesează constant fragmente de date stocate pe servere. Sistemul de fișiere poate combina debitul de mii de unități SSD și lățimea de bandă a rețelei de sute de noduri de stocare, simplificând codul aplicației și aplicând modele API de stocare standard.
🚀 Ziua 5 din #OpensourceWeek: 3FS, propulsor pentru toate accesul la date Deepseek
Sistem de fișiere Fire -Flyer (3FS) – Un sistem de fișiere paralel care utilizează lățimea de bandă completă a rețelelor SSD și RDMA moderne.
⚡ 6.6 TIB/S agregat de randament de citire într-un cluster de 180 de noduri
⚡ 3,66 TIB/MIN …– Deepseek (@DeepSeek_AI) 28 februarie 2025
Sistemul de fișiere distribuit poate ajunge la un randament de citire agregat de 6,6 TIB/S atunci când este utilizat într-un cluster de 180 de noduri, obținând un randament de 3,66 TIB/min pe referința Graysort (într-un cluster cu 25 de noduri). Perspectiva companiei de pornire AI a lăudat cifrele lui Deepseek ca fiind unele repere „la nivel următor”, descriind 3F-uri ca o revoluție potențială pentru sarcinile de muncă grele de date legate de AI, cercetare și multe altele.
Într-o lucrare publicată vara trecută, cercetătorii Deepseek au descris caracteristicile arhitecturii de calcul personalizate de înaltă performanță a companiei. Datorită 3FS, Haiscale și altor elemente ale stivei sale de software, Deepseek a obținut 80 % din performanța serverelor DGX-A100 ale NVIDIA la 50 % din preț și folosind 40 % mai puțină energie. Fire-Flyer 2 a folosit 180 de noduri de depozitare cu 16 SSD-uri de 16 TB fiecare, două nucuri de 200 Gbps și 10.000 NVIDIA A100 GPU peste PCIE.
Deepseek a creat Open Source Week pentru a sublinia transparența și inovația bazată pe comunitate, după ce a fost criticat ca fiind umbrit și de încredere. Compania chineză lansează multe produse software ca depozite open-source, cu ținte cheie, inclusiv FlashMLA, Deepep, Deepgemm și multe altele.
