Un „frate” al modelului de limbă locală Phi Silica Microsoft
Pe scurt: Modelele de limbaj mic sunt, în general, mai compacte și mai eficiente decât LLM -urile, deoarece sunt concepute pentru a rula pe hardware -ul local sau pe dispozitivele de margine. Microsoft aduce acum încă un SLM la Windows 11, deoarece utilizatorii au nevoie de câteva indicii alimentate pentru AI pentru a-i ajuta să găsească setări specifice ale sistemului de operare și să își personalizeze experiența PC.
Microsoft a anunțat recent MU, un nou model de limbă mică, conceput pentru a se integra cu experiența UI Windows 11. MU va funcționa alături de Phi Silica – modelul de limbă introdus anterior pe Copilot+ PC -uri – pentru a alimenta caracteristica AI Agent în setările Windows pe care compania le dezvoltă în prezent.
La fel ca silica Phi, MU va rula în întregime pe unitatea de procesare neuronală a sistemului, oferind răspunsuri la peste 100 de jetoane pe secundă, ceea ce ar trebui să ofere o experiență lină a utilizatorului în setări.
Microsoft descrie MU ca un model eficient de 330 de milioane de parametri optimizat pentru implementări la scară mică. Se bazează pe o arhitectură de decodificator de transformator, unde codificatorul transformă intrarea utilizatorului într-o reprezentare latentă cu lungime fixă, iar decodificatorul generează jetoane de ieșire din acea reprezentare.
Microsoft a proiectat MU ca un „frate” extrem de optimizat pentru silica Phi, folosind mai multe tehnici pentru a reduce numărul de parametri și pentru a îmbunătăți eficiența. SLM a fost instruit folosind un număr nespecificat de GPU -uri A100 pe platforma de învățare automată Azure, progresând prin mai multe faze și aplicând tehnici pe care Redmond le -a dezvoltat în timpul lucrărilor la modelele PHI.
După ce au reglat modelul, dezvoltatorii au descoperit că MU oferă performanțe aproape comparabile cu PHI-3,5-MINI, în ciuda faptului că au fost doar o zecime dimensiunea sa. Mai mult, Microsoft a colaborat cu Silicon Partners Intel, AMD și Qualcomm pentru a se asigura că MU este complet optimizat pentru a rula pe mașini locale cu NPU.
Care a fost rostul tuturor acestor eforturi de optimizare? Potrivit Redmond, MU va alimenta noua experiență „agentică” în viitoarea aplicație de setări îmbunătățite AI. Gigantul AI și Cloud își propune să ofere o nouă caracteristică „chat” care permite utilizatorilor Windows să pună întrebări legate de setări în limbajul natural și să primească răspunsuri eficiente, chiar și atunci când abia știu ce caută.
AI agentic din aplicația Setări se presupune că îmbunătățește ușurința de utilizare a Windows. Microsoft a recunoscut că instruirea unui SLM capabil să gestioneze (și să modifice) sute de setări de sistem a fost o provocare, iar compania spune că salută feedback -ul utilizatorilor cu privire la noua caracteristică.
Personal, nu am experimentat niciodată probleme de utilizare sau de descoperire cu setările pe parcursul a opt ani de utilizare a Windows 10, cu toate acestea, Microsoft rămâne aglomerat cu privire la transformarea Windows într-o platformă „AI-First”.
