Halucinațiile de cod fac viața mizerabilă unor dezvoltatori
Facepalm: Serviciile AI generative nu sunt nici inteligente, nici capabile să ofere un plus semnificativ eforturilor de dezvoltare open-source. Un expert în securitate care s-a săturat de listele de erori „spam” și halucinate își dezvăluie frustrarea, cerând comunității FOSS să ocolească rapoartele generate de AI.
Modelele generative de inteligență artificială au dovedit deja instrumente puternice în mâinile infractorilor cibernetici și fraudătorilor. Cu toate acestea, hucksterii le pot folosi și pentru a trimite spam proiecte open-source cu rapoarte inutile de erori. Potrivit lui Seth Larson, numărul rapoartelor de securitate „extrem de” de proastă calitate, spam și halucinate de LLM a crescut recent, forțând menținătorii să-și piardă timpul cu lucruri cu inteligență scăzută.
Larson este un dezvoltator de securitate la Python Software Foundation, care face și voluntariat în „echipe de triaj” însărcinate cu verificarea rapoartelor de securitate pentru proiecte open-source populare, cum ar fi CPython, pip, urllib3, Requests și altele. Într-o postare recentă pe blog, dezvoltatorul denunță o tendință nouă și supărătoare de rapoarte de securitate neglijentă create cu sisteme AI generative.
Aceste rapoarte AI sunt insidioase, deoarece par potențial legitime și merită verificate. După cum au subliniat deja Curl și alte proiecte, sunt doar o prostie mai bună, dar totuși o porcărie. Mii de proiecte open-source sunt afectate de această problemă, în timp ce întreținerii nu sunt încurajați să-și împărtășească constatările din cauza naturii sensibile a dezvoltării legate de securitate.
„Dacă acest lucru se întâmplă cu o mână de proiecte pentru care am vizibilitate, atunci bănuiesc că acest lucru se întâmplă la scară largă pentru proiecte open source”, a spus Larson.
Rapoartele halucinate pierd timpul întreținerii voluntari și duc la confuzie, stres și multă frustrare. Larson a spus că comunitatea ar trebui să trateze rapoartele AI de calitate scăzută ca fiind rău intenționate, chiar dacă aceasta nu este intenția inițială a expeditorilor.
El a avut sfaturi valoroase pentru platforme, reporteri și întreținerii care se confruntă în prezent cu o creștere a rapoartelor cu halucinații AI. Comunitatea ar trebui să utilizeze CAPTCHA și alte servicii anti-spam pentru a preveni crearea automată a rapoartelor de securitate. Între timp, reporterii de erori nu ar trebui să folosească modele AI pentru a detecta vulnerabilitățile de securitate în proiecte open-source.
Modelele mari de limbaj nu înțeleg nimic despre cod. Găsirea unor defecte de securitate legitime necesită abordarea „conceptelor la nivel uman”, cum ar fi intenția, utilizarea obișnuită și contextul. Operatorii de întreținere se pot salva de multe probleme răspunzând la rapoartele aparente de AI cu același efort depus de expeditorii inițiali, care este „aproape de zero”.
Larson recunoaște că mulți reporteri de vulnerabilități acționează cu bună-credință și, de obicei, oferă rapoarte de înaltă calitate. Cu toate acestea, o „majoritate din ce în ce mai mare” a rapoartelor cu efort redus și de calitate scăzută o ruinează pentru toți cei implicați în dezvoltare.
