Bots AI sunt, de asemenea, blocate automat, cu excepția cazului în care accesul sunt acordate
Ce s -a întâmplat? Cloudflare experimentează cu o nouă modalitate de a împiedica crawlerele AI să răzuie conținutul site -ului web. Compania CDN/Security a anunțat că îi va împiedica să acceseze conținut fără permisiune sau compensare în mod implicit. Editorii pot permite crawler -urilor, dar firmele AI ale Bots vor fi taxate.
Începând de astăzi, fiecare site web nou care se înscrie la Cloudflare va fi întrebat dacă vor să permită crawler -urilor AI să -și răzuie site -ul. Proprietarii de site -uri nu pot alege numai dacă doresc să permită accesul și la ce conținut, dar, de asemenea, decid cum pot utiliza companiile AI.
Mai mult decât atât, companiile AI pot afirma clar dacă crawler -urile sunt utilizate pentru instruire, inferență sau căutare, ajutând proprietarii să decidă ce crawlers să permită.
Trebuie să citești: Internet cu un clic ZERO
Cloudflare a lansat un instrument gratuit pentru a bloca roboții AI în 2024, dar această modificare permite editorilor să le blocheze în mod implicit și fără a modifica setări. Condé Nast, Time și Associated Press sunt doar unii dintre editorii care s -au înscris pentru a bloca crawlerele. Cloudflare spune că peste 1 milion de clienți au ales această opțiune.
Cloudflare adaugă că un număr mic de editori și creatori de conținut participă la o versiune beta privată pentru funcția sa de plată pe crawl. Acest lucru va permite celor care permit roboților să -și răzuie conținutul să stabilească un preț pentru privilegiu.
„De fiecare dată când un Crawler AI solicită conținut, fie prezintă intenția de plată prin intermediul anteturilor de solicitare pentru accesul de succes (HTTP Code 200), fie primesc un răspuns necesar 402 de plată cu prețuri”, a explicat Cloudflare.
Oricine este interesat să devină parte a beta -ului se poate înscrie aici.
Aproximativ 16% din traficul global pe internet trece direct prin CDN -ul Cloudflare, potrivit unui raport din 2023, astfel încât mișcarea ar putea avea un impact imens asupra companiilor AI.
„Conținutul original este ceea ce face pe Internet una dintre cele mai mari invenții din secolul trecut și este esențial ca creatorii să continue să o facă”, a spus Matthew Prince, CEO al Cloudflare.
„AI Crawlers au răzuit conținut fără limite. Scopul nostru este să punem puterea înapoi în mâinile creatorilor, în timp ce ajută companiile AI să inoveze. Este vorba despre protejarea viitorului unui internet gratuit și vibrant, cu un nou model care funcționează pentru toată lumea.”
Pentru ca plata pe ștergere să funcționeze corect, companiile AI trebuie să se înscrie și la program. Cloudflare spune că s -a asociat cu mai multe firme AI care doresc să participe la ceea ce ar trebui să fie un aranjament benefic reciproc – presupunând că sunt de acord să plătească prețurile stabilite de editori.
Știrea vine la doar câteva săptămâni după ce Prince și -a reiterat avertismentul anterior potrivit căruia crawlerele și rezumatele AI distrug modelul de afaceri al internetului. Blocarea implicită și salariul pe-crawl fac parte din planul companiei de a combate amenințarea unui internet cu clic zero, un termen care descrie când utilizatorii nu mai trebuie să facă clic pe link-uri pentru a găsi orice conținut doresc.
În trecut, site -urile web au văzut, de obicei, un vizitator uman de fiecare șase ori, Google și -a târât paginile – un raport relativ echilibrat, care s -a tradus adesea în vizualizări publicitare. Prin comparație, crawler -ul lui Openai a avut o rată de implicare mult mai mică de aproximativ un vizitator la 250 de târâte, în timp ce raportul Antropic a fost și mai abrupt la aproximativ 6.000 la unul. Potrivit prințului, aceste lacune s -au lărgit: Google în medie în jur de 18 tâmpenii pe vizitator, rata lui Openai a scăzut la 1.500 la unul, iar Antropic este estimat la 60.000 la unu.
