Repost: analiza conversației Bluesky cu LLM-uri locale și de frontieră cu R/Tidyverse

Repostat din original la https://blog.stephenturner.us/p/bluesky-analysis-claude-llama-tidyverse.

…

Fundal

Bluesky, atrrr, LLM locale

Am scris câteva postări în ultima vreme despre Bluesky — mai întâi, Bluesky for Science, despre Bluesky ca casă pentru expații Twitter din Știință după exodus în masă, un altul despre utilizarea pachetului atrrr pentru a vă extinde rețeaua Bluesky. De asemenea, am petrecut ceva timp uitându-mă la pachetele R pentru a oferi o interfață pentru Ollama. Am scris despre acest lucru în mod generic vara trecută și am continuat rapid cu o postare despre un pachet R care utilizează Llama 3.1 pentru a rezuma preprinturile bioRxiv și medRxiv.

Folosind modele de frontieră în R

În acele postări de mai sus, folosesc un LLM local (o variantă a modelului lamă). Meta susține că cel mai nou model llama3.3-70B atinge performanțe la egalitate cu GPT-4 și cu llama3.1-405B mult mai mare. Este bun (foarte bun pentru un model deschis), dar nu sunt de acord cu această afirmație (și nici clasamentul Chatbot Arena).

Intră ellmer (ellmer.tidyverse.org) — o adăugare recentă la tidyverse care oferă interfețe modelelor de frontieră precum ChatGPT de la OpenAI, Claude de la Anthropic, Gemini de la Google și altele (împreună cu modele locale prin Ollama).

Am cumpărat câțiva dolari în credite Claude API pentru a vedea cum s-ar compara Claude cu unele dintre aceste modele open source pentru o sarcină simplă de rezumare.

Sarcina

Bluesky pentru știință a decolat cu adevărat de când noua conducere a lui X a lăsat locul să se degradeze în canalizarea care este. Este un loc atât de plin de viață și dacă merg o zi sau două fără să derulez prin feed-urile mele, voi rata multe din ceea ce se întâmplă în comunitatea R și în alte grupuri de interese.

Mă abonez la buletinul informativ AI News, unde în fiecare zi primesc un rezumat AI a ceea ce se întâmplă în lumea AI pe Twitter, Reddit, diverse Discords și alte forumuri (foruri?). Eram curios dacă aș putea face ceva similar cu hashtag-ul #Rstats de pe Bluesky.

Abonați-vă acum

Configurarea

1. Utilizați pachetul atrrr pentru a prelua 1000 de postări Bluesky etichetate cu #Rstats. De obicei, văd aproximativ 100 de postări pe zi, așa că 1000 sunt suficiente pentru a captura totul în ultima săptămână.

2. Folosiți dplyr pentru a curăța: limitați postările la ultimele 7 zile, creați un link către adresa URL a postării din URI-ul at://, aranjați coborând după postările cele mai apreciate, având cel puțin 5 aprecieri, extrageți textul postării la feed la LLM și extrageți o listă cu marcatori a textului postării pentru primele 10 postări de inclus în rezumat.

3. Utilizați pachetul ellmer pentru a rezuma aceste postări folosind Claude 3.5 Sonnet și diverse modele deschise prin Ollama. Rulați trei iterații din fiecare și alegeți cel mai bun rezultat dintre cele trei (subiectiv).

   1. Claude 3.5 Sonet

   2. Lama3.3

   3. Gemma2

   4. Mistral

Promptul de sistem pe care îl folosesc pentru fiecare dintre acestea este:

Care sunt cele mai importante postări de pe #rstats Bluesky săptămâna trecută? Vă voi furniza date care arată autorul, adresa URL a postării și textul postării din primele 100 de postări cu cele mai apreciate etichete cu #Rstats. Amintiți-vă, acesta este bluesky, iar postările se numesc postări, NU tweets. Asigurați-vă că le numiți postări, nu tweet-uri. Vreau să returnați un rezumat al postărilor de top, în markdown. Cine a postat despre ce? Și de ce este important? Dați exemple. Dă-mi o listă de subiecte, o listă de hashtag-uri comune și nume de autori. Vorbește și despre tonul general sau sentimentul general. Puteți face link la o anumită postare folosind adresa URL furnizată, unde textul linkului este numele autorului, cum ar fi „(autor)(url) postat ‘. Nu includeți nici un preamplu sau text postscript sau sugestii de întrebări ulterioare. Iată postările.

Rezultate

Notă: am rulat codul de mai sus pentru a genera aceste rezultate pentru săptămâna 18-24 decembrie 2024. Veți obține rezultate diferite rulând același cod astăzi.

Rezultatul de la Claude 3.5 Sonnet a fost cu mult peste cel mai bun rezumat și a urmat instrucțiunile prompte de sistem mai bine decât oricare dintre modelele open source. După ce am verificat utilizarea, această interogare a costat aproximativ 0,01 USD-0,02 USD cenți.

Claude 3.5 Sonet

Rezultate de la Claude 3.5 Sonet:

Rezumat

Produs cu claude-3-5-sonnet-20241022

Iată un rezumat al celor mai bune postări #rstats pe Bluesky din săptămâna trecută:

Anunțuri și știri cheie:

• Posit (fostă RStudio) s-a alăturat Open Source Pledge, angajând 2000 USD/an per dezvoltator pentru a sprijini software-ul open source

• RStudio IDE și Posit Workbench au primit o actualizare majoră cu suport Positron Pro

• user 2025 va avea loc la Universitatea Duke în august 2024

• Mai multe versiuni notabile de pachete, inclusiv rms 6.9-0, {chopin} pentru analiză spațială și {rayrender} v0.38.0

Subiecte și teme populare:

1. Dezvoltarea pachetelor și actualizări

2. Vizualizarea datelor

3. Tutoriale și resurse de învățare

4. Metode statistice

5. Dezvoltare mobilă

6. Arta generativă

Conținut remarcabil al tutorialului:

• Jarrett Byrnes a distribuit un tutorial despre Bayesian SEM folosind brms

• Danielle Navarro a scris despre expresiile regulate în R

• Postări multiple despre ecosistemul easystats pentru analiza bayesiană

Inovație și instrumente noi:

• Colin a anunțat Rlinguo, o aplicație mobilă pentru rularea R pe telefoane

• Noi dezvoltări în aplicațiile R bazate pe web folosind webR și Shinylive

• Diverse actualizări ale pachetelor și instrumentelor de vizualizare

Implicarea comunității:

• Participare activă la TidyTuesday analizând datele despre vrăjile D&D

• Discuție semnificativă despre arta generativă și vizualizare

• Accent puternic pe resursele de predare și învățare

Tonul general al comunității R de pe Bluesky este copleșitor de pozitiv și de colaborare, cu un amestec de discuții tehnice, aplicații creative și sprijin reciproc. Se pune un accent puternic pe schimbul de cunoștințe și resurse, în special în ceea ce privește vizualizarea datelor și metodele statistice.

Hashtag-uri comune: #rstats #dataviz #tidytuesday #pydata #statistics #dataBS #rtistry #bayesian #shiny #ggplot2

Autori de seamă:

• Hadley Wickham

• Danielle Navarro

• Frank Harrell

• Tyler Morgan-Wall

• Sharon Machlis

• Colin Fay

• Nicola Rennie

Comunitatea pare să fie deosebit de încântată de noile dezvoltări în aplicațiile R mobile și bazate pe web, precum și de progresele în instrumentele de calcul statistic și de vizualizare. Există, de asemenea, o tensiune puternică de creativitate care trece prin postări, cu multe partajări de aplicații artistice ale programării R.

Postări de top

Top 10 postări:

• Hadley Wickham: Sunt foarte mândru să anunț că @posit.co s-a alăturat opensourcepledge.com. Ne angajăm să cheltuim 2000 USD/dezvoltator/an pentru a sprijini software-ul open source pe care îl folosim (dar nu îl dezvoltăm): posit.co/blog/posit-p… #rstats #pydata

• Jarrett Byrnes: OK, iată o schiță foarte generală a unui tutorial pentru #Bayesian #SEM folosind #brms pentru #rstats. Are nevoie de muncă, de lustruit, are o mulțime de întrebări și trebuie să adaug o secțiune de referințe. Dar, cred că mulți oameni vor găsi acest lucru util, așa că… jebyrnes.github.io/bayesian_sem… (folosește problemele pentru comentarii!)

• Danielle Navarro: Câteva cuvinte despre expresiile regulate în #rstats. În care în sfârșit îmi înțeleg faptul că există cel puțin trei motoare regex diferite în utilizare pe scară largă în R, ele acceptă diferite caracteristici și toți mă urăsc blog.djnavarro.net/posts/2024-1…

• Erik Reinbergs: Aceste tutoriale bayes sunt primele pe care le-am înțeles de fapt. Aștept cu nerăbdare ca restul să fie terminat. Accesați echipele @easystats.bsky.social! easystats.github.io/bayestestR/i… #rstats

• Dave H: Tocmai am trimis o actualizare de Crăciun la {ggblanket}. Am decis să susțin amestecarea culorilor. Utilizează {ggblend} sub capotă (mulțumesc @mjskay.com), care folosește caracteristici grafice dezvoltate de Paul Murrell. Dați {ggblanket} și {ggblend} o stea, dacă vi se pare că sunt utile. Oh, și să aveți un Crăciun fericit #rstats

• Owen Phillips: Am creat un lucru care pune statisticile scorurilor fiecărui jucător din seara precedentă într-un singur tabel interactiv. L-am folosit în fiecare dimineață pentru a verifica rapid cine a avut un joc bun/rău, în loc să mă uit la 10 actualizări de scoruri diferite în fiecare noapte #rstats #gt #quarto thef5.quarto.pub/boy/

• Hadley Wickham: Am descoperit că site-ul original plyr încă există: had.co.nz/plyr/. Este greu de imaginat că acesta a fost un site web de pachete mai bun decât media #rstats

• Joe Chou: În ceea ce mă privește, #webr și #shinylive nu se disting de magie. Nu pot să cred că, de la prima instalare a #quarto-webr, acum câteva ore, până acum, am primit un #shinyapp relativ complicat exportat, implementat și rulând fără server. Aceasta este magie. #rstats

Modele open-source: Llama3.3, Gemma2, Mistral

Abonați-vă acum

Bonus: sentiment, rezumat și traducere

În timp ce pachetul ellmer demonstrat mai sus oferă o modalitate simplă de a solicita modele locale sau de frontieră cu text, the mall pachetul din mlverse (mlverse.github.io/mall) oferă funcții pentru rularea predicțiilor LLM pe un cadru de date. API-ul său este similar în pachetele R și Python.

Dacă am cadrul de date creat mai sus cu textul postării d$textpot efectua o analiză a sentimentelor, pot crea un rezumat de 5 cuvinte și pot traduce în spaniolă cu codul de mai jos. La date sunt adăugate coloane noi, prefixate de un punct.

d |>
  llm_sentiment(text) |>
  llm_summarize(text, max_words = 5) |>
  llm_translate(text, "spanish")

Iată care sunt primele 10 postări cu cele mai apreciate din săptămâna trecută, rezumate în 5 cuvinte, traduse în spaniolă:

• Hadley Wickham (poziție se alătură opensourcepledge): Suntem foarte mândri de a anunța că @posit.co a unit a opensourcepledge.com. Suntem compromiți să gastam 2000 $ / dezvoltator / año pentru a sprijini software-ul de cod deschis care îl folosim (dar nu dezvoltăm): posit.co/blog/posit-p… #rstats #pydata

• Danielle Navarro (există trei motoare regex): Hay al menos tres diferite motoare de expresii regulate în uso amplio în R, care sprijină diferite caracteristici și toate me odian.

• Colin 🤘🌱🏃‍♀️ (aplicație mobilă pentru programarea r): Estoy extremadamente emoționat de a vă transmite în cele din urmă la lanțul de Rlinguo, o aplicație mobilă care executa R.

• Erik Reinbergs (tutorialele bayes au în sfârșit sens): Estos tutoriales de Bayes son los primeros que he entendido. Estoy emocionado de ver el resto terminado. ¡Buena suerte a todos en @easystats.bsky.social!

• Dave H (a trimis actualizarea de Crăciun la ggblanket): Acabo de lanzar una actualizare de Navidad pentru {ggblanket}. Decidí susține amestecul de culori. Utilizați {ggblend} în spatele scenei (grație @mjskay.com), care utilizează caracteristicile grafice dezvoltate de Paul Murrell. Dale o estrella a {ggblanket} și {ggblend}, și-ai găsit utile. ¡Que tengas un fericit Navidad #rstats

• Owen Phillips (tabel interactiv de scor cu casetă): Creați o chestie care adaugă toate statisticile punctajului de masă pentru fiecare jucător al nopții anterioare într-o tabla interactivă. He estado utilizând la fiecare dimineață pentru a revizui rapid și a făcut un joc bun/buen în loc de a vedea la actualizări ale diferitelor partide nocturne #rstats #gt #quarto thef5.quarto.pub/boy

• Hadley Wickham (site-ul original plyr încă există): Descubrí que la pagina web original de plyr încă există: had.co.nz/plyr/. Este dificil să imagineze că este o pagină de pachet mai bună ca medie. #rstats

• Joe Chou (webr și shiny are magic): En mi opinión, #webr y #shinylive son indistinguibles del magia. Nu pot să creeze că a instalat #quarto-webr o dată în urmă până acum, a reușit să exporte, să desfășoare și să corecteze o aplicație #shinyapp relativ complicată fără server. Esto es magia. #rstats

Iată o numărătoare a clasificării sentimentelor pentru fiecare postare.

Eram curios care sunt postările cu sentimente negative. Cea mai apreciată postare de sentiment negativ a fost postarea de blog a lui Danielle Navarro despre diferite motoare regex în R și dificultatea de a le folosi în mod constant. Alții aveau un grad de cinism pe care modelul l-a preluat.

„Câteva cuvinte despre expresiile regulate în #rstats. În care în sfârșit îmi înțeleg faptul că există cel puțin trei motoare regex diferite în utilizare pe scară largă în R, ele acceptă diferite caracteristici și toți mă urăsc blog.djnavarro.net/posts/2024-1…“

„Am găsit o eroare în codul meu și, după ce l-am remediat, nu mai funcționează. Cadou minunat de Crăciun :3 #rstats”

„Transformarea unui proiect #rstats de 10 minute într-un proiect de două ore pentru că refuz să-mi sparg țeava și să salvez în memorie un obiect intermediar.”

Abonați-vă acum