Utilizarea agenților LLM pentru a revizui tutorialele „în caracter” în calitate de cursanți

Transformarea persoanelor care învață în agenți LLM

O parte a inițiativei Epiverse-TRACE implică dezvoltarea de materiale de instruire care acoperă sarcinile de analiză și modelare a focarului în stadiu incipient, mediu și târziu. Pentru a ne asigura că tutorialele noastre sunt accesibile publicului țintă, am dezvoltat o serie de persoane care învață pentru a informa proiectarea materialelor de învățare. Aceste persoane includ următoarele:

• Luciaun epidemiolog de teren care utilizează R pentru curățarea datelor, trasarea și raportarea pentru răspunsul la focar.
• Juanun statistician și utilizator R într-o Agenție Națională de Sănătate cu desfășurare constantă pentru răspunsul la focar.
• Patriciao doctorandă care învață să folosească R și să analizeze datele Outbreak pentru proiectul ei de colaborare pe GitHub.
• Vaniao profesoară care are nevoie de pregătire gata de utilizare pentru cercetarea ei și pentru a le transmite studenților.
• Danielleun Trainer care dorește să remixeze conținut pentru a crea materiale de instruire specifice pentru practicienii din sănătatea publică.

Pe măsură ce volumul materialelor de instruire crește, am explorat automatizarea generării de recenzii inițiale folosind modele de limbaj mari (LLM) care iau forma unor agenți „în caracter” cu instrucțiuni pentru a oferi comentarii constructive. Acest lucru reflectă o atenție mai largă în domeniul analizei focarelor asupra modului în care agenții LLM pot fi utilizați pentru a crește eficiența și scalabilitatea sarcinilor comune (de exemplu, van Hoek și colab., Lancet Microbe, 2024).

Pentru a genera recenziile tutorialului AI, folosim API-ul OpenAI GPT-4, prin intermediul openai Pachetul R, așa cum este descris în acest depozit. De asemenea, folosim gh pachet pentru a încărca .Rmd materiale dintr-un depozit dat (de ex epiverse-trace/tutorials-middle). Codul ilustrativ complet este disponibil aici, cu solicitările API-ului GPT-4 prezentate mai jos.

# Define first prompt
user_prompt_1 <- "You are the following person, and give all your answers in character:"

# Load Lucia persona
persona_bio <- read_file("https://raw.githubusercontent.com/epiverse-trace/personas/master/lucia-outbreaks.qmd")

# Define second prompt
user_prompt_2 <- "Now suppose you want to complete the following tutorial about outbreak analysis in R. The content is in R markdown but would be knitted to HTML in reality, with additional figures where relevant. Provide a critique of the tutorial from your perspective as a learner. What is unclear? What is useful? What is difficult? What could be refined? Support comments with brief quotes. In your feedback be succinct, positive, constructive and specific. State what content to keep and what to improve. Provide clear suggestions for next steps to remove, change or add content. Note that visualisations will be in the tutorial, but are not shown in the Rmd, so do not comment on these. Summarise your review and suggestions for specific improvements in short bullet point paragraphs. If some of the points are similar, amalgamate these into a single bullet point. nn"

# Call OpenAI API (credentials must already be defined - see full illustrative code link above)
output <- create_chat_completion(
    model = "gpt-4",
    messages = list(list("role"="user","content" = paste0(user_prompt_1,persona_bio,
                                                          user_prompt_2,tutorial_contents))
    )

# Write review to .md using readr
write_lines(output,"output_review.md"))

Revizuirea materialelor de formare transmisibilitate în calitate de cadre universitare senior

Pentru a ilustra tipul de recenzii care pot fi generate cu abordarea de mai sus, mai jos este rezultatul produs atunci când am importat personalitatea academică senior Vania împreună cu o versiune pre-Alfa timpurie a materialelor de instruire pentru tutorialul nostru de estimare a transmisibilității:

În general, tutorialul este bine structurat și oferă un ghid cuprinzător despre cum se utilizează EpiNow2 pachet pentru a estima valorile de transmisie din datele cazului. Cu toate acestea, există mai multe domenii care ar putea fi îmbunătățite pentru a spori claritatea și înțelegerea pentru elevii ca mine.

1. Cerințe preliminare: Secțiunea de cerințe preliminare ar putea fi extinsă pentru a include resurse specifice pentru ca cursanții să revizuiască conceptele necesare. De exemplu, legăturile către resurse privind analiza bayesiană și numărul efectiv de reproducere ar fi de ajutor.

2. Jargon și terminologie: tutorialul conține mai mulți termeni tehnici și jargon care ar putea crea confuzii pentru cursanți. De exemplu, termeni precum „inferență bayesiană”, „probabilitate posterioară”, „probabilitate” și „probabilitate anterioară” sunt utilizați fără explicații clare. Oferirea de definiții sau link-uri către resurse pentru acești termeni ar fi benefică.

3. Explicația codului: În timp ce tutorialul face o treabă bună explicând ce face codul, ar putea oferi mai mult context cu privire la motivul pentru care sunt utilizate anumite funcții sau pachete. De exemplu, ar fi util să explicăm de ce EpiNow2 pachetul este utilizat și cum diferă de alte pachete.

4. Vizualizări: Deși vizualizările nu sunt afișate în Rmd, ar fi benefic să explicăm ce ar trebui să se aștepte cursanții să vadă în vizualizări și cum să le interpreteze.

5. Exerciții: În tutorialul lipsesc exerciții pentru ca cursanții să exerseze conceptele și abilitățile pe care le-au învățat. Includerea exercițiilor cu soluții ar îmbunătăți foarte mult experiența de învățare.

Sugestii de îmbunătățiri:

• Extindeți secțiunea de cerințe preliminare pentru a include resurse specifice pentru ca cursanții să revizuiască conceptele necesare.
• Furnizați definiții sau link-uri către resurse pentru termeni tehnici și jargon.
• Oferiți mai mult context despre motivul pentru care sunt utilizate anumite funcții sau pachete.
• Explicați ce ar trebui să se aștepte cursanții să vadă în vizualizări și cum să le interpreteze.
• Includeți exerciții cu soluții pentru ca cursanții să exerseze conceptele și abilitățile pe care le-au învățat.

Revizuirea materialelor de prognoză ca epidemiolog de teren

Pentru a ilustra în continuare rezultatele revizuirii, mai jos este ceea ce a fost produs când am importat personalitatea epidemiologului de teren Lucia împreună cu o versiune pre-Alfa timpurie a materialelor de instruire pentru tutorialul nostru de prognoză:

Feedback pozitiv:

1. Tutorialul este bine structurat și urmează o progresie logică, ceea ce îl face mai ușor de urmărit.
2. Utilizarea de exemple și seturi de date din lumea reală (COVID-19 și Ebola) face tutorialul mai ușor de relatat și mai practic.
3. Includerea întrebărilor, obiectivelor, cerințelor preliminare și punctelor cheie la începutul și, respectiv, la sfârșitul tutorialului, ajută la ghidarea procesului de învățare.
4. Tutorialul oferă un echilibru bun între teorie și practică, cu explicații clare și exemple practice de codare.
5. Utilizarea înștiințărilor pentru a evidenția informații importante sau pentru a oferi context suplimentar este de mare ajutor.

Feedback constructiv:

1. Tutorialul presupune un anumit nivel de familiaritate cu R și conceptele statistice, care ar putea fi o provocare pentru începători. Ar fi util să oferiți mai multe explicații sau link-uri către resurse pentru începători.
2. Bucățile de cod sunt destul de complexe și ar putea fi împărțite în părți mai mici, cu mai multe explicații.
3. Tutorialul ar putea beneficia de mai multe vizualizări pentru a ilustra conceptele și rezultatele.
4. Secțiunea provocări ar putea oferi mai multe îndrumări sau indicii pentru a ajuta cursanții să finalizeze sarcina.

Sugestii de îmbunătățire:

1. Oferiți mai multe explicații sau link-uri către resurse pentru ca începătorii să învețe R și concepte statistice.
2. Împărțiți bucăți de cod complexe în părți mai mici, cu mai multe explicații.
3. Includeți mai multe vizualizări pentru a ilustra conceptele și rezultatele.
4. Oferiți mai multe îndrumări sau sugestii în secțiunea provocări pentru a ajuta cursanții să finalizeze sarcina.
5. Includeți un glosar de termeni sau o listă de pachete R utilizate în tutorial pentru referință rapidă.

Depășirea blocajelor de feedback

O provocare a LLM-urilor instruiți pentru uz general este găsirea de sarcini specifice domeniului în care acestea pot adăuga valoare suficientă dincolo de contribuția umană existentă. Sarcini precum furnizarea de verificare timpurie a simțului și feedback personalizat, în special din perspective diferite, au, prin urmare, potențialul de a depăși blocajele comune în dezvoltarea materialelor de instruire (de exemplu, furnizarea de comentarii inițiale și semnalarea problemelor evidente în așteptarea unui feedback uman mai detaliat).

Pe măsură ce materialele de instruire Epiverse-TRACE continuă să se dezvolte, intenționăm să explorăm utilizări suplimentare dincolo de simplele recenzii de primă trecere. De exemplu, LLM-urile sunt potrivite pentru a sintetiza feedback-ul calitativ, crescând gama de informații care pot fi colectate și rezumate de la cursanți pe măsură ce trecem la testarea beta. De asemenea, sperăm să identificăm oportunități în care LLM-urile pot contribui la completarea experienței cursantului, așa cum demonstrează instrumentele emergente precum RTutor pentru funcționalitatea de plotare descriptivă în R, care combină generarea de cod ca răspuns la interogările utilizatorilor cu traducerea în rezultate strălucitoare.