R PORT OF LLAMA2.C | R-BLOGGERS

Aceasta este o postare despre portul R al Llama2.c, o implementare C a unui model de limbă. Postarea include instrucțiuni de instalare, exemple de cod și pași pentru a rula o aplicație strălucitoare pentru experimentarea modelului.

Cod disponibil la: https://github.com/thierrymoudiki/llama2r/tree/main

Cod și aplicație strălucitoare în scop educațional. Experimentează cu temperatura.

Image-titlu-here

Instala

devtools::install_github("thierrymoudiki/llama2r")

Exemplu de cod în vignete/obținute.RMD.

Aplicație strălucitoare

În /vignettes/app.r

Pași reproductibili

Pasul 1: Pregătiți codul C

Clonați depozitul:

git clone https://github.com/karpathy/llama2.c.git
cd llama2.c

Pasul 2: Compilați codul C:

gcc -Ofast run.c -lm -o run

Pasul 3: Descărcați un model prelevat:

wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories42M.bin

Pasul 4: Descărcați tokenizatorul:

wget https://huggingface.co/karpathy/tinyllamas/resolve/main/tokenizer.bin

Pasul 5: Ambalaj

.binsunt păstrate în inst/bin

Pasul 6: Rulați aplicația Shiny

library(shiny)
library(llama2r)
runApp(system.file("vignettes", "app.R", package = "llama2r"))