{SLmetrics}: evaluarea performanței Machine Learning pe steroizi

Introducere

{SLmetrics} este un pachet R de nivel scăzut conceput pentru evaluarea eficientă a performanței în sarcinile AI/ML supravegheate. Prin folosirea {Rcpp} și {RcppEigen}, asigură o execuție rapidă și eficiență a memoriei, făcându-l ideal pentru manipularea seturi de date la scară largă. Construit pe sistemul robust de clasă S3, {SLmetrics} se integrează perfect cu pachetele R stabile, asigurând fiabilitatea și ușurința în utilizare atât pentru dezvoltatori, cât și pentru oamenii de știință de date.

De ce?

{SLmetrics} combină simplitatea cu performanța excepțională, deosebindu-l de alte pachete. Deși se inspiră din {MLmetrics} în designul său intuitiv, îl depășește în ceea ce privește viteza, eficiența memoriei și varietatea de măsuri de performanță disponibile. În ceea ce privește caracteristicile, {SLmetrics} oferă funcționalități comparabile cu {yardstick} și {scikit-learn}, fiind în același timp semnificativ mai rapid.

Benchmark-urile actuale arată că {SLmetrics} este de 20-70 de ori mai rapid decât {yardstick}, {MLmetrics} și {mlr3measures} (vezi Figura 1).

Indiferent dacă lucrați cu modele simple sau cu conducte complexe de învățare automată, {SLmetrics} oferă o soluție extrem de eficientă și fiabilă pentru evaluarea modelelor.

Utilizarea de bază a {SLmetrics}

Încărcați {SLmetrics},

library(SLmetrics)

Recodăm variabila Specie și convertim problema într-o problemă de clasificare binară,

# 1) recode Iris
# to binary classification
# problem
iris$species_num <- as.numeric(
  iris$Species == "virginica"
)

# 2) fit the logistic
# regression
model <- glm(
  formula = species_num ~ Sepal.Length + Sepal.Width,
  data    = iris,
  family  = binomial(
    link = "logit"
  )
)

# 3) generate predicted
# classes
response <- predict(model, type = "response")

# 3.1) generate actual
# classes
actual <- factor(
  x = iris$species_num,
  levels = c(1,0),
  labels = c("Virginica", "Others")
)

Construiți curba de precizie-rechemare,

# 4) generate precision-recall
# curve
roc <- prROC(
  actual   = actual,
  response = response
)

Vizualizați curba de precizie-rechemare,

# 5) plot by species
plot(roc)

Rezumați pentru a obține aria de sub metrica curbei pentru fiecare clasă,

# 5.1) summarise
summary(roc)
#> Reciever Operator Characteristics 
#> ================================================================================
#> AUC
#>  - Others: 0.473
#>  - Virginica: 0.764

Funcția de rechemare cu precizie acceptă, de asemenea, praguri personalizate,

# 6) provide custom
# threholds
roc <- prROC(
  actual     = actual,
  response   = response,
  thresholds = seq(0, 1, length.out = 4)
)

Vizualizați curba de precizie-rechemare cu praguri personalizate,

# 5) plot by species
plot(roc)

Se instalează {SLmetrics}

Versiunea stabilă {SLmetrics} poate fi instalată după cum urmează,

devtools::install_github(
  repo = 'https://github.com/serkor1/SLmetrics@*release',
  ref  = 'main'
)

Versiunea de dezvoltare a {SLmetrics} poate fi instalată după cum urmează,

devtools::install_github(
  repo = 'https://github.com/serkor1/SLmetrics',
  ref  = 'development'
)

Implicați-vă cu {SLmetrics}

Construim ceva interesant cu {SLmetrics}, iar contribuțiile dvs. pot avea un impact real!

Deși {SLmetrics} nu este încă pe CRAN — este o lucrare în desfășurare care luptă spre excelență — aceasta este șansa ta de a-și modela viitorul. Suntem încântați să oferim coautor pentru contribuții substanțiale, recunoscând expertiza și efortul dumneavoastră.

Îmbunătățirile și mai mici vă vor aduce un loc pe lista noastră de colaboratori, arătând rolul dvs. valoros în îmbunătățirea {SLmetrics}. Alăturați-vă nouă pentru a crea un instrument de înaltă calitate care să beneficieze întreaga comunitate R. Consultați depozitul și începeți să contribuiți astăzi!