blorr 0.3.2 | R-bloggeri

URMĂREȘTE-NE
16,065FaniÎmi place
1,142CititoriConectați-vă

(Acest articol a fost publicat pentru prima dată pe Blogul Academiei Rsquaredși cu amabilitate a contribuit la R-bloggeri). (Puteți raporta problema legată de conținutul acestei pagini aici)


Doriți să vă distribuiți conținutul pe R-bloggeri? dați clic aici dacă aveți un blog, sau aici dacă nu aveți.

sigla hexagonală blorr lângă slogan Regresie logistică binară în R, linia 0.3.2, rezultate corectate, numele pachetului blorr și blorr.rsquaredacademy.com

blorr 0.3.2 este pe CRAN. blorr oferă instrumente pentru regresia logistică binară în R: statistici de potrivire a modelului, selecția variabilelor, analiză bivariată, ponderea dovezilor și diagramele de validare utilizate în scoringul creditului (tabelul câștigurilor, curba ROC, graficul KS și curba Lorenz), toate construite în jurul valorii de glm() obiecte.

Ultima postare blorr a acoperit 0.2.0 în 2019. De atunci au existat patru versiuni CRAN (0.2.1, 0.2.2, 0.3.0 și 0.3.1), iar aceasta modifică numerele care ar putea fi deja în rapoarte:

  • Valorile Pseudo-R² și indicele Gini folosesc acum rândurile pe care modelul a fost montat efectiv, iar indicele Gini urmează definiția punctajului creditului .
  • Testul raportului de probabilitate folosește diferența de grade reziduale de libertate, astfel încât predictorii factorilor au dreptate -valoare.
  • Tabelele de câștiguri, matricele de confuzie și ratele de segmentare au fost reconstruite în jurul răspunsului adaptat.

Dacă raportați indicele Gini, Cox–Snell sau Nagelkerke R² sau un test al raportului de probabilitate de la blorr, citiți următoarele trei secțiuni înainte de a reutiliza acele numere. Toți ceilalți pot începe la Ce este nou din 2019.

Îl puteți instala din CRAN cu:

Cod
install.packages("blorr")

Puteți vedea o listă completă a modificărilor în notele de lansare.

Aceste remedieri modifică rezultatele. În fiecare caz, noua valoare este de acord cu definiția sau cu baza R, deci noua valoare este cea de raportat.

Cum am verificat: Fiecare număr din această postare a fost reluat împotriva blorr 0.3.2 de la CRAN; versiunea a trecut prin audituri independente înainte de depunere.

Valorile pseudo-R² folosesc rândurile montate de model?

Cox–Snell și Nagelkerke R² sunt funcții ale log-probabilităților ajustate și numai de interceptare și ale numărului de observații. Dacă datele conțin valori lipsă, acel număr este rândurile folosite de model, nu rândurile din cadrul de date.

bank_marketing înregistrează rezultatele de marketing ale depozitului la termen bancar. Nu are valori lipsă, așa că ștergem 300 de solduri pentru a imita înregistrările incomplete:

Cod
bank_incomplete <- bank_marketing
set.seed(123)
bank_incomplete$balance(sample(nrow(bank_incomplete), 300)) <- NA
m_bank <- glm(y ~ balance + housing + loan, data = bank_incomplete, family = binomial)
c(rows_in_data = nrow(bank_incomplete), rows_fitted = nobs(m_bank))
rows_in_data  rows_fitted 
        4521         4221 

Cu și modelul numai cu interceptare montat pe aceleași 4221 rânduri, cele două valori R² sunt:

Cod
n <- nobs(m_bank)
ll <- as.numeric(logLik(m_bank))
ll0 <- as.numeric(logLik(glm(y ~ 1, data = model.frame(m_bank), family = binomial)))
cox_snell <- 1 - exp((2 / n) * (ll0 - ll))
nagelkerke <- cox_snell / (1 - exp((2 / n) * ll0))
c(cox_snell = cox_snell, nagelkerke = nagelkerke)
 cox_snell nagelkerke 
0.02278596 0.04455730 

blr_rsq_cox_snell() şi blr_rsq_nagelkerke() returnează aceleași două valori și blr_model_fit_stats() le imprimă în tabelul cu statistici de potrivire:

Cod
blr_model_fit_stats(m_bank)
                               Model Fit Statistics                                 
-----------------------------------------------------------------------------------
Log-Lik Intercept Only:     -1511.502    Log-Lik Full Model:              -1462.856 
Deviance(4217):              2925.711    LR(3):                              97.292 
                                         Prob > LR:                           0.000 
MCFadden's R2                   0.032    McFadden's Adj R2:                   0.030 
ML (Cox-Snell) R2:              0.023    Cragg-Uhler(Nagelkerke) R2:          0.045 
McKelvey & Zavoina's R2:        0.067    Efron's R2:                          0.025 
Count R2:                       0.884    Adj Count R2:                        0.000 
BIC:                         2959.102    AIC:                              2933.711 
-----------------------------------------------------------------------------------

În 0.3.2, modelul numai cu interceptare păstrează răspunsul modelului montat, decalajul și familia/legatura și n este nobs(model). Versiunile anterioare foloseau numărul de rânduri din cadrul de date, astfel încât valorile lipsă au tras ambele R² spre zero.

Ce să fac: reluați pseudo-R² pentru orice model cu date lipsă; noile valori sunt cele care se potrivesc cu definiţiile.

Indicele Gini este de acord cu AUC?

Indicele Gini este de obicei raportat alături de AUC în scoring credit, conform convenției . Pentru modelul de marketing bancar de mai jos, curba ROC este:

Cod
m <- glm(y ~ duration + loan + housing + campaign, data = bank_marketing, family = binomial)
g <- blr_gains_table(m)
Cod
blr_roc_curve(g)
Curba ROC pentru modelul de marketing bancar, cu sensibilitate pe axa y față de 1 minus specificitate pe axa x. Curba crește de la 0% la 100% și rămâne cu mult deasupra liniei de referință diagonală.Curba ROC pentru modelul de marketing bancar, cu sensibilitate pe axa y față de 1 minus specificitate pe axa x. Curba crește de la 0% la 100% și rămâne cu mult deasupra liniei de referință diagonală.

Figura 1: Curba ROC pentru modelul de marketing bancar.

Aria de sub acea curbă, calculată din rândurile probabilităților ajustate și indicele Gini sunt:

Cod
p <- fitted(m)
event <- bank_marketing$y == "1"
r <- rank(p)
n1 <- sum(event)
n0 <- sum(!event)
auc <- (sum(r(event)) - n1 * (n1 + 1) / 2) / (n1 * n0)
c(auc = auc, gini_from_auc = 2 * auc - 1, gini = blr_gini_index(m))
          auc gini_from_auc          gini 
    0.8466918     0.6933835     0.6933835 

Ultimele două numere sunt egale. În 0.3.2 blr_gini_index() calculează AUC din statistica de rang Mann-Whitney și returnează folosind doar rândurile pe care a fost montat modelul. Versiunile anterioare au returnat indicele de concentrație al probabilităților prezise, ​​un număr diferit pentru același model, astfel încât un Gini raportat înainte de 0.3.2 nu poate fi comparat cu AUC. Formula de rang evită, de asemenea, debordarea pe modelele mari.

Tabelul de câștiguri din spatele curbei plasează acum fiecare observație exact într-unul din zece decile și numără evenimentele folosind nivelul de eveniment al răspunsului:

Cod
c(observations = sum(g$gains_table$total), events = sum(g$gains_table$`1`))
observations       events 
        4521          517 

Ce să fac: recalculați orice indice Gini și raportați-l ca de acum.

Testul raportului de probabilitate folosește gradele potrivite de libertate?

Un test al raportului de probabilitate compară un model complet cu unul redus. Gradele sale de libertate sunt diferența dintre numărul de parametri estimați, care este și diferența de grade de libertate reziduale.

job are 12 nivele, așa că adăugându-l la un model cu duration şi loan adaugă 11 parametri:

Cod
m_red <- glm(y ~ duration + loan, data = bank_marketing, family = binomial)
m_full <- glm(y ~ duration + loan + job, data = bank_marketing, family = binomial)
c(resid_df_reduced = m_red$df.residual, resid_df_full = m_full$df.residual)
resid_df_reduced    resid_df_full 
            4518             4507 

Testul folosește aceste două grade reziduale de libertate:

Cod
print(blr_test_lr(m_full, m_red))
    Likelihood Ratio Test      
------------------------------
Chi-Square    DF    Pr > ChiSq 
------------------------------
 86.2666      11      0.0000   
------------------------------

Aceeași comparație în baza R dă aceeași devianță, grade de libertate și -valoare:

Cod
anova(m_red, m_full, test = "Chisq")
Analysis of Deviance Table

Model 1: y ~ duration + loan
Model 2: y ~ duration + loan + job
  Resid. Df Resid. Dev Df Deviance  Pr(>Chi)    
1      4518     2644.9                          
2      4507     2558.7 11   86.267 8.951e-14 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

În 0.3.2 gradele de libertate provin din df.residual dintre cele două modele și -valoare din distribuţia chi-pătrat cu acele grade de libertate. Versiunile anterioare ar putea raporta grade greșite de libertate și, prin urmare, greșite -valoare, pentru modele imbricate cu predictori factori. Testul verifică, de asemenea, dacă modelul redus este imbricat în modelul complet, comparând spațiile de proiectare montate în loc să-l presupună.

Ce să fac: reluați testele cu raportul de probabilitate care implică predictori factori; o -valoarea dintr-o versiune anterioară poate fi bazată pe grade greșite de libertate.

Ce este nou din 2019?

Blorr se oprește când modelul nu este un logit binar?

testele și diagramele lui blorr presupun un răspuns binar cu o legătură logit. Versiunea 0.3.2 verifică modelul înainte de a calcula ceva, în loc să returneze un număr dintr-o potrivire pe care nu poate interpreta:

Cod
m_q <- glm(y ~ duration, data = bank_marketing, family = quasibinomial)
blr_regress(m_q)
Error:
! blorr supports binary logistic regression only (binomial family, logit link). This model uses the 'quasibinomial' family and the 'logit' link.

Aceeași gardă respinge greutățile anterioare, altele decât 1, răspunsurile binomiale grupate și potrivirile stocate fără cadrul sau răspunsul modelului, iar funcțiile de selecție resping aceste modele înainte de a remonta ceva.

Pot să desenez diagramele de validare în modul meu?

Datele din spatele curbei Lorenz și diagramei cu rata de captare în decili sunt exportate ca un cadru de date simplu. blr_prep_lorenz_data() returnează acțiunile cumulate de eveniment și non-eveniment; blr_prep_dcrate_data() returnează numărul decililor și media decilului:

Cod
head(blr_prep_lorenz_data(m), 4)
  cum_0s_per cum_1s_per
1 0.00000000  0.0000000
2 0.05844156  0.4216634
3 0.14285714  0.6421663
4 0.23276723  0.8201161
Cod
head(blr_prep_dcrate_data(g), 4)
  decile total   1 decile_mean
1      1   452 218  0.48230088
2      2   452 114  0.25221239
3      3   452  92  0.20353982
4      4   452  27  0.05973451

Ambele pot intra direct în ggplot2, plotly sau orice altă bibliotecă de plotting, cu gruparea și procentele deja calculate. Același lucru este valabil și pentru blr_prep_roc_data(), blr_prep_kschart_data() şi blr_prep_kschart_stat().

Alte îmbunătățiri

  • Testul Hosmer–Lemeshow își ia gradele de libertate față de numărul observat de grupuri; modelul numai de interceptare din spatele statisticilor de potrivire păstrează răspunsul adaptat, offset-ul și familia/linkul; iar pornirea pachetului nu mai verifică rețeaua (#138, #129, #139).
  • blr_pairs() folosește contoare largi, astfel încât numărul de perechi peste limita întregului de 32 de biți nu mai depășește, iar gamma Somers’ D și Goodman-Kruskal folosesc numitorii corecti.
  • Proporțiile de descompunere a variației în blr_eigen_cindex() suma la unu, iar indicii de condiție rămân finiți pentru proiecte de rang complet aproape coliniare.
  • Răspunsurile lipsă nu mai sunt considerate ca non-evenimente în segment, câștiguri, matrice de confuzie și rezumate de validare și rata evenimentelor în blr_segment() şi blr_segment_dist() este ponderea evenimentelor din cadrul fiecărui nivel.
  • blr_woe_iv() acceptă predictori de caractere și numerice, reduce nivelurile de factori neutilizate, aplică o corecție de continuitate de 0,5 nivelurilor fără evenimente sau fără evenimente și elimină rândurile cu valori lipsă.
  • Funcțiile AIC în trepte returnează acum un model numai de interceptare atunci când niciun predictor nu se califică.

Ce urmează

  • Un răspuns cu trei niveluri este montat silențios, iar rezumatul răspunsului scade cu un nivel (#130). Verifica nlevels() a răspunsului înainte de montare. Fix pe ramura de dezvoltare.
  • Devianța deltei în blr_residual_diagnostics() folosește rezidualul Pearson standardizat la pătrat (#146). Fix pe ramura de dezvoltare.
  • Celulele de blr_segment_twoway() sunt cota fiecărei celule din toate observațiile, nu rata evenimentelor din celulă. Pentru o rată în interiorul celulei, utilizați tapply(y, list(a, b), mean) (#152).
  • blr_segment() şi blr_segment_dist() rotunjiți proporțiile la două zecimale înainte de a le folosi, astfel încât procentele și diagramele lor pot fi dezactivate cu până la jumătate de punct procentual (#153). Pentru acțiuni exacte, utilizați prop.table(table(x)) şi tapply(y, x, mean).
  • Valoarea totală a informațiilor tipărită de blr_woe_iv() adună valorile rotunjite pe nivel. Pentru un total precis, utilizați un număr mai mare digitsde exemplu digits = 4 (#155).
  • Un răspuns factor cu un singur nivel observat este tratat ca toate nonevenimentele de către funcțiile de segment și ponderea probei. Verificați dacă ambele clase sunt prezente mai întâi (#154).

Remedierile pentru #152–#155 sunt în ramura de dezvoltare. blorr 0.3.3, cu toate aceste remedieri, este planificat după 2027-01-13.

Mulțumiri

Mulțumesc tuturor celor care au contribuit la blorr începând cu postarea din 2019, deschizând probleme, raportând erori și trimițând solicitări de extragere: @aravindhebbali, @DrMedfaresBrini, @Irazall, @LuiNov, @paleolimbot și @romainfrancois.

Dominic Botezariu
Dominic Botezariuhttps://www.noobz.ro/
Creator de site și redactor-șef.

Cele mai noi știri

Pe același subiect

LĂSAȚI UN MESAJ

Vă rugăm să introduceți comentariul dvs.!
Introduceți aici numele dvs.