Utilizarea fuzzyjoin pentru a lucra cu datele NCES

Prezentarea unui exemplu – școlile din Insulele Virgine

Există 20 de școli listate în baza de date a școlilor publice pentru Centrul Național de Statistică a Educației din Insulele Virgine. Am descărcat setul de date și îl puteți extrage din depozitul meu github prin codul de mai jos. Un defilabil DT tabel pentru a explora mai jos (dezactivând o mulțime de funcții doar pentru a vedea tabelul):

library(tidyverse)
library(fuzzyjoin)
library(kableExtra)
VI <- read_csv("https://github.com/drjohnrussell/drjohnrussell.github.io/raw/refs/heads/master/posts/2025-01-17-fuzzyjoin-in-action/data/VIschools.csv")

VI |> 
  kbl() |> 
  kable_paper() |> ##nice theme
  kable_styling(bootstrap_options = c("striped", "hover")) |> 
  scroll_box(height = "200px") ##adds scrolling

Să presupunem că avem un set de date cu următoarele nume de școli și dorim să extragem informații din NCES.

sample <- read_csv("https://github.com/drjohnrussell/drjohnrussell.github.io/raw/refs/heads/master/posts/2025-01-17-fuzzyjoin-in-action/data/sample.csv")

sample |> 
  kbl() |> 
  kable_paper()

Introduceți fuzzyjoin pachet, care permite datelor să fie dezordonate în multe feluri, în funcție de ceea ce aveți nevoie. Unele dintre modalitățile de aderare prezentate în pachet sunt următoarele:

• difference_join – îmbinări care sunt numerice și pe o distanță specificată
• geo_join – îmbinări care utilizează distanțe bazate pe latitudine și longitudine
• regex_join – îmbinări care caută modele regex comune (text și poziție)
• stringdist_join – îmbinări care iau în considerare micile diferențe ale șirului

Să ne concentrăm asupra stringdist_join pentru cazuri speciale de utilizare.

Uniri care ignoră majuscule

Unele care ignoră cazul, în care nu trebuie să mutați folosind ceva de genul stringr str_to_lower pe date pentru a le schimba este un mare câștig. Îl putem folosi pentru a se potrivi eulalie rivera.

Iată ce s-ar întâmpla așa cum este:

sample(1,1) |> 
  inner_join(VI,by=c("schoolname")) |> 
  kbl() |> 
  kable_paper()

Pe de altă parte, putem folosi stringdist_join și setați ignore_case a egala ADEVĂRAT.

sample(1,1) |> 
  stringdist_join(VI,
                  by=c("schoolname"),
                  max_dist=0,
                  mode="inner",
                  ignore_case=TRUE) |> 
  kbl() |> 
  kable_paper()

Imbinari care profita de distanta sirurilor

Modul în care am profitat de acest lucru este în a trata greșelile de scriere sau datele în care cineva poate avea nume subtil diferite pentru o școală (de exemplu, unul are cuvântul şcoală în timp ce celălalt îl scapă). Ce este frumos la fuzzyjoin pachetul este că puteți face aderarea. Ceea ce este mai puțin frumos este că vă cere să faceți o verificare a liniei după aceea, mai ales când sunteți liber cu distanțele.

Să ne uităm la al doilea rând, Şcoala Elementară Josephși au un maximum distance din 8.

sample(2,1) |> 
  stringdist_join(VI,
                   by="schoolname",
                   max_dist=8,
                   mode="inner",
                   ignore_case=TRUE,
                  distance_col="stringdistance") |> 
  kbl() |> 
  kable_paper()

Puteți vedea puterea și pericolul fuzzyjoin pachet aici. Este uimitor că preia cele două școli care îl au și pe Iosif în numele lor, dar sugerează și că ai putea schimba câteva litere la început și ai forma numele unei alte școli.

Când am folosit fuzzyjoin, am aranja datele după numele școlii și apoi variabila distance_col, astfel încât să putem face cu ușurință o verificare de linie și să alegem cea mai bună potrivire (dacă este disponibilă).

Potrivire din mai multe coloane

Ca o notă secundară, este plăcut să utilizați fuzzyjoin pachet pentru a vedea erorile în mai multe coloane. Aici putem vedea cum funcționează cu al treilea rând al setului de date.

sample(3,) |> 
  stringdist_join(VI,
                  by=c("schoolname","state"),
                  mode="inner",
                  max_dist = 4,
                  ignore_case=TRUE,
                  distance_col="stringdistance") |> 
  kbl() |> 
  kable_paper()

Ceea ce este frumos este că, în revizuire, puteți vedea cu ușurință prin variabila distance_col unde au fost găsite modificările.

Alții au folosit fuzzyjoin cu mare efect – sunt inspirat să citesc această vignetă în special despre geo_joins