(Acest articol a fost publicat pentru prima dată pe R pe kieranhealy.orgși cu amabilitate a contribuit la R-bloggeri). (Puteți raporta probleme legate de conținutul acestei pagini aici)
Doriți să vă distribuiți conținutul pe R-bloggeri? dați clic aici dacă aveți un blog, sau aici dacă nu aveți.
Luna New York City continuă aici la Kieran Healy Industries, un efort care va produce în cele din urmă ceva de natură academică. Dar între timp – și cu scuzele mele față de mulți mari urbaniști din vremuri trecute – ne putem distra să ne încurcăm cu câteva date. Mai exact, datele 311 Servicii și plângeri din New York. Linia telefonică 311 și site-ul web sunt principalul punct de contact pentru serviciile orașului atunci când nu este o urgență. Orașul înregistrează toate apelurile pe care le primește și face date anonime disponibile public prin intermediul NYC OpenData. Am primit fiecare înregistrare din 2010 până în 2025 și l-am împachetat pentru R. Pachetul este într-adevăr doar un front-end pentru un fișier mare de parchet gestionat de DuckDB. DuckDB oferă un motor de baze de date în memorie foarte puternic, care este optimizat pentru genul de lucruri pe care dorim să le facem în analiza datelor. Adică, dorim să interogăm eficient un set mare de date în multe moduri diferite, mai degrabă decât, să zicem, să îi actualizăm în mod repetat înregistrările cât mai repede posibil. Putem lucra în R și putem scrie interogări ordonate asemănătoare dplyr care sunt gestionate de baza de date. E minunat.
Setul de date are aproximativ 43 de milioane de rânduri, fiecare dintre acestea fiind o cerere de serviciu (adică o reclamație). Interacționez cu el printr-o funcție care returnează un tabel DuckDB. Arata cam asa:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
nyc_311() #> # A duckplyr data frame: 37 variables #> unique_key created_date closed_date agency agency_name problem problem_detail location_type incident_zip incident_address street_name cross_street_1 cross_street_2 address_type city status #> |
Putem pune tot felul de întrebări despre date ca aceasta. De asemenea, trebuie să fim atenți cu el, doar pentru că orice set de date atât de mare și care a crescut pe o perioadă atât de lungă va avea tot felul de ciudatenii. De exemplu, schema de clasificare pe care orașul o folosește pentru a clasifica cererile de servicii nu este statică, iar pentru unele categorii este complet refăcută. Cel puțin o dată pe parcursul perioadei, orașul a schimbat furnizorul de servicii pentru gestionarea datelor, ceea ce a afectat măsurarea în anumite moduri. Între timp, în ceea ce privește reclamațiile, o caracteristică a bazelor de date de servicii ca aceasta este că unii oameni într-adevăr le place să se plângă, chiar și după standardele înalte ale newyorkezilor. Reclamația devine, de asemenea, mai ușoară după introducerea portalului web, deoarece puteți raporta rapid ceva printr-un formular, în loc să fiți nevoit să efectuați un apel telefonic. Așa că trebuie să ne gândim cum să facem față unor astfel de lucruri.
În cele din urmă, plângerile sunt făcute de persoane individuale, iar setul nostru de date este o înregistrare a rapoartelor individuale. Dar aici voi agrega lucrurile la nivel de cartiere. Puteți tăia orașul în multe moduri diferite. New York folosește adesea zonele de tabulare a vecinătăților, sau NTA-uri, ca unitate de cartier de facto. Ideea este să obțineți ceva mai mare decât un recensământ, dintre care există aproximativ 2.300 în New York, dar mai mic decât unul dintre cele 59 de districte comunitare ale orașului. Există 262 de NTA, dintre care 197 sunt rezidențiale. Iată o hartă a lor, cu numele lor.
Deci, cum putem ajunge de la înregistrările noastre de plângere la o hartă la nivel de NTA și ce vrem să vedem? După cum am spus, aici mergem mai mult sau mai puțin pentru trollingul de cartier bazat pe date, așa că iată ce am făcut pentru a caracteriza fiecare cartier. În primul rând, am muncit destul de mult armonizând categoriile de reclamații pe întregul set de date, dar în plus, aici mă voi limita la reclamații din 2022 până în 2025, adică aproximativ 13,5 milioane de înregistrări. În al doilea rând, dorim să moderam rolul jucat de oameni pe care îi putem numi politicos „super-reporteri”, așa că numărăm adrese distincte în categoriile de reclamații, în cadrul ANT-urilor rezidențiale, în perioada de timp pe care o analizăm. Fiecare adresă contează o singură dată în fiecare categorie de care s-a plâns, așa că obținem aproximativ 4,6 milioane de perechi adresă-categorie de la aproximativ un milion de adrese unice. (Apropo, adresele nu includ informații de identificare precum numerele casei sau ale apartamentelor.) Adresa medie se plânge în aproximativ patru sau cinci categorii în cei patru ani pe care îi analizăm.
Acum, când vine vorba de plângeri, cu toții încercăm să trecem prin acest lucru pe care îl numim viață și multe dintre încercările cu care ne confruntăm, le împărtășim cu toții. Ceea ce înseamnă că cele mai frecvente plângeri într-un anumit cartier sunt mai probabil să fie cele mai frecvente plângeri și în alte cartiere. Acestea sunt lucruri precum căldura și apa caldă ieșite, zgomot de diferite tipuri și parcare ilegală. Dar ceea ce ne interesează este cel mai mult distinctiv reclamatii in fiecare cartier. Așa că luăm fiecare reclamație și ne dăm seama de partea ei din toate reclamațiile la nivel de oraș. Apoi facem la fel, dar în fiecare cartier. Și apoi, pentru fiecare cartier pe care îl întrebăm, ce categorie de plângere din acest cartier depășește cel mai mult cota sa la nivel de oraș? De fapt, facem două lucruri. Facem asta mai întâi prin categoria generală de plângere, cum ar fi „Sanitație și dumping”, sau „Parcare, căi de acces și vehicule” sau „Clădiri și construcții”. Și apoi o facem pentru categoria cea mai fină pe care o avem, precum „Trafic: Drag Racing”, sau „Appliance: Frigider”, sau „Lost Property in Taxi or For-Hire Vehicle: Wallet”. Apoi colorăm harta noastră NTA după categoria largă și etichetăm fiecare cartier după categoria sa cea mai specifică. Iată cum arată.
Cred că rezultatele sunt destul de bune. Îmi pare rău pentru caracterul mic și detaliile fine. Acesta este genul de lucru care funcționează cel mai bine ca poster. Dar măriți și aruncați o privire. Și, desigur, etichetează-te. Sunteți cel care se comportă rău cu viața de noapte din Upper East Side până în Lower Manhattan, care sa îmbătat și ți-ai pierdut portofelul sau cheile? (Îmi place cum chiar în vârful UES nu își pierd portofelele, dar se plâng de șofer.) Sunteți poliția de biciclete din Brooklyn? Sau South Brooklyn Curb Cutters care instalează garvoare ilegale? Sau poate doar ești în Woodside, Elmhurst sau Corona, bei în public. Sau abandonând un vehicul undeva. Se întâmplă multe în oraș.
Țineți minte că există un fel de dualitate în hartă, în sensul că la prima vedere vă arată ce pare să se întâmple în aceste NTA, dar numai prin prisma a ceea ce oamenii plangeti despre în aceste cartiere. Așadar, răsfățați-vă stereotipurile din cartier, dar poate nu vă aplecați din greu pe ele. Deși îmi plac acei oameni din Forest Hills cărora le place să cheme poliția pentru alte chestiuni de poliție care nu sunt de urgență. Ca, pentru o conversație sau ceva de genul ăsta. Ce altceva ai să faci acolo într-o vineri?
