(Acest articol a fost publicat pentru prima dată pe R pe kieranhealy.orgși cu amabilitate a contribuit la R-bloggeri). (Puteți raporta problema legată de conținutul acestei pagini aici)
Doriți să vă distribuiți conținutul pe R-bloggeri? dați clic aici dacă aveți un blog, sau aici dacă nu aveți.
Am actualizat recent nycdogs, un pachet de date pentru R pe care l-am creat inițial în scopuri didactice. Acesta reunește seturile de date privind licențele și mușcăturile de câini din New York City într-un pachet R. Datele sunt deja furnizate de oraș într-un mod direct utilizabil (ca fișiere CSV), dar împachetarea acestora face mai ușor să se integreze cu alte pachete și să facă lucrurile să se miște puțin mai repede în clasă.
The nyc_license tabelul arata asa:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
nyc_license #> # A tibble: 819,323 × 12 #> animal_name animal_gender animal_birth_year breed_name breed_rc zip_code zip license_issued_date license_expired_date extract_year borough city #> |
Setul de date este bun pentru predare din mai multe motive. În primul rând, oamenilor le plac câinii. În al doilea rând, are aproximativ 800.000 de înregistrări, ceea ce este mult din multe puncte de vedere, dar și banal pentru un laptop modern cu care să lucreze. În al treilea rând, datele sunt destul de curate, dar nu sunt că curat. Există diverse lucruri care se întâmplă acolo care ne invită să-l explorăm, dar și să fim atenți la ceea ce putem și nu putem avea încredere.
Primul lucru pe care îl întrebăm despre orice set de date ca acesta este: ce este fiecare rând din acest tabel? În cazul în care nyc_licensefiecare rând este o înregistrare a unei licențe limitate în timp pentru un câine. Un rând nu este neapărat înregistrarea unui câine unic. Când un proprietar reînnoiește permisul unui câine, câinele va apărea o dată pentru fiecare perioadă de licență. În New York, licențele pentru câini pot fi eliberate pentru un an sau cinci ani. Tabelul nu oferă niciunul dog_id coloană care leagă secvențe de licențe de câini individuali.
În al doilea rând, tabelul conține mai multe „extrase” ale datelor de licență. Se pare că modul în care furnizorul actualizează înregistrarea NYC Open Data este să extragă periodic din baza de date internă în fiecare an și să o adauge la versiunea existentă, lansată anterior. The extract_year coloana identifică extrasul, așa că cel puțin știm asta. Dar este și cazul că în fiecare extras apare o licență care a fost activă în mai mult de un an extras. Ca rezultat, tabelul are un număr mare de rânduri duplicat.
În al treilea rând, informațiile privind licența sunt furnizate de proprietarii de câini. Aceasta înseamnă că există o cantitate destul de mare de zgomot în înregistrări, deoarece oamenii fac greșeli de scriere și alte erori. De exemplu, datele codului poștal au coduri ZIP incomplete. Unii oameni furnizează coduri poștale nevalide (de exemplu, cele care au mai puțin de cinci cifre). Alții (aproximativ 3.300 de înregistrări) au coduri poștale care nu sunt în New York City. Optzeci la sută dintre acestea (aproximativ 2.700) sunt coduri poștale situate în altă parte în statul New York. Alte 77 sunt situate în Florida, ceea ce îmi place cam. Cinci dintre ei locuiesc în Boca Raton, de exemplu. Copiii lor nu sună niciodată. Ai crede că le-ar fi ușor să ridice osul, mă refer la telefon, dar nu ai auzit niciodată de la ei.
Aproximativ 650 de rânduri au coduri poștale valide care se află în Manhattan, dar aceste coduri ZIP nu sunt ZCTA. Problema cu codurile poștale este că oamenii le consideră zone, ca niște poligoane, dar de fapt sunt linii. Ele sunt definite de Oficiul Poștal ca rute poștale, adică călătorii pe care le face un operator poștal. În timp ce ei tind pentru a forma poligoane închise, acestea nu sunt absolut garantate. Dar oamenii își cunosc codul poștal și tuturor analiștilor (de la agenți de marketing la agenți politici) le place să gândească în termeni de coduri poștale. Așadar, Recensământul definește zonele de tabulare a codurilor poștale care reprezintă un fel de cel mai bun efort pentru a răspunde la întrebarea „Dacă acest cod poștal ar fi un poligon închis?” ZCTA exclude fiecare căsuță poștală și fiecare ZIP cu o singură adresă la nivel național. Manhattan are mai multe clădiri care au propriul cod poștal. New York City definește, de asemenea, MODZCTA care îmbină unele ZCTA cu populație scăzută sau fără populație cu vecinii lor. Le folosesc mai jos.
În al patrulea rând, dincolo de codurile poștale, proprietarii oferă și informații despre vârsta și sexul câinilor lor, numele câinelui și rasa câinelui. Din nou, acest tip de informații tind să fie puțin zgomotoase. De exemplu, oamenii variază în modul în care scriu numele. De asemenea, variază în modul în care își clasifică câinele după rasă. Dincolo de lista de rase „recunoscute” (ea însăși ceva la care proprietarii de câini se conformează în mod variabil), unii oameni ar putea descrie câinele lor ca, de exemplu, „mix Labrador-Sheltie”, în timp ce alții ar putea spune doar „Necunoscut”. Setul de date include breed_name coloana din setul de date original și, de asemenea breed_rccare este o recodificare de către mine pentru a curăța termeni echivalenti („Yorkshire Terrier” și „Terrier, Yorkshire”, de exemplu) împreună cu alte câteva decizii de codare.
În cele din urmă, și numai pentru că aleg să mă opresc aici, tabelul arată doar numărul de câini autorizați din New York City. Cu siguranță nu este același cu numărul de câini de acolo. Mai mult decât atât, conformitatea cu licența variază destul de mult în moduri care sunt legate de caracteristicile proprietarului pe care nu le putem observa și, de asemenea, de cele pe care le putem parțial, cum ar fi locul în care locuiesc.
Toate acestea sunt legate de faptul că una dintre lolsob-mantre ale cursurilor pe care le predau este „Acum știi adevăratul sens al datelor”. În graficele și hărțile de mai jos, am făcut tot ce am putut, acolo unde a fost cazul, pentru a identifica în mod unic câinii individuali din setul de date (chiar dacă în cele din urmă nu putem).
Rase populare
Cu asta din drum, este timpul să vă răsfățați prejudecățile despre câini, newyorkezi și câini din New York. Cea mai obișnuită „rasă” de câini din New York este „Necunoscut”, așa cum se cuvine unui oraș de imigranți, hustlers, scrappy up-and-comers și câini care caută să-și lase în urmă trecutul de oraș mic și să-și refacă identitatea. Undeva între opt și zece la sută din înregistrări în fiecare an au „Necunoscut” înregistrat ca rasă. Există unele schimbări în timp (o pondere în scădere), dar cred că acesta este un artefact al modului în care rasele sunt înregistrate, mai degrabă decât o schimbare în compoziția populației de câini. Dacă lăsăm Necunoscutele afară, iată tendințele privind licențele anuale eliberate celor mai populare douăzeci de rase.
Câini de top.
Unele rase sunt destul de populare. Rasele mai mici se descurcă bine într-un oraș plin de apartamente. De asemenea, putem vedea aici câteva dovezi ale tendințelor în popularitate. Cu toate acestea, aceste cifre anuale sunt ceea ce am putea numi prevalența câinilor, mai degrabă decât incidența câinilor noi. Dacă vrem să înțelegem mai bine tendințele modei la rasele de câini, ar trebui să ne uităm la căței. (Cine nu vrea să se uite la căței?) Din cauza structurii datelor, nu putem face acest lucru. Cel mai bun lucru pe care îl putem face, în funcție de vârsta câinelui, este să examinăm licențele eliberate câinilor mai mici de un an. Să alegem câteva rase care par să fie în creștere, câteva care par relativ stabile și câteva care ar putea fi în declin. Am indexat aceste modificări în raport cu fiecare rasă în 2016, setând valoarea pentru acel an la 100. Chiar dacă intervalul nostru este îngust, folosim o scară logaritmică pe axa y, deoarece, de exemplu, o creștere a indicelui unei rase de la 100 la 200 reflectă aceeași modificare relativă ca o scădere de la 100 la 50.
Maltipoos și Goldendoodles par să se descurce destul de bine pentru ei înșiși. Golden Retrievers rămân populari în mod constant. Între timp, Shiba Inus, îndrăgită rasă la modă din anii 2010, par să fi fost afectată de asocierea lor cu cripto și sunt puternic în declin. Scădere multă. Foarte declin. Wow. Beagles se descurcă, de asemenea, prost. Bună durere.
Unde locuiesc rasele
Putem privi prevalența relativă a raselor după codul poștal (strict vorbind, după MODZCTA). Ezit puțin în privința asta doar pentru că, chiar și cu 800.000 de licențe, vom rămâne fără grade de libertate destul de repede dacă vom defalca lucrurile în funcție de rasă și ZIP. În mod similar, ar trebui să ne întrebăm ce fel de metrică încercăm să arătăm aici. Care este numitorul? (O cantitate surprinzătoare de Statistici, susțin, explorează în esență întrebarea „Ce se întâmplă dacă împart la
acest număr în loc de că număr?”) Câinii populari sunt, într-o primă aproximare, destul de populari în tot orașul. Cele mai multe coduri poștale au un contingent solid de Yorkies. Dacă, pentru fiecare rasă populară, calculăm ponderea acelei rase ca procent din toți câinii din codul poștal, vom vedea că ies o variație ZIP-cu-ZIP.
De asemenea, ar fi bine să ne adaptăm pentru faptul că diferite coduri poștale au cote destul de diferite din numărul total de câini licențiați în oraș. (Ceea ce, din nou, nu este același cu ponderea numărului total de câini din oraș.) Așa că calculăm cota în cadrul ZIP și facem un raport al acesteia împărțind acel număr la cota rasei la nivel de oraș. Raportul este 1 atunci când rasa este la fel de comună în acel cod poștal ca și în întreg orașul. Dacă este 2, rasa este de două ori mai comună în acel ZIP decât în oraș. Dacă este 0,5, rasa este la jumătate la fel de comună în acel ZIP decât în orașul în ansamblu. Principalul dezavantaj al unor astfel de rapoarte este că pot exagera puțin diferențele, mai ales dacă ratele de bază sunt mici. Avem suficiente rase în fiecare cod poștal pentru a mă face să mă simt în regulă când fac asta. Dar dacă vă referiți la diagramele cu bare de mai sus, puteți vedea că, chiar și pentru rasele disproporționat de populare în zips, vă uitați la schimbări precum „de două ori mai frecvente în ceea ce privește o valoare de bază de cinci procente din toți câinii”. Iată harta:
Vedem câteva dovezi plauzibile că rasele sunt distribuite în codurile poștale într-un mod care urmărește demografia proprietarilor. Bulldogi francezi în Chelsea, Soho și TriBeCa. Havanese pe Upper East Side. Pit Bulls în Bronx. Ciobanesc german pe Staten Island. Goldendoodles și King Charles Spaniels în Manhattan, la sud de 96th.
Difuzia Goldendoodles
Să aruncăm o privire mai atentă la Goldendoodles. În 2015, Goldendoodles nu erau atât de comune. Ne putem întreba: unde au fost inițial populare? Au difuzat prin New York City din punctele focale unde oamenii erau mai predispuși să stabilească tendințe în moda rasei? Restricționându-ne la câinii tineri, putem încerca să ne uităm la cota fiecărui ZIP din toți cățeii Goldendoodle licențiați în fiecare an din 2015 până în 2025. Iată cum arată:
Difuzarea doodle-ului.
În 2015, cățeii Goldendoodle sunt licențiați într-un număr relativ mic de coduri poștale, mai ales în Manhattan. Majoritatea codurilor poștale sunt fără doodle. În următorii cinci ani, s-au răspândit treptat în oraș. Până în 2023 sau 2024, majoritatea codurilor poștale – deși nu toate – acordă licențe tinerilor Goldendoodles.
Din nou, cifrele de bază nu sunt uriașe. Așa că luați toate acestea cu un răsfăț delicios. Adică, grăunte de sare. De asemenea, mă întreb cum vor arăta următorii câțiva ani în ceea ce privește popularitatea câinilor. Pe baza hărților de mai sus, cred că ciobanesc australian va continua să crească în popularitate în rândul proprietarilor care doresc să dobândească o rasă la modă. Și, deși nu se află pe niciuna dintre hărțile de mai sus, datele sugerează, de asemenea, că Jindo, o rasă coreeană care este o sosire relativ recentă în SUA, a fost în creștere bruscă. Dacă mă întrebi, totuși, dacă te afli în New York și plănuiești să-ți iei un câine, ar trebui să-ți aduci lotul cu Unknown și să iei un mut bun, solid, în formă de câine. De preferat unul cu opinii puternice despre starea metroului în aceste zile, sau care cunoaște un tip care să-ți facă o ofertă pentru niște cămăși, sau ramen special sau bilete. Nu bilete pentru ceva anume. Doar, cum ar fi, bilete. Funcționează dintr-un bar de la etaj din centrul orașului, pe Water St. Crede-mă.
