New Frontier | R-bloggeri

Vă amintiți incidentul „penisului de șobolan AI” de la Frontiers in Cell & Developmental Biology?

Ei bine, asta a fost acum doi ani și jumătate. Este suficientă apă sub pod pentru a verifica acum și a vedea cum a afectat acest incident jurnalul. Dacă ne uităm la câte lucrări publicate, ar trebui să putem vedea dacă incidentul a afectat trimiterile.

Voi spune de la început că această analiză nu a dezvăluit ce am crezut că va fi. Este bine cunoscut faptul că jurnalele Frontiers au avut o creștere uriașă în urmă cu câțiva ani și, de asemenea, știam că trimiterile au scăzut în ultimii ani. Așadar, mă așteptam ca această scădere să se datoreze unor autori care nu doreau să publice în reviste după dezastrul cifrei AI sau poate o combinație între aceasta și studiul realizat de Mark Hanson și colegii care arată timpi de răspuns suspect de rapid la reviste, inclusiv titluri de la acest editor.

Graficele pot fi generate rapid folosind {PubMedLagR} care este disponibil aici.

Sari la cod sau doar uita-te la intrigi.

Dacă extragem toate articolele din PubMed pentru acest jurnal și vedem câte au fost publicate pe lună, obținem un complot ca acesta. Linia punctată arată data incidentului penisului de șobolan.

Deci a existat un boom uriaș al publicațiilor în epoca pandemiei de COVID-19 și apoi o scădere. Această scădere precede incidentul penisului de șobolan. Dacă ceva, numărul lucrărilor publicate a început să se stabilizeze și poate chiar să-și revină în urma incidentului!

Este puțin greu de văzut dacă compoziția articolelor s-a schimbat în timp față de complotul de mai sus. Așa că haideți să recompletăm aceste date și să ne uităm la fracțiunea din toate articolele care sunt articole față de alte tipuri. Am făcut câteva verificări și au existat mai multe lucrări care sunt în mod clar de tip Comentariu, Editorial și Recenzie care nu sunt etichetate corespunzător pe PubMed. Deci ia asta cu un praf de sare. Articolele sunt împărțite 50:50 între lucrări și alte tipuri și acest lucru nu s-a schimbat cu adevărat. S-ar putea argumenta că conținutul comandat ar putea fi neafectat, în timp ce lucrările trimise direct ar putea să scadă dacă autorii ar fi îngrijorați de o revistă. Dar nu există nicio dovadă în acest sens aici.

Este vorba despre lucrările publicate. Evident, această măsurătoare rămâne în urmă comportamentului autorului care ne interesează. A afectat incidentul penisului de șobolan depuneri la jurnal? Ne putem uita la datele primite ale lucrărilor publicate:

Aproape aceeași poveste: transmiterea de la lună la luna crește constant după incident.

Evident, avem date de depunere doar pentru lucrări care au fost în cele din urmă publicate în jurnal. Nu știm care a fost rata de respingere în această perioadă. Ar fi posibil ca o revistă asediată să reducă rata de respingere pentru a stabiliza numărul de lucrări pe care le publică. Dar dacă presupunem că rata de respingere este constantă, atunci trimiterile urmează o dinamică similară.

Concluzie: debacle AI nu a afectat negativ trimiterile la acest jurnal.

Poate că autorii potențiali nu erau conștienți de această problemă (deși a existat o mulțime de publicitate) sau poate că ei văd incidentul ca fiind unul unic, sau poate că nu sunt preocupați de problemele de integritate științifică.

Nu este un secret pentru nimeni că cei mai mari factori de alegere a revistei pentru autori sunt 1) factorul de impact al revistei și 2) timpul de realizare/dificultățile de a publica lucrarea. Jurnalele cu cel mai mare factor de impact și cea mai rapidă schimbare câștigă mare. Un astfel de scandal nu pare să fi afectat alegerea jurnalului. Desigur, aceasta este doar o simplă analiză și există mulți factori în joc aici.

Nu este totuși ironic că autorii vor să publice într-o reviste cu factori de impact mari? Ei doresc ca lucrarea lor să fie privită ca potențial foarte citată din cauza locului în care este publicată; dar dacă asta înseamnă că lucrarea lor a apărut într-un jurnal care are o problemă de integritate științifică, strigătul este „judecă lucrarea pe propriile merite, nu acolo unde este publicată”…

Codul

library(PubMedLagR)
library(ggplot2)

retrieve_journal_year_records("Front Cell Dev Biol", 2015:2026, batch_size = 200, papers_only = FALSE)
all <- pubmed_xmls_to_df(clean = FALSE)
# remove duplicate rows
all <- all(!duplicated(all),)
# clear Data/ and then
retrieve_journal_year_records("Front Cell Dev Biol", 2015:2026, batch_size = 200)
pprs <- pubmed_xmls_to_df()
# classify the papers in all
all$paper <- ifelse(all$pmid %in% unique(pprs$pmid),"paper", "other")
# convert publication date to the first of the month
all$year_month <- as.Date(paste0(substr(all$pubdate,1,7),"-01"))

# frontiers colours for fun
x <- c("242 130 91", "24 157 196")
fcolours <- sapply(strsplit(x, " "), function(x)
  rgb(x(1), x(2), x(3), maxColorValue=255))

# ggplot of number of papers per month-year
p1 <- ggplot(all, aes(x = year_month, fill = paper)) +
  geom_bar() +
  scale_fill_manual(values = fcolours) +
  geom_vline(xintercept = as.POSIXct(as.Date("2024-02-14")), linetype=2) +
  labs(x = "", y = "Papers per month") +
  theme_classic()
p1

# stacked plot version
p2 <- ggplot(all, aes(x = year_month, fill = paper)) +
  geom_bar(position = "fill") +
  scale_fill_manual(values = fcolours) +
  geom_vline(xintercept = as.POSIXct(as.Date("2024-02-14")), linetype=2) +
  labs(x = "", y = "Composition") +
  theme_classic()
p2

# what about submissions?
all$sub_year_month <- as.Date(paste0(substr(all$recdate,1,7),"-01"))
p3 <- ggplot(all, aes(x = sub_year_month, fill = paper)) +
  geom_bar() +
  scale_fill_manual(values = fcolours) +
  geom_vline(xintercept = as.POSIXct(as.Date("2024-02-14")), linetype=2) +
  labs(x = "", y = "Papers per month") +
  theme_classic()
p3

Am adăugat câteva stiluri pentru a le posta aici, dar codul va oferi aceleași trei parcele ca în postare.

—

Titlul postării provine din „New Frontier” de Donald Fagen din LP-ul său „The Nightfly” din 1982.