PLoS ONE: Kysely Data toistettavuus in Cancer Research Tarjoaa Oivalluksia Rajoitettu kyky kääntää havainnot laboratoriosta Clinic

tiivistelmä

Background

lääke- ja biotekniikan teollisuudessa riippuvat havainnot akateemisen tutkijat ennen aloittamista tarkoituksena kehittää uusia diagnostisia ja terapeuttisia aineita hyötyä syöpäpotilaille. Onnistuminen on ohjelmista riippuu pätevyydestä julkaistun havainnoista. Tämä pätevyys, jota edustaa toistettavuus julkaistujen havaintojen on tulla kyseeseen äskettäin tutkijat yrityksiltä ovat ottaneet esille kysymyksen huono toistettavuus julkaistut tulokset akateemisten laboratorioiden. Lisäksi takaisinveto hinnat iskunkestävä lehdissä kiipeily.

menetelmät ja havainnot

Tutkia mikrokosmos akateemisen kokemuksen tietojen toistettavuus, me kartoitettiin tiedekunnan ja harjoittelijoita MD Anderson Cancer Center käyttämällä anonyymi tietokonepohjaisen kyselylomakkeen; pyrimme selvittämään taajuuden ja mahdollisista syistä kuin toistettavissa tiedot. Huomasimme, että -50% vastaajista oli ollut vähintään yksi episodi kyvyttömyys toistamaan julkaistujen tietojen monet jotka nähden tämän asian kanssa alkuperäisen tekijän eivät koskaan kyenneet tunnistamaan syyn puute toistettavuus; jotkut olivat jopa tapasi vähemmän kuin ”kollegiaalisia” vuorovaikutusta.

Johtopäätökset

Nämä tulokset viittaavat siihen, että ongelma tietojen toistettavuus on todellinen. Biolääketieteen luotava prosesseja pienentää ongelmaa ja ratkaista eroja havaintojen kun ne huomataan.

Citation: Mobley A, Linder SK, Braeuer R, Ellis LM, Zwelling L (2013) Kysely Data Uusittavuus in Cancer Research Tarjoaa Oivalluksia Rajoitettu kyky kääntää havainnot laboratoriossa klinikalle. PLoS ONE 8 (5): e63221. doi: 10,1371 /journal.pone.0063221

Editor: Hirofumi Arakawa, National Cancer Center Research Institute, Japani

vastaanotettu: 25 helmikuu 2013; Hyväksytty: 29 maaliskuu 2013; Julkaistu: May 15, 2013

Copyright: © 2013 Mobley et al. Tämä on avoin pääsy artikkeli jaettu ehdoilla Creative Commons Nimeä lisenssi, joka sallii rajoittamattoman käytön, jakelun ja lisääntymiselle millä tahansa välineellä edellyttäen, että alkuperäinen kirjoittaja ja lähde hyvitetään.

Rahoitus: Kirjoittajat ei ole tukea tai rahoitusta raportoida.

kilpailevat edut: kirjoittajat ovat ilmoittaneet, etteivät ole kilpailevia intressejä ole.

Johdanto

eteneminen perus- ja translaatiotutkimuksen riippuu pätevyyttä ja toistettavuus havaintojen julkaistu tieteellisessä kirjallisuudessa. Lääke- ja biotekniikan teollisuudessa ovat riippuvaisia ​​näistä perustutkimuksen tuloksia korkeakoulujen perustana ohjelmien suunnitteluun uusien syöpähoitojen ja /tai biomarkkereita. Lisäksi perus tutkijat ja heidän harjoittelijat käyttävät nämä ensimmäiset havainnot perustana niiden tulevan tutkimushankkeita.

Useat viimeaikaiset julkaisuissa ehdotettu, että uraauurtava havaintoja korkeakoulujen laboratorioiden voi vain toistaa 11-50% ajasta [ ,,,0],1], [2]. Tietojen puuttuminen toistettavuus todennäköisesti edistää vaikeus saada nopeasti uusien lääkkeiden ja biomarkkereita että vaikuttaa merkittävästi potilaiden elämää syöpää ja muita sairauksia.

Äskettäin New York Times julkaisi artikkelin nousu vedettynä paperit viime vuosina verrattuna aikaisempiin vuosikymmeniin [3]. Artikkelissa todetaan, että tämä suurempi määrä voi yksinkertaisesti olla seurausta lisääntyneestä saatavuudesta ja siten valvonnan artikkelien vuoksi web access. Vaihtoehtoisesti artikkelissa korostetaan, että lisäys retractions voisi johtua jotain paljon huonompi; väärinkäytöksiä tutkijat kamppailevat selviytyäkseen tiedemiehinä aikana aikakauden niukan rahoituksen. Tämä jälkimmäinen selitys tukee toisen tutkimuksen, joka ehdotti, että yleisin syy takaisinveto on virheeseen. Niiden läpi kaikki vedettynä artikkeleita indeksoitu PubMed (yli 2000 artikkelia) nämä kirjoittajat havaitsivat, että 67,4% on vedettynä artikkeleita oli vedetty vuoksi virheeseen [4]. Riippumatta syyt toistettavuus tiedot, nämä virheelliset havainnot voidaan maksaa tiedeyhteisö, ja potilaat, jotka luottaa sen työtä, aikaa, rahaa, ja mikä tärkeintä, mahdollisuuden tunnistaa tehokkaita terapeuttisia ja biomarkkerit perustuttava luotettavaan prekliinisen työhön.

Tämä huoli data toistettavuus perustuu joko suhteellisen pieniä näytteitä, joissa ei-toistettavuus on dokumentoitu (1) tai suuren mittakaavan katsauksia biolääketieteellisen kirjallisuuden. Suora selvitykset suuri joukko työskentelee akateemisen tutkijoiden mukaan niiden kokemusten toistoon julkaistut tulokset ei ole toteutettu.

kehitettiin yksinkertainen tutkimus testata onko trendejä esitetty edellä viitattu käsikirjoituksia edustavat mielipiteitä ja kokemuksia tiedekunnan ja harjoittelijoita yhden toimielimen, University of Texas MD Anderson Cancer Center. Oli kolme päätavoitetta Tutkimuksen: 1) arvioida taajuus, jolla tiedekunnan ja harjoittelijat vaikeuksia toistamalla uraauurtava havainnot (pääkohdat paperin) julkaistuista tuloksista tieteellisessä kirjallisuudessa, 2) määrittää vastauksen tiedekunnan ja harjoittelijat, kun he eivät voi lisääntyä tulokset julkaistaan ​​vertaisarvioidussa käsikirjoitus, ja 3) määrittää, mitkä tekijät taustalla suuntauksia tunnistettu kyselyyn.

Methods

Olemme kehittäneet 20- tuote nimetön online-kyselyn että kysyttyä liittyviä kokemuksia lisääntyvillä havainnot vertaisarvioidut julkaistut käsikirjoituksia joukossa MD Anderson tiedekunnan ja harjoittelijoita. Sen jälkeen kun yleisiä kysymyksiä kaikille vastaajille vastattiin, harjoittelijat (opiskelijat ja tohtorintutkinnon stipendiaatit) pyydettiin lisäksi 8 kysymyksiä niiden koetaan ympäristön paine julkaista un-validoitu tai epäilyttävät havainnot omasta laboratoriotutkimuksissa. Syyskuussa 2012 tiedekunnan ja harjoittelijat lähetetty sähköposti osallistumiskutsun. Muistutus sähköposti lähetettiin viikkoa ennen online-kyselyyn suljettiin. Jotta varmistettaisiin osallistaminen, kutsuimme kaikki University of Texas MD Anderson Cancer Center tiedekunnan ja harjoittelijoita osallistua. Sähköpostikutsussa tarjotaan linkin tutkimukseen, joka sisältyi suostumus selvitys, kuvaus Tutkimuksen ja kyselyn kohteita. Tutkimus ja kyselylomake hyväksyttiin Teksasin yliopiston MD Anderson Cancer Centerin Institutional Review Board.

Tulokset

kyselyyn tiedekunnan ja harjoittelijoita MD Anderson Cancer Center, löysimme useita merkittäviä havainnot, jotka saatiin tietoa noin tietojen toistettavuus, vaikka vastausprosentti, oli alle 20% niistä epäili (Vastausten määrä 14,75% (171/1159) harjoittelijoiden ja 17,16% (263/1533) tiedekunnan). Kun kysytään tutkijat olivat joskus kokeillut toistaa havainto julkaistusta paperi- ja eivät ole voineet tehdä niin, 54,6% (237/434) kaikista kyselyyn vastanneista kertoi, että heillä oli, jossa 58,5% (154/263) tiedekunnan ottaa kokenut kyvyttömyys toistaa dataa, ja 48,5% (83/171) ja koulutuksessa, joilla on sama kokemus (taulukko 1). Huomattavaa on, että jotkut ei-toistettavissa tiedot julkaistiin hyvin tunnettu ja arvostettu lehdissä kuten useita iskunkestävä lehdissä (vaikuttavuuskerroin 20).

Kun löytää tuloksia paperi, jota ei toistaa herää kysymys; ”Mitä tehdä, että ristiriitaisia ​​tietoja?” Kun kyselyyn kysyttiin jos he yhteyttä laatijat tutkimus paperi, 78% (71/91) sanoi, että heillä oli, mutta lopullinen tulokset että kosketus olivat hyvin sekoitettu (taulukko 1 ). 38,5% (25/65), jotka vastannut tähän kysymykseen ilmoitti, että he saivat myönteisen tai hyödyllistä vastausta kirjoittajat, kun taas 43% (28/65) sai kielteisen tai välinpitämättömästi vastauksen; 18,5% (12/65) ei saanut vastausta lainkaan (taulukko S4). Kaiken kaikkiaan vain 33,3% vastaajista oli koskaan pystynyt selittämään tai ratkaisemaan discrepant havainnoista. Tämä merkitsee sitä, että 66,7% ristiriitaisia ​​tuloksia tutkimusryhmien välillä ei ratkaistu kautta viestintää laatijoiden alkuperäisen julkaisun (taulukko 1). Kun tutkijat yrittivät julkistaa tulokset ristiriidassa ne löytyvät julkaistusta kirjallisuudesta, 43,8% (28/64) vastasi, että he kohtasivat vaikeuksia, ja vain 33,3% (66/198) sanoi, että he koskaan voinut olla julkistaa tuloksia. Kuitenkin vain 17,6% (12/68) harjoittelijoiden ja 28,9% (13/45) junior tiedekunnan julkaisseet ristiriitaisia ​​tietoja. Suurempi osuus yliopettajana, 48,2% (41/85), totesi he pystyivät julkaisemaan ristiriitaisia ​​havaintoja.

taustatekijöitä, jotka kasvattavat tätä suuntausta ei-toistettavissa tiedot voivat olla järjestelmän sisällä itse . Kun harjoittelijalle laitoksen kysyttiin, ovatko he koskaan tuntenut painetta todistamaan mentoreina ”hypoteesi, vaikka data että harjoittelija aiheuttaa, eivät tue sitä, 31,4% ilmoitti, että he olivat tunteneet painetta (taulukko 2). Lisäksi 18,6% harjoittelijoita kertoivat painostettu julkaisemaan löydöksiä, jotka heillä oli epäilyksiä. Lisäksi kysyttäessä he olivat tietoisia mentorit joka tarvitaan suuri vaikutus lehden julkaisu ennen harjoittelija voi suorittaa hänen koulutus laboratoriossa niiden mentori, 48,9% (68/139) kertoi, että he olivat tietoisia tästä vaatimuksesta.

keskustelu

Data toistettavuus on olennaista pyrittäessä edistämään biolääketieteellinen tutkimus, joka lopulta vaikuttaa potilaiden henkeä. Jos alustava prekliinisen tulokset eivät ole luotettavia tai toistettavissa, kliinisissä tutkimuksissa näiden havaintojen perusteella on tuomittu epäonnistumaan. Olemme suunnitelleet tämän tutkimuksen, jotta voidaan määrittää, kuinka paljon ongelma tietojen toistettavuus on, jossa keskitytään tutkijat yhdessä laitos. Päätavoitteet kyselyyn oli arvioida taajuus, vastaus, ja seuraukset tietojen puuttuminen toistettavuus. Lähetimme kyselyn kaikille tiedekunnan ja harjoittelijat tunnistettu tietokantaan MDACC. Se, että 20% henkilöstöstä vastasi johtuu todennäköisesti liittyvät kysymykset 1) monet kysyi eivät laboratorio tutkijoita, ja 2) uskon puute, että vastausten olisi anonyymi, vaikka se tämä tieto sisältyy sähköpostitse kyselyn.

tunnistettu, että yli puolet tutkijoista on ollut vähintään yksi kokemusta ei pysty vahvistamaan aiemmin raportoitujen tietojen. Tämä havainto on hyvin huolestuttava tieteellistä tietoa ja eteneminen perustuvat vertaisarvioituja julkaisuja, kulmakivi pääsy ”oletettu” tietoon. Jos uraauurtava havainnoista tutkimuksen käsikirjoitus eivät ole toistettavissa, seuraukset ovat lukuisat. Jotkut epäilty havainnot voivat johtaa kehitystä koko lääkekehityksen tai biomarkkereiden ohjelmia, jotka on tuomittu epäonnistumaan. Kuten kyselyyn, jotkut mentorit jatkaa niiden hypoteesien perustuvat epäluotettaviin tietoihin, painostaa harjoittelijat julkaista omia epäilty tiedot, ja lisäys tieteellinen ”myyttejä”. Valitettavasti kun kirjoittajat otettiin yhteyttä, lähes puolet vastasi kielteisesti tai välinpitämättömästi. Kun tiedot julkaistaan, kirjoittajat on oltava täysin vastuussa sen eheyden, ja näin on oltava valmiita keskustelemaan havainnoista ja auttaa tutkijoita vianmääritys kokeiluja, kun muut eivät pysty jäljittelemään työnsä. Tutkimuksemme antaa myös tietoa koskien painetta julkaista säilyttääkseen nykyisen sijainnin tai edistää niitä tutkijanuralle. Lähes kolmasosa kaikista harjoittelijoiden tunsi paineita todistaa mentori hypoteesi, vaikka tiedot eivät tukeneet sitä. Tämä on valitettava ongelma, koska ei osoittautunut hypoteesi voitaisiin tulkita väärin, että mentori koska ei osaa tehdä tieteellisiä kokeita. Lisäksi monet näistä harjoittelijat vierailevat tutkijat Yhdysvaltain ulkopuolelta, jotka luottavat heidän harjoittelupaikkoja säilyttää viisumi tila, jotka vaikuttavat itsensä ja perheensä maassamme. Tämä toteamus havaittiin meidän ”huomautuksia” kyselyn, ja se oli havainto, että mikäli käsityksen kauaskantoisia seurauksia paine julkaista. Muita kommentteja paljastunut joukko huolenaiheita eri henkilöitä, jotka voisivat johtaa irreproducibility (taulukko S11).

Tutkimuksemme käsittelee kokemuksia ja näkemyksiä (taulukot S1, S2, S3, S4, S5, S6, S7 , S8, S9, S10, S11) tutkijat yhdessä syöpä keskus. Siitä huolimatta meidän tutkimus tukee vahvasti edellisen huoli tietojen toistettavuus ja vaikutukset kentällä yleensä, samoin kuin henkilökohtainen veronsa yksilöitä. Kyvyttömyys vahvistaa julkaistuihin tietoihin on todellinen ja kyselyyn ja oheisiin kommentit osoittavat, että ongelma on tietojen toistettavuus johtuu lukuisista syistä, useimmat ovat akateemisen odotus tutkijat kaikilla tasoilla. Itse asiassa hiljattain julkaisu osoittaa, että retractions ovat yleisempiä iskunkestävä lehdissä verrattuna vähemmän lainattu lehtiä [5]. Kuitenkin syy tähän havainto todennäköisesti monitekijäinen.

Menetelmä ongelman korjaamiseksi oli aiheena äskettäin näkökulmasta artikkeli jossa kirjoittajat ehdottivat tiukemmat standardit kuvauksia menetelmistä ja sisällyttäminen universaali Raportointistandardia, joka tulisi sisältää satunnaistaminen ja sokaiseva tutkijoista [6]. Toinen tuore kommentoida eheyden laboratoriotutkimuksissa viittaa ongelmaan tietojen väärentämisestä ja antaa tietoja siitä, miten laboratorio johtajat voivat välttää virheeseen niiltä, ​​jotka työskentelevät sen valvonnassa [5]. Lisäksi vähentää harha lehden toimitukselle tai arvioijat, tiukempi tarkistusprosessi ja korkeammat vaatimukset julkaistavaksi voisi auttaa ratkaisemaan ongelman. Vaikka nämä ehdotukset voivat olla alku kohti tunnistamaan sopivan ratkaisun, näiden muutosten ovat haastavia. Muutokset ”järjestelmä” vaatii yhteisiä ponnisteluja lehden toimitukselle tärkeimmille tutkijoille, harjoittelijat, laitokset, rahoittajat ja julkinen. Vaikka tämä tuntuu pelottava tehtävä, meillä ei ole muuta mahdollisuutta käsitellä sitä – elämään potilaiden siitä riippuvaisia.

tukeminen Information

Taulukko S1.

Lisäkysymykset kaikille vastaajille.

doi: 10,1371 /journal.pone.0063221.s001

(DOCX) B Taulukko S2.

Muita harjoittelija vain kysymyksiä.

doi: 10,1371 /journal.pone.0063221.s002

(DOCX) B Taulukko S3.

Jos oli ongelma toistamiseksi havainto julkaistusta paperi, jossa lehdessä oli havainto raportoitu?

doi: 10,1371 /journal.pone.0063221.s003

(DOCX) B Taulukko S4.

Kun yhteyttä tekijän, miten kyselyn sai?

doi: 10,1371 /journal.pone.0063221.s004

(DOCX) B Taulukko S5.

Jos et ota laatijat alkuperäisen havainnon, miksi ei?

doi: 10,1371 /journal.pone.0063221.s005

(DOCX) B Taulukko S6.

Kuinka olivat erot julkaistut tiedot ja tiedot ratkaistaan?

doi: 10,1371 /journal.pone.0063221.s006

(DOCX) B Taulukko S7.

Jos et yritä julkaista, miksi ei?

doi: 10,1371 /journal.pone.0063221.s007

(DOCX) B Taulukko S8.

Jos olet koskaan tuntenut painostettu julkaisemaan havainnot johon oli epävarma, niin kuka (mentori, lab päätoimittaja, kehittyneempiä post-doc, muut)?

doi: 10,1371 /journal.pone.0063221.s008

(DOCX) B Taulukko S9.

Kommentteja joissa paine julkaista kyseenalaisia ​​havaintoja oli lähtöisin.

doi: 10,1371 /journal.pone.0063221.s009

(DOCX) B Taulukko S10.

Jos teet kokeen 10 kertaa, mitä prosenttia ajasta tulee tuloksena olla johdonmukainen teidän lab harkinnan toistettavissa?

doi: 10,1371 /journal.pone.0063221.s010

(DOCX)

Taulukko S11.

Ovat ylimääräisiä kommentit, jotka haluatte meidän pitävät analysoimme tämän tutkimuksen tuloksia?

doi: 10,1371 /journal.pone.0063221.s011

(DOCX) B

Vastaa