Umræða fréttir
Faraldsfræði 25: Réttmæti rannsóknarniðurstaðna
Hugtakið réttmæti eða sannleiksgildi (validity) og mismunandi notkun þess verður umfjöllunarefni þessa pistils og nokkurra annarra. Hugtakið er víða notað í faraldsfræði en einkum í þrennu samhengi. Í fyrsta lagi er hugtakið notað til að lýsa gæðum og notagildi rannsóknarniðurstaðna. Í öðru lagi er það eitt nokkurra hugtaka er notuð eru til að lýsa gæðum gagna eða upplýsinga sem safnað er til rannsókna. Í þriðja lagi er það notað til að lýsa eiginleikum aðferða, til dæmis mælinga eða reiknilíkana sem notaðar eru til að meta, lýsa eða spá fyrir um samband tiltekinna þátta, svo sem áhættuþátta og útkomu.
Þegar talað er um gæði rannsóknarniðurstaðna almennt er í raun oftast átt við réttmæti þeirra eða sannleiksgildi (validity). Sannleiksgildi niðurstaðna eða annarra mælinga gefur til kynna að hve miklu leyti þær endurspegla raunverulegt samband þeirra þátta sem rannsaka átti, eða hve vel tókst til við að mæla eða meta það samband. Niðurstaða er sögð réttmæt eða hafa hátt sannleiksgildi ef hún segir rétt til um það sem mæla átti.
Hugtakið réttmæti er þungt á metunum þegar niðurstöður rannsókna eru metnar og túlkaðar á gagnrýnan hátt. Innra sannleiksgildi (internal validity) tekur aðeins til þess rannsóknarhóps eða efniviðar sem lagður var til grundvallar og lýsir því að hve miklu leyti niðurstöðurnar eru sannar innan þess hóps, aðferðirnar viðeigandi og rétt notaðar og túlkunin viðeigandi og rökrétt (1). Innra sannleiksgildi niðurstaðna vísar þannig til þess að í viðkomandi rannsókn hafi viðeigandi aðferðum verið beitt og skýrt og rétt greint frá niðurstöðum. Ef sagt er að niðurstöður hafi innra sannleiksgildi er átt við að ekki sé líklegt að þær séu til komnar af tilviljun eða séu litaðar af skekkju eða röskun.
Ytra sannleiksgildi (external validity, generalizability) lýsir því hins vegar að hve miklu leyti er unnt að heimfæra niðurstöður rannsóknar yfir á aðra hópa en þá sem beinlínis voru lagðir til grundvallar rannsókninni. Ytra sannleiksgildi byggir augljóslega á því að innra sannleiksgildi sé ásættanlegt. Ef niðurstöður eru ekki taldar réttar, ef þær endurspegla ekki raunverulegt samband áhættuþáttar og útkomu meðal þeirra er tóku þátt í rannsókninni, er tómt mál að tala um hvort þær (niðurstöðurnar) eigi við um aðra hópa. Mat á innra sannleiksgildi byggir á aðferðafræðilegri úttekt á hönnun og framkvæmd rannsóknarinnar og hefur nokkuð almennt eða absolut gildi. Ef rannsóknarhópar eru illa skilgreindir, ef gögnum er safnað á óvandaðan hátt eða ef röngum aðferðum er beitt við úrvinnslu, þá munu niðurstöðurnar ekki hafa innra sannleiksgildi. Mat á ytra sannleiksgildi byggir hins vegar á samanburði rannsóknarhópsins við aðra hópa og könnun á því að hvaða marki niðurstöðurnar eiga við um hópa aðra en þá sem rannsakaðir voru. Að hve miklu leyti eru einstaklingarnir sem þátt tóku í rannsókninni sambærilegir við þá sjúklinga sem við önnumst og viljum nýta niðurstöðurnar fyrir? Eru hraustu sjálfboðaliðarnir sem tóku þátt í rannsókninni sambærilegir við almenna sjúklinga sem leita sér læknishjálpar? Þannig er ytra sannleiksgildi háð því upp á hvaða hópa við viljum heimfæra niðurstöðurnar; fyrir ákveðna hópa getur ytra sannleiksgildi rannsóknar verið ágætt en afleitt fyrir aðra.
Þar sem innra sannleiksgildi er alger forsenda ytra sannleiksgildis er mikilvægt að hafa hið fyrra að leiðarljósi og láta það ganga fyrir við hönnun og framkvæmd rannsókna. Ef til dæmis rannsóknarhópur er mjög fjölbreytilega saman settur, með það fyrir augum að tryggja að niðurstöður gildi fyrir sem flesta, er almennt mun meiri hætta á skekkju og röskun þar sem erfitt er að tryggja sambærilegar mælingar og upplýsingaöflun hjá mjög fjölbreytilegum hópum (2). Þá er verr af stað farið en heima setið því ekki er unnt að byggja ytra sannleiksgildi á slíkum niðurstöðum sem ekki hafa nægilegt innra sannleiksgildi.
Annar meginflötur á gæðum rannsóknarniðurstaðna er áreiðanleiki þeirra (reliability). Áreiðanleiki tekur til þess að hve miklu leyti mætti reikna með sambærilegum eða sömu niðurstöðum ef rannsóknin væri endurtekin í sama þýði. Í þessu tilliti veltur áreiðanleiki fyrst og fremst á því hve stöðluð aðferðafræðin er og hve vel henni er lýst. Ef aðferðir við til dæmis söfnun og meðferð gagna eru ekki staðlaðar og fullkomlega ljósar er ekki unnt að endurtaka gagnasöfnun og -vinnslu þannig að sambærilegt sé. Áreiðanleiki rannsóknarniðurstaðna vísar fyrst og fremst til grunngagnanna sem þær byggjast á og verður fjallað um það frekar í næsta pistli.
Heimildir
1. Gehlbach SG. Interpreting the Medical Literature. McGraw-Hill, 1993, önnur útgáfa.
2. Rothman KJ, Greenland S. Modern Epidemiology. Lippincott-Raven, 1998, önnur útgáfa.
Þegar talað er um gæði rannsóknarniðurstaðna almennt er í raun oftast átt við réttmæti þeirra eða sannleiksgildi (validity). Sannleiksgildi niðurstaðna eða annarra mælinga gefur til kynna að hve miklu leyti þær endurspegla raunverulegt samband þeirra þátta sem rannsaka átti, eða hve vel tókst til við að mæla eða meta það samband. Niðurstaða er sögð réttmæt eða hafa hátt sannleiksgildi ef hún segir rétt til um það sem mæla átti.
Hugtakið réttmæti er þungt á metunum þegar niðurstöður rannsókna eru metnar og túlkaðar á gagnrýnan hátt. Innra sannleiksgildi (internal validity) tekur aðeins til þess rannsóknarhóps eða efniviðar sem lagður var til grundvallar og lýsir því að hve miklu leyti niðurstöðurnar eru sannar innan þess hóps, aðferðirnar viðeigandi og rétt notaðar og túlkunin viðeigandi og rökrétt (1). Innra sannleiksgildi niðurstaðna vísar þannig til þess að í viðkomandi rannsókn hafi viðeigandi aðferðum verið beitt og skýrt og rétt greint frá niðurstöðum. Ef sagt er að niðurstöður hafi innra sannleiksgildi er átt við að ekki sé líklegt að þær séu til komnar af tilviljun eða séu litaðar af skekkju eða röskun.
Ytra sannleiksgildi (external validity, generalizability) lýsir því hins vegar að hve miklu leyti er unnt að heimfæra niðurstöður rannsóknar yfir á aðra hópa en þá sem beinlínis voru lagðir til grundvallar rannsókninni. Ytra sannleiksgildi byggir augljóslega á því að innra sannleiksgildi sé ásættanlegt. Ef niðurstöður eru ekki taldar réttar, ef þær endurspegla ekki raunverulegt samband áhættuþáttar og útkomu meðal þeirra er tóku þátt í rannsókninni, er tómt mál að tala um hvort þær (niðurstöðurnar) eigi við um aðra hópa. Mat á innra sannleiksgildi byggir á aðferðafræðilegri úttekt á hönnun og framkvæmd rannsóknarinnar og hefur nokkuð almennt eða absolut gildi. Ef rannsóknarhópar eru illa skilgreindir, ef gögnum er safnað á óvandaðan hátt eða ef röngum aðferðum er beitt við úrvinnslu, þá munu niðurstöðurnar ekki hafa innra sannleiksgildi. Mat á ytra sannleiksgildi byggir hins vegar á samanburði rannsóknarhópsins við aðra hópa og könnun á því að hvaða marki niðurstöðurnar eiga við um hópa aðra en þá sem rannsakaðir voru. Að hve miklu leyti eru einstaklingarnir sem þátt tóku í rannsókninni sambærilegir við þá sjúklinga sem við önnumst og viljum nýta niðurstöðurnar fyrir? Eru hraustu sjálfboðaliðarnir sem tóku þátt í rannsókninni sambærilegir við almenna sjúklinga sem leita sér læknishjálpar? Þannig er ytra sannleiksgildi háð því upp á hvaða hópa við viljum heimfæra niðurstöðurnar; fyrir ákveðna hópa getur ytra sannleiksgildi rannsóknar verið ágætt en afleitt fyrir aðra.
Þar sem innra sannleiksgildi er alger forsenda ytra sannleiksgildis er mikilvægt að hafa hið fyrra að leiðarljósi og láta það ganga fyrir við hönnun og framkvæmd rannsókna. Ef til dæmis rannsóknarhópur er mjög fjölbreytilega saman settur, með það fyrir augum að tryggja að niðurstöður gildi fyrir sem flesta, er almennt mun meiri hætta á skekkju og röskun þar sem erfitt er að tryggja sambærilegar mælingar og upplýsingaöflun hjá mjög fjölbreytilegum hópum (2). Þá er verr af stað farið en heima setið því ekki er unnt að byggja ytra sannleiksgildi á slíkum niðurstöðum sem ekki hafa nægilegt innra sannleiksgildi.
Annar meginflötur á gæðum rannsóknarniðurstaðna er áreiðanleiki þeirra (reliability). Áreiðanleiki tekur til þess að hve miklu leyti mætti reikna með sambærilegum eða sömu niðurstöðum ef rannsóknin væri endurtekin í sama þýði. Í þessu tilliti veltur áreiðanleiki fyrst og fremst á því hve stöðluð aðferðafræðin er og hve vel henni er lýst. Ef aðferðir við til dæmis söfnun og meðferð gagna eru ekki staðlaðar og fullkomlega ljósar er ekki unnt að endurtaka gagnasöfnun og -vinnslu þannig að sambærilegt sé. Áreiðanleiki rannsóknarniðurstaðna vísar fyrst og fremst til grunngagnanna sem þær byggjast á og verður fjallað um það frekar í næsta pistli.
Heimildir
1. Gehlbach SG. Interpreting the Medical Literature. McGraw-Hill, 1993, önnur útgáfa.
2. Rothman KJ, Greenland S. Modern Epidemiology. Lippincott-Raven, 1998, önnur útgáfa.