Umræða og fréttir

Í septemberhefti Læknablaðsins (1) geysist Matt­hías Kjeld fram á ritvöllinn og vegur báðum hönd­um. Hann minnir á fræga persónu úr heimsbók­menntunum, Don Kíkóta sem helgaði líf sitt hug­­sjón riddaramennskunnar og varði hana með lensu á hesti sínum Rósinant gegn vindmyllum og öðrum ógnum. Matthías notar ekki lensu heldur háð og spott sem beinist meðal annars gegn stofnuninni sem hann vinnur við, stjórn hennar og heilbrigðisráðu­neyti. Auk þess verða á vegi hans íslensk vísindi, Læknablaðið og læknadeild en þar er sennilega um slys að ræða sem oft gerast þegar menn fara mikinn. Hugsjón Don Kíkóta var alltaf á tæru en það er alls óljóst hver hugsjón Matthíasar er eða hvað vakir fyrir honum. Hann virðist mjög reiður en reiðir menn án hugsjóna eiga bágt.

Matthías víkur að grein í Læknablaðinu sem undirritaðir eru höfundar að (2) og gerir við hana fjölda athugasemda sem aðallega einkennast af rangfærslum og rugli. Hér verða tekin nokkur dæmi.

Rangfærslur

1. Í grein Matthíasar bls. 766 segir: ?Höfundum hefur alveg láðst að skilgreina hvað er íslensk grein og einnig hvað er klínísk grein.?

Þetta er ekki rétt. Í grein okkar bls. 840 segir: ?Gerð var leit í ISI gagnagrunninum að öllum grein­um sem skráðar (lyklaðar) voru á gömul og ný heiti Landspítala fyrir tímabilið 1999-2003. Fjöldi greina fyrir Ísland allt var fundinn á sama hátt, með því að finna greinar í ISI grunninum sem voru skráðar á Ísland.? Ennfremur bls. 840: ?Flokkun greina eftir fagsviðum var samkvæmt tímaritum sem þær voru birtar í og voru greinar ekki tvítaldar þó fleira en eitt fagsvið stæði að þeim. Upplýsingar um þessa flokkun má finna í heimild (7).?

2. Í grein Matthíasar bls. 766 segir: ?Loks er látið að því liggja í greininni að sameining sjúkrahúsanna í Reykjavík eigi þátt í fjölgun birtra íslenskra vísindagreina en rök fyrir því verða ekki fundin í greininni!??

Þessi fullyrðing er röng. Í grein okkar bls. 839-40 segir: ?Ekki er tímabært að meta endanlegan árangur sameiningarinnar á vísindavinnu sem hefur langan aðdraganda og þróunartíma.?

3. Í grein Matthíasar bls. 766 segir: ?Þá virðast sumar ákvarðanir sem skipta höfuðmáli teknar eftir geðþótta og ekki gerð grein fyrir hvers vegna né hvaða áhrif þær hafa á niðurstöður. Til dæmis er einn íslenskur höfundur valinn af þrem íslenskum læknum sem voru meðal 376 höfunda að greininni með flestar tilvitnanir.?

Þetta er ekki rétt. Á bls. 843 segir að einn íslenskur læknir hafi verið í stýrihóp og ritnefnd þessarar rannsóknar og hann fær því höfundar­aðild en ekki hinir. Þeir sem sitja í stýrihóp rannsókna koma að hönnun rannsóknarinnar, framkvæmd, úrvinnslu og greinaskrifum og það er löng hefð fyrir því að þeir fái höfundaraðild. Þessi ákvörðun hefur engin áhrif á niðurstöður eða samanburð milli þjóða þar sem tilvitnanir í greinar eru ótengdar tilvitnunum í höfunda.

Rugl

Tilvitnanafjöldi í greinar eða tilvitnanafjöldi í einstaka höfunda

1. Í grein Matthíasar bls. 767 segir: ?Loks blasir það við eftir því hvernig reiknað er og ekki er gerð grein fyrir í umræddri grein (1) að ef allir þrír íslensku læknarnir sem voru höfundar að mest tilvitnuðu greininni hefðu fengið inni hjá höfundum greinarinnar (1) með sínar tilvitnanir hver, þá hefðum við verið með ennþá meiri yfirburði í tilvitnunum meðal þjóða heims. Ef til vill grunsamlega yfirburði??

Svar: Matthías ruglar saman tilvitnanafjölda í greinar og tilvitnanafjölda í einstaka höfunda sem hvergi kemur við sögu í samanburði milli þjóða. Það er skýr greinarmunur gerður á þessu í grein okkar á bls. 841, kaflanum Fjöldi tilvitnana. Rétt er að benda á að við útreikninga á tilvitnanatíðni í greinar þá kemur fjöldi höfunda og mannfjöldi þjóðanna sem standa að greinunum hvergi við sögu. Hver grein stendur á eigin verðleikum einum saman.

2. Á bls. 768 segir síðan: ?Hvað skyldu t.d. Svíar (9,0 millj., 47 sjúkrasetur) og Norðmenn (4,6 millj., 22 sjúkrasetur) með miklu fleiri höfunda á þessari grein hafa fengið há meðaltöl tilvitnana ef þeir hefðu fengið sömu hlutfallslega aðild að greininni (1) og Íslendingar? Það hefði styrkt umrædda grein Læknablaðsins verulega ef slík­ar kannanir hefðu verið gerðar á áhrifum mest tilvitnuðu greinarinnar hjá þessum þjóðum, en höfundar hennar voru eingöngu frá Norð­ur­lönd­un­um??

Svar: Matthías heldur hér áfram að rugla saman tilvitnanafjölda í greinar og tilvitnanafjölda í einstaka höfunda sem hvergi kemur við sögu í samanburði milli þjóða.

Meðaltal

Matthías gerir mikið mál úr notkun meðaltala við samanburð milli þjóða á ?impact factor? sem er mælikvarði á það hve oft er vitnað í fræðigreinar. Upplýst var í grein okkar að dreifing tilvitnana í íslenskar fræðigreinar væri ójöfn og voru þær upplýsingar fengnar með handvirkri talningu. Dreifingin á tilvitnanafjölda er hins vegar ekki þekkt í erlenda efniviðnum í þeim gögnum sem aðgengileg eru á Íslandi og handvirk talning er ekki gerleg þar sem fjöldi greina getur skipt milljónum þegar borið er saman við önnur lönd eða heiminn allan. Alls eru meira en 11 milljón greinar í ISI gagnagrunninum. Höfundar áttu því ekki þann valkost að nota tölfræðilegar aðferðir við þennan samanburð. Í svargrein við athugasemd Arnar Ólafssonar (3) var því haldið fram að samanburðurinn væri samt gildur sem nálgunartala þar sem sömu skekkjur í sama mæli væru hjá öðrum þjóðum (4). Meðaltalsaðferðin er viðtekin regla í fræðigreinum um þetta efni vegna þess að dreifing tilvitnanafjölda í greinar er yfirleitt ekki þekkt (5-9) eða þá að það þarf að kaupa þær upplýsingar dýrum dómum af Institute of Scientific Information. Þá hefur jafnframt verið beitt svokallaðri RCIO (relative citation impact of a dis­cipline, hlutfallsleg tilvitnanatíðni) aðferð sem felst í því að taka heimsmeðaltal tilvitnana fræðigreinar sem nefnara og deila því uppí landsmeðaltal fræðigreinar. Hugmyndin er að blanda saman stórum og smáum þjóðum í nefnara og minnka þannig áhrif dreifingarskekkju (7, 10, 11). Í mynd 1 eru sýndir RCIO útreikningar fyrir íslenska klíníska læknisfræði og jarðfræði sem báðar fara á toppinn á heimslista (11). Útkoman er nánast alveg sú sama og sýnd er í mynd 5 í grein okkar (2) þar sem meðaltalsaðferðinni er beitt á sama efnivið. Þetta styður þá skoðun að meðaltalsaðferðin sé nothæf nálgunarregla. Rétt er að benda á að impact factor er ekki aðeins reiknaður fyrir lönd og fræðigreinar heldur einnig fyrir vísindatímarit og miðast þá við það hve oft er vitnað í greinar sem birtast í þeim (12-14). Meðaltalsaðferðin er þar meginregla og er hún meðal annars notuð í Journal Citation Reports (14) sem gefur reglulega út im­pact factor fyrir tímarit og er hann mikið notaður af vísinda­mönnum til að velja tímarit til útgáfu verka sinna. Flest tímarit birta impact factor á heimasíðu sinni og mörg nota hann til að fylgjast með framgangi tímaritsins (8, 12, 13, 15) og til að marka ritstjórnarstefnu. Sama gagnrýni hefur komið fram á notkun impact factor tímarita eins og við notkun hans við mat á vísinda­framlagi landa, stofnana og fræðigreina. Nýlega hefur birtst mjög áhugaverð grein sem notar aðra aðferð við að meta vísinda­framlag (16). Þrátt fyrir galla á impact factor er hætt við að við sitjum uppi með hann enn um sinn af hagkvæmnisástæðum en mikilvægt er að gera sér grein fyrir takmörkunum hans.

Forysta í veröldinni?

Lokakafli í grein Matthíasar ber ofannefndan titil og þar segir eftirfarandi: ?Síðustu ár hafa verið að birtast greinar um frammistöðu þjóða í birtingu vísindagreina. Þannig fjallar ein slík grein um klíníska læknisfræði eingöngu og slagkraft (impact factor) þeirra (7) og má reikna greinafjölda á íbúa. Önnur fjallar um birtingu vísindagreina samanbor­ið við efnahagslega stöðu þjóðanna (8). Báðar nefna grein­arnar þær 30 þjóðir sem mest framleiða af vís­indagreinum. Ísland er ekki nefnt þar á nafn en fjögur stærstu Norðurlöndin ??

Heimild 7 í grein Matthíasar tilgreinir 30 þjóðir sem mest framleiða af vísindagreinum og Ísland er að sjálfsögðu ekki á þeim lista vegna fólksfæðar. Þegar Ísland er sett á kortið í þessum samanburði miðað við fólksfjölda þá kemur það út í fjórða sæti og er það sýnt í mynd 2 og þar kemur ennfremur fram að ekkert land hefur sýnt jafnhraðan vöxt. Mynd 2 byggir á gögnum sem ná aðeins fram að 1998 en vitað er að Ísland hefur bætt stöðu sína verulega eftir það. Heimild 7 í grein Matthíasar sýnir einnig impact factor í töflu II fyrir 30 þjóðir og þar kemur Sviss í efsta sæti með impact factor 6 og Ísland er ekki á listanum. Það er ekki að sjá að það trufli Matthías að nota impact factor þegar það þjónar hans tilgangi. Það er aftur á móti auðvelt að koma Íslandi í röðina á töflu II. Í grein okkar í Læknablaðinu (2) gerðum við nákvæmlega sömu útreikninga með sömu aðferðum og Ísland kom út með impact factor 6,7 (mynd 5 í heimild (2)) og er því á toppnum á heimslista í þessari fræðigrein. Matthías virðist ekki gera sér grein fyrir því að impact factor og meðaltalsaðferðin sem áður er nefnd eru nákvæmlega sama aðferðin.

Hin greinin sem Matthías nefnir fjallar um birtingu vísindagreina samanborið við efnahagslega stöðu þjóðanna (8). Ísland er ekki nefnt í þeirri grein og segir það ekkert um stöðu þess í vísindum því þar er um tilviljanaval höfunda að ræða.

Loks segir Matthías: ?Umrædd grein (1) sem rædd var í Morgunblaðinu skjótlega eftir birtingu í Læknablaðinu og vitnað var í af mönnum í ábyrgðarstöðum gefur til kynna að Íslendingar séu forystuþjóð í læknavísindum. Af framansögðu má þó ljóst vera að ekki hafa verið færðar sönnur á það . . . ?

Ummælin sem Matthías vitnar í eru þannig: ?Ísland er ekki lengur þiggjandi í hinu alþjóðlega vísindasamfélagi heldur hefur framlag þess tífaldast á seinustu 20 árum og er Ísland komið í topp 10 sætin miðað við fólksfjölda á mörgum sviðum vísinda (17).?

Innlegg Matthíasar í þessa umræðu virðast flest beinast að því að ofannefnd ummæli séu ekki rétt. Í töflu I er sýnd staða Íslands á heimslista í nokkrum greinum vísinda þar sem tekið er tillit til fólksfjölda (5).

Tafla I sýnir átta fagsvið vísinda þar sem Ísland er í eða ofanvið fimmta sæti á heimslista og þar af eru fimm þar sem Ísland er í 1.-2. sæti. Í ljósi upplýsinga í myndum 1 og 2 og í töflu I eru ofannefnd ummæli okkar um stöðu Íslands í alþjóðlegu vísindasamfélagi hógværlega orðuð.

Lokaorð

Afurðir vísindaiðkunar eru mjög fjölbreyttar og erfitt hefur reynst að mæla magn og gæði nákvæmlega. Margar aðferðir eru notaðar og ein þeirra hefur þróast hratt undanfarna áratugi og er nefnd scientometrics (vísindamælingar?). Gefið er út samnefnt tímarit. Einnig er talað um bókfræðilegar (bibliometriskar) aðferðir. Þessar aðferðir byggja á mörgum gagnagrunnum en þó aðallega tveim, Institute of Scientific Information (ISI) og Science Citation Index (SCI). Í grein okkar (2) var útlistuð hugmynda- og aðferðafræðifræði scientometrics sem byggist meira á aðferðum félagsfræði en raunvísinda. Tölfræði er vissulega hluti af aðferðafræði scientometrics en tölfræði án almennrar skynsemi er ekki mikil vísindi. Skilningur Matthíasar á þessum fræðum er harla takmarkaður og hann virðist varla hafa lesið greinina sem hann er að gagnrýna og ekki er að sjá að hann hafi aflað sér heimilda um efnið. Hann hefur þó greinilega lagst í víking við að finna heimildir til að styðja sinn málstað en ekki haft erindi sem erfiði. Aðferðafræði Matthíasar líkist mest samskiptum Don Kíkóta við vindmyllurnar. Málstaður hans er svo annað mál og ekki auðvelt að ráða í hvað honum gengur til. Sennilega er besta lýsingin á Matthíasi orðuð á enskri tungu ?rebel without a cause?.

Post scriptum

Mat á afköstum og gæðum í vísindavinnu er mikilvægt af mörgum ástæðum. Það er almennt viðurkennt að framfarir og hagsæld þjóða ráðist að verulegu leyti af árangri í vísindum. Staða og orðstír háskóla og vísindastofnana er metið eftir framlagi þeirra í vísindum og staða og orðstír einstakra vísindamanna er einnig metin á sama hátt. Vísindastyrkir og framlög til stofnana og einstaklinga ráðast af afköstum og gæðum í vísindum. Bókfræðilegar aðferðir til að mæla afköst og gæði í vísindum eru ungar og að mörgu leyti gallaðar en þær eru í hraðri þróun. Íslenskir vísindamenn hafa ekki sýnt þeim verðugan áhuga þrátt fyrir að stefnu­mörkun stjórnvalda byggist í vaxandi mæli á mati á vísindavirkni með bókfræðilegum aðferðum. Það sem helst hefur hamlað þessum rannsóknum á vísindavirkni Íslendinga er að National Science Indicators on Diskette (NSIOD) er ekki til á landinu og það hefur þurft að sækja upplýsingar í skýrslur úr ýmsum áttum (5-7, 9) sem sjaldnast hafa fullar upplýsingar um Ísland. Þessar skýrslur hafa ekki verið gefnar út í tímaritum og þess vegna er gefin vefslóð fyrir þær í heimildalista. Fyrsta greinin um bókfræðilegt mat á vísindavirkni á Íslandi birtist í Náttúrufræðingnum 1999 eftir Birgi Guðjónsson (18) en engin umræða hefur orðið um þetta fyrr en eftir grein okkar í Læknablaðinu í desember 2004 (2). Viðbrögðin við henni koma ekki á óvart í ljósi þess að verið er að raða vísinda­mönnum og stofnunum eftir afköstum og gæðum með aðferðum sem hafa ekki nákvæmni raunvísinda. Höfundar fagna allri upplýstri umræðu um þessi mál og benda vísindamönnum á að láta ekki félagsvísindamenn eina um að meta afköst og gæði í vísindum.

Heimildir

1. Kjeld M. Vísindi á vordögum. Læknablaðið 2005; 91: 767-9.

2. Sveinbjörnsdóttir S, Guðnadóttir AS, Þjóðleifsson B. Vís­inda­störf á Landspítala. Alþjóðlegur og íslenskur saman­burð­ur. Læknablaðið 2004; 90: 839-45.

3. Ólafsson Ö. Tvær athugasemdir vegna greinarinnar ?Vís­inda­störf á Landspítala?. Læknablaðið 2005; 91: 182-3

4. Þjóðleifsson B. Svar við athugasemd Arnar Ólafssonar. Lækna­blaðið 2005; 91: 183.

5. Olsen TH. Publication and citations within bioscience in Nor­way. http://english.nifustep.no/norsk/publikasjoner/publica­tion_and_citations_within_bioscience_in_norway. NIFU skrift­serie 8/99 1999; ISSN 080-4572.

6. Breno E, Guardabasso V, Stefanelli M. Scientific research in italian universities. Conference of Italian University Rectors 2002. www.crui.it/

7. Sandström A, Norgren L. Swedish Biotechnology. www.vinnova.se/Main.aspx?ID=7e711701-82da-431b-bb64-3df4942a95f8 VINNOVA 2003

8. Fava GA, Guidi J, Sonino N. How citation analysis can monitor the progress of research in clinical medicine. Psychother Psychosom 2004; 73: 331-3.

9. Persson O, Luukkonen T, Hälikkä S. A bibliometric study of Finnish science. Working papers no. 48/00. VTT group for technology studies, 2000. www.vtt.fi/ttr/pdf/wp48.pdf.

10. Database of summary publication and citation statistics reflecting research performance in the sciences, social sciences, and art & humanities. National Science Indicators on Diskette, 1981-1997, version 1.2.

11. Analysis of previous trends and exisisting state of research and development in the Czech Republic and comparison with the situation abroad. Prague: Ministery of Education, Youth and Sport of the Czech Republic, 2000. www.vyzkum.cz/Priloha.aspx?idpriloha=9515.

12. Jones AW. Impact of JAT publications 1981-2003: the most prolific authors and the most highly cited articles. J Anal Toxicol 2004; 28: 541-5.

13. Ma LS, Pan BR, Li WZ, Guo SY. Improved citation status of World Journal Gastroenterology in 2004: Analysis of all reference citations by WJG and citations of WJG articles by other SCI journals during 1998-2004. World J Gastroenterol 2005; 11: 1-6.

14. Fitzpatrik RB. ISI?s Journal Citation Reports on the Web. Med Ref Serv Q 2002: 22: 45-56.

15. Adams AB, SimonsonD. Publication, citations, and impact factors of leading investigators in critical care. Respir Care 2004; 49: 276-81.

16. Weale AR, Bailey M, Lear PA. The level of non-citation of articles within a journal as a measure of quality: a comparison to the impact factor. BMC Medical Research Methodology www.biomedcentral.com/1471-2288/4/14

17. Guðjónsson B. Mat á vísindavinnu. Science Citation Index sem mælitæki. Náttúrufræðingurinn 1999; 69: 19-26.

18. Tómasson J. Vísindaframlag Íslendinga hefur tífaldast á 20 árum. Morgunblaðið 2004; 27. desember.

Mynd 1. Efstu fjögur sæti á heimslista yfir hlutfallslega tilvitnanatíðni 1994-1997.

Mynd 2. Greinar í klínískri læknisfræði á milljón íbúa í nokkrum löndum árin 1981, 1990 og 1998.