VITENSKAPELIGE MYTER (OG HVOR DE ER Å FINNE)

Letrud forsvarte avhandlingen «Acquiesced and unrefuted: The growth of scientific myths» for Dr.Philos. graden ved UiB i juni 2020.¹

I avhandlingen forsøker jeg å identifisere og avgrense vitenskapelige myter² som et eget fenomen. Det som kjennetegner slike myter, hevder jeg der, er misforholdet mellom den faglige autoriteten de får gjennom å være del av den vitenskapelige kunnskapskroppen over lang tid, og det sviktende grunnlaget det finnes for å hevde dem. Jeg viser også hvordan diskutable forskningspraksiser bidrar til å skape og opprettholde slike myter, og beskytter dem mot kritikk.

En myte blir til

Som en sentral myte-case i avhandlingen har jeg og hovedbibliotekar Sigbjørn Hernes ved Høgskolen i Innlandet undersøkt læringspyramidens opprinnelse og dens internasjonale utbredelse. Læringspyramiden er en pedagogisk modell som rangerer effekten av ulike læringsformer, der informasjonsmengden man husker gjerne er kvantifisert som 10%, 20%, 30%, osv. Modellen er hyppig brukt i akademiske publikasjoner, til tross for at ingen har kunnet fremvise forskning som støtter den.

Etter omfattende litteratursøk kan vi belyse modellens opprinnelse: Allerede fra 1850-årene framsetter flere amerikanske publikasjoner påstander om relative læringseffekter av ulike persepsjonsformer. Å se noe gir gjerne et sterkere inntrykk og dermed et mer varig minne enn å bare lese om det eller å høre om det. Det er rimelig å fastslå at disse påstandene ikke var forskningsbaserte, for empirisk psykologisk forskning oppsto først i 1870-80 årene, og den første studien av hukommelse ble utgitt i 1885.³ Slike rangeringer av læringseffekter må følgelig ha sprunget ut fra usystematiske erfaringer og anekdoter.

Varianter av de samme påstandene publiseres både i og utenfor vitenskapelige publikasjoner framover mot 1900-tallet. Men de endres fra å dreie seg om minnenes varighet til å omhandle minnenes omfang: Man husker mer av det man ser enn av andre inntrykk. Disse variantene nevner også flere persepsjons- og læringsformer utover å lese, å høre og å se: å snakke, skrive, gjøre eller berøre. Fra 1906⁴ finner vi disse læringseffektene kvantifisert som tideler (man husker 5/10 av det man ser), og i de neste fem-seks tiårene konverteres tidelene til prosenter (man husker 50% av det man ser), og tallene hevdes dessuten å være basert på forskning. Ingen sier hvor denne forskningen er å finne.

I årenes løp kommer flere varianter til, de styrker sin vitenskapelige utbredelse og status, og på 70-tallet forekommer de i minst ett fagleksikon.⁵ I perioden 1990-2019 publiseres slike påstander i over 500 fagfellevurderte tidsskrift, og i flere fagleksika.^{6 7} «Læringspyramiden» benevner altså ikke én modell. Det er heller en samlebetegnelse på en rekke beslektede påstander om ulike læringseffekter. Disse påstandene deler kanskje bare noen få kjennetegn, og noen gjenkjennes først som varianter av læringspyramiden når de sees i sin historiske sammenheng.

Hvordan definere vitenskapelige myter

Misforholdet mellom læringspyramidenes vitenskapelige utbredelse og autoritet på den ene siden og deres mangelfulle forskningsmessige belegg på den andre, er ikke unikt. Flere modeller deler disse trekkene, som for eksempel Yerkes-Dodson-loven, som hevder at et optimalt stressnivå er nødvendig for å yte sitt beste, og Hawthorneeffekten, som sier at de som er klar over at de observeres endrer sin atferd som følge av dette. Min definisjon av «vitenskapelig myte» tar utgangspunkt i dette misforholdet:

«Let ‘scientific myth’ signify the same as ‘factual statement propagated by a large number of reviewed academic publications to an extent and duration that is inordinate to the overall weight of the evidence and counterevidence published’.»⁸

I den grad man snakker om myter som forekommer innen forskning, ser det ut til at man hovedsakelig mener i) usanne ii) utbredte oppfatninger. Jeg forsøker i avhandlingen å vise at denne bruken ikke vil være et hinder for mitt definisjonsforslag.

(i) Myter er generelt tett assosiert med usannhet.⁹ Med ekte og tenkte eksempler viser jeg at en vitenskapelig myte ikke nødvendigvis må være usann: En åpenbart utilstrekkelig begrunnet påstand som oppnår en uforholdsmessig sterk autoritet i forskningslitteraturen vil uproblematisk kunne omtales som en myte, selv om den ikke er usann. Dette tror jeg bunner i konteksten: I den vitenskapelige diskursen er også ubegrunnede påstander et problem, fordi all forskning bygger på annen forskning. Om det er svakheter i en del av byggverket, påvirkes integriteten til alt som følger.

(ii) For at man skal si at en oppfatning er utbredt og delt av mange, må denne oppfatningen være den samme hos de som deler den. Men som eksempelet med de mange variantene av læringspyramidene viser kan myter omfatte særs ulike, til og med innbyrdes uforenelige, påstander. Disse kan vanskelig omtales som den samme oppfatningen. I stedet for å definere myter som kollektive proposisjonelle attityder kan man heller snakke om myter som bestående av påstander vidt distribuert av akademiske publikasjoner.¹⁰ Dette fanger også bedre opp deres formelle vitenskapelige status.

Bruken av termen «vitenskapelig myte» overlapper ofte med «pseudovitenskap». For å skille mellom disse foreslår jeg at det ikke er påstandenes innhold som skiller vitenskapelige myter fra pseudovitenskap, men rollen de spiller i sine fagdisipliner: Når motbeviste, ubegrunnede, eller utilstrekkelig begrunnede påstander gjentatte ganger distribueres gjennom akademiske publikasjoner, er det på sin plass å omtale dem som myter. Men om slike påstander gjøres til grunnpremisser i en fagdisiplin, er denne disiplinen en pseudovitenskap. Et (litt flåsete) eksempel: Om psykologiske tidsskrift spredte påstanden om at vi bare bruker 10% av hjernen ville dette gjøre påstanden til en vitenskapelig myte. Men om man baserte en faglig disiplin på denne påstanden (la oss kalle den en «deci-cerebral nevrovitenskap») ville den være en pseudovitenskap.¹¹

Spredning og danning av myter

Blant de interne forskningsetiske normene skiller man tradisjonelt mellom de tre store bruddene på god forskningspraksis – falsifisering, fabrikkering og plagiering – på den ene siden, og diskutable praksiser på den andre siden.¹² De diskutable praksisene omfatter feil som hver for seg ikke anses å ha større skadevirkninger på kunnskapen eller på litteraturen. Jeg argumenterer for at dannelsen og opprettholdelsen av myter i akademiske publikasjoner kan forklares med noen slike avvik. Mytene oppstår når tilstrekkelig mange forskere avviker fra god forskningspraksis.

Dårlig siteringspraksis er en del av problemet; man viser til sekundære referanser, eller plagierer de primære referansene. Begge deler innebærer at forskerne ikke leser kilden de viser til. Men selv når forskerne leser kildene er de ofte ukritiske. Mange distribuerer likevel myten og bidrar dermed til dens autoritet: De ser ikke, eller de overser, den manglende eller svake empirien, de vage begrepsavgrensningene, og de uforenelige versjonene av samme påstand som finnes i litteraturen. De fanger ikke opp forbehold som gjøres i teksten, de ignorerer dem, eller de lar være å videreformidle dem. Noen forskere påpeker potensielle svakheter ved påstanden, eller den manglende empirien, for deretter å summarisk forkaste eventuelle bekymringer. Hvorvidt noen utøver disse praksisene med en intensjon om å gi et feilaktig inntrykk av mytenes gyldighet unngår jeg å spekulere i.

Kontraproduktiv mytekritikk?

Det mest overraskende funnet i denne avhandlingen er at forsøk på kritikk av myter i verste fall kan bidra til den videre spredningen av mytene i litteraturen. Hernes og jeg undersøkte resepsjonen av tre hyppig refererte kritikker¹³ av en utbredt myte, Hawthorneeffekten.¹⁴ Denne teorien sier ganske generelt at man endrer atferd når man observeres, noe som påvirker nær alle studier av menneskelig atferd. Den er hyppig omtalt i metodekapitler og lærebøker i metode, og er en vanlig ad hoc-forklaring på at forskningsobjektene ikke oppførte seg slik hypotesen forutsa at de ville gjøre. Studien¹⁵ som ligger til grunn for Hawthorneeffekten er sterkt kritisert: Den dokumenterer slett ikke en slik effekt, og har dertil store metodiske mangler.

Av 613 artikler som refererte til disse tre kritikkene, hevdet 468 at Hawthorneeffekten var reell. Bare 40 forkastet effekten (de øvrige 105 tok ikke klart stilling til den). Vi valgte å kalle denne skjevheten «affirmative citation bias». De omfattende problemene med Hawthorneeffekten som kritikerne påpekte svekket sjelden forskernes tillit til at effekten var reell, og kritikken ble bare unntaksvis videreformidlet til leserne. Den viktigste årsaken er at forskerne ikke leste de kritiske artiklene de refererte til. Dette kan vi si med sikkerhet, for mange refererte til kritikken som om den støttet effekten.

Men den skjeve resepsjonen av kritikken kan også skyldes at kritikerne klarte å nå fram til noen lesere, som i sin tur lot være å videreføre myten, men også kritikken: Om de overbevises om at Hawthorneeffekten er ugyldig, er det nærliggende å tro at de også lar være å omtale både effekten og kritikken i artiklene sine, da dette for dem bare er en avsporing. Konsekvensen er at de som ikke overbevises av kritikerne, eller ikke leser kritikken i det hele tatt, utgjør det store flertallet av de som refererer til artiklene. Det er de som skaper den publiserte konsensusen – både om Hawthorneeffektens gyldighet, og om hva kritikken av den sier.

Kan mytene fanges inn igjen?

Om kritikk av myter bare bidrar til å gjøre det verre bør man vel la det være? Våre erfaringer samsvarer med biasen vi avdekket i avsnittet ovenfor. Våre egne kritiske artikler om læringspyramidene fra 2016 og 2018 tas ofte til inntekt for læringspyramidenes gyldighet. Men dette er en konklusjon jeg ikke er beredt til å trekke – ennå. Selv om vi har vist at kritikk av myter kan virke mot sin hensikt vet vi ikke hvor omfattende problemet er. Noen former for kritikk og noen publikasjonskanaler kan kanskje være mer effektive enn andre. Disse tingene har jeg ikke kunnet adressere i avhandlingen, men jeg planlegger å undersøke dem etter hvert.

Noter

1. https://bora.uib.no/bora-xmlui/handle/1956/22311
2. Termen brukes også om normative narrativer, om idealiserte fremstillinger av forskere eller deres oppdagelser. Disse behandler jeg ikke i avhandlingen.
3. G. Mandler, A history of modern experimental psychology: from James and Wundt to cognitive science (Cambridge, MA.: MIT Press, 2007).
4. C. Roads, «Further lessons from large pictures,» The Sunday school journal and Bible student’s magazine 38 nr. 8 (1906), 583-584.
   «This would afford that most valuable expression by the student by both word and act. ‘We remember one tenth of what we hear, five tenths of what we see, seven tenths of what we say, nine tenths of what we do’.» s. 583.
   “Whether it is true of all adults may be doubted, but in children, probably the impression made through the eyes is ten times greater than that which is made through the ears. The child remembers one tenth of what he hears, but he retains five tenths if he also sees it and seven tenths if he then expresses it, nine tenths if he can get it by his own action.” s. 584.
5. “Skills are taught by direct instruction. One remembers 40% of what he hears, 60% of what he sees, and 80% of what he does”. I McGraw-Hill encyclopedia of science and technology. «Operator training,» i McGraw-Hill encyclopedia of science and technology: an international reference work in fifteen volumes including an index, 4th ed. (New York: McGraw-Hill, 1977), s. 389.
6. Et par eksempler:
   “Prior to computer technology, several studies have concluded that multiple senses engage the learner to the extent that a person remembers 20% of what they see, 40% of that they see and hear, and 70% of what they see, hear and do.” T.T. Kidd, «The Application of sound and Auditory Responses in E-Learning,» i M. Pagani (red.), Encyclopedia of Multimedia Technology and Networking, 2 ed., vol. 1,, (Hershey, PA: IGI Global, 2008), s. 47.
   «According to Stice (1987:296), “students retain merely 10% of what they read, 20% of what they hear, and 30% of what they see.” Combining methods for presentation of information in the classroom may boost retention rates to around 50 percent, while team projects that include presentations to other students appear to increase retention to as much as 90 percent (Stice 1987).» J.S. Lantis, K.J. Kille og M. Krain, «The State of the Active Teaching and Learning Literature. In R. A. Denemark,» The International Studies Encyclopedia vol. 10 (2010): 6574-6592): Wiley-Blackwell, vol. 10, s. 6575.
7. For perioden 1990-2016 kunne vi rapportere funn av 418 artikler og 11 fagleksika: K. Letrud og S. Hernes, «The diffusion of the learning pyramid myths in academia: an exploratory study,» Journal of Curriculum Studies 48 nr. 3 (2016): 291-302. doi:10.1080/00220272.2015.1088063. Bruken av modellen etter 2016 ser altså ikke ut til å ha minket.
8. s. 24. Se også drøftingen i de påfølgende sidene.
9. For eksempel: “In today’s parlance, myth is false. Myth is “mere ‘myth’”. R.A. Segal, Myth: a very short introduction, 2nd ed. (Oxford: Oxford UP, 2015), s. 5.
10. En planlagt revidert definisjon skal klargjøre dette punktet, og knytte mytestatus mer eksplisitt til et overliggende nivå hvor disse påstandene legges under samme samlebegrep, som for eksempel «Læringspyramiden» som omfavner flere uforenelige påstander om læring. En mulig løsning er formuleringen «factual statement, or family of factual statements, propagated by…».
11. K. Letrud, «The Gordian Knot of Demarcation: Tying up some loose ends,» International Studies in the Philosophy of Science, 32 nr. 1 (2019): 3-11. doi:10.1080/02698595.2019.1618031. Merk at Sven Ove Hansson har reist gode innvendinger mot denne bruken av «disiplin», se S.O. Hansson, «Disciplines, Doctrines, and Deviant Science.» International Studies in the Philosophy of Science, 33 nr. 1 (2020): 43-52. doi:10.1080/02698595.2020.1831258.
12. Se for eksempel RINO rapporten (https://www.forskningsetikk.no/globalassets/dokumenter/4-publikasjoner-som-pdf/rino-delrapport-1-2018.pdf), eller N. H. Steneck, «Fostering Integrity in Research: Definitions, Current Knowledge, and Future Directions,» Science and Engineering Ethics, 12 nr. 1 (2006): 53-74.
13. R. H. Franke og J.D. Kaul, «The Hawthorne Experiments: First Statistical Interpretation,» American Sociological Review 43 nr. 5 (1978): 623-643. doi:10.2307/2094540.
    S.R.G. Jones, S. R. G., «Was There a Hawthorne Effect?» American Journal of Sociology 98 nr. 3 (1992): 451-468.
    G. Wickström og T. Bendix, «The “Hawthorne effect” – what did the original Hawthorne studies actually show?» Scandinavian Journal of Work, Environment & Health 26 nr. 4 (2000): 363-367. doi:10.5271/sjweh.555
14. K. Letrud og S. Hernes, «Affirmative citation bias in scientific myth debunking: a three-in-one case study,» Plos One 9 nr. 14 (2019). doi:10.1371/journal.pone.0222213
15. F. J. Roethlisberger og W.J. Dickson Management and the Worker (Cambridge, MA: Harvard University Press, 1939).