I. Konklusjonen i denne delen
Denne delen innfører ikke flere domslinjer på objektnivå. Det den tilfører, er et kaldere, hardere og langt mindre behagelig sett med regler for å la teorien prøves. Hvis EFT fortsatt vil føre rødforskyvningsresidualene, lukkingen på et delt basiskart, strukturhierarkiene, de fine trekkene nær horisonten, tersklene i grenseenheter og kvantevernereglene i 8.4–8.11 som «støtte», må teorien først godta fire felles vern: Holdout-settet får ikke brukes til å justere kriteriene i etterkant, blindingen får ikke gi innsyn i fasiten, nulltestene får ikke bli like signifikante som hovedresultatet, og replikasjon på tvers av pipelines får ikke la én analysevei ha monopol på sannheten. Uten disse fire portene kan bind 8 være aldri så imponerende og fortsatt bare være en fortelling med stor forklaringskraft. Først når det passerer dem, begynner EFT å ligne en kandidatteori som faktisk vil la seg prøve.
II. Etter objektnivået trengs en overordnet metodisk port
Delene 8.4–8.11 har allerede lagt alle objektnivåets slagmarker der EFT helst vil vinne, og lettest kan bli såret, på bordet: det dispersjonsfrie fellesleddet på tvers av prober, TPR-hovedaksen og PER-residualene, det delte basiskartet for rotasjon–linsing–sammensmeltning, strukturdannelse, det kosmiske negativet og miljøtomografi, særpregede signaturer nær horisonten og ved grenser, grenseenheter og sterkfeltvakuum, samt kvanteforplantning og vernet mot superluminal kommunikasjon. Men det holder ikke bare å skrive hva som måles, hvilke resultater som teller som støtte, og hvilke som gjør strukturell skade. EFTs språk har stor forklaringskraft, og den største faren for en teori med stor forklaringskraft er ikke mangel på eksempler, men at enhver kan få alle eksemplene til å passe etterpå.
Det mangler derfor en overordnet port: Før et resultat får gi poeng, må vi spørre om seieren ble vunnet under de samme metodiske vernereglene. Først når denne porten er uttrykkelig definert, kan sluttregnskapet skille mellom «direkte støtte», «innstramming» og «strukturell skade». Ellers glir det lett over i en merittliste satt sammen av håndplukkede eksempler i etterkant.
III. Ingen ny forsøksfamilie – bare disiplin for etterprøving
Denne delen skal ikke bli en lærebok i statistikk. Det ville brått gjøre bind 8 kaldt og teknisk på feil måte, og føre det bort fra oppgaven det faktisk har. 8.12 skal ikke lære leseren hva treningssett, testsett, signifikans, Bayes-faktorer eller modellgjennomsnitt er. Den skal gjøre én langt mer ubarmhjertig ting: hindre EFT i å bedra seg selv.
De fire reglene i 8.12 er derfor ikke isolerte tekniske grep, men uttrykk for én felles disiplin: Frys kriteriene på forhånd; etterpå får man bare føre regnskap, ikke endre forklaring. Hvordan utvalget settes sammen, hvilke objekter som inngår i hovedutvalget, hvilke frekvensbånd eller rødforskyvningslag som bare skal brukes som holdout, hvilke miljøindikatorer som får inngå i hovedanalysen, hvilke eksklusjonsregler som gjelder, og hvilke skåringsregler som teller som treff, må være fastlagt før hovedresultatet ses. Uten dette blir holdout-settet gradvis spist opp, blindingen blir teater, de svakeste nulltestene blir valgt, og replikasjon på tvers av pipelines reduseres til «den samme skjevheten kjørt to ganger».
Like viktig er det å skille rollene. Mange av forsøkene og observasjonene i bind 8 egner seg naturlig for en felles grunnstruktur: Prediksjonsgruppen publiserer et prediksjonskort utelukkende på grunnlag av miljø, geometri og allerede frosne proxyvariabler; målegruppen trekker ut avlesningene uten å kjenne innholdet i kortet; vurderingsgruppen sammenholder først til slutt prediksjon og resultat etter en forhåndsregistrert skåringstabell. Ikke hver domslinje må mekanisk kopiere disse tre gruppene, men strukturen minner oss om delens viktigste poeng: Prediksjonen må komme før den pene figuren, og reglene før den gode historien.
IV. Første vern: Holdout-sett – resultatet får ikke styre kriteriene i etterkant
Et holdout-sett er i 8.12 ikke en mild «test av generaliseringsevne», men en kniv som skal hindre etterjustering. EFTs vanligste feil er ikke nødvendigvis at teorien ikke ser noe signal, men at den, etter å ha sett antydningen til én retning, fortsetter å justere utvalg, miljøinndeling, terskler, bakgrunnsdefinisjoner og tilpasningsfamilier til antydningen har vokst til en vakker figur. Holdout-settets oppgave er å stenge denne retrettveien: Du kan fastsette analyseoppsettet i treningsdelen, men du får ikke hente holdout-delen tilbake for å reparere det du allerede har sagt.
I kosmologidelen kan et holdout-sett være et tilbakeholdt rødforskyvningsvindu, en kildeklasse, et himmelområde, en versjon av en survey eller til og med en hel uavhengig avstandskjede. I delen om ekstreme kosmiske miljøer kan det være bestemte objekter, epoker, azimutsektorer, sammensmeltende hoper eller miljønivåer. I laboratorie- og kvantedelene kan det være et parameterintervall, en materialklasse, et helt apparat eller en serie skannetrinn nær terskelen med skjulte etiketter. Formen kan variere, men disiplinen er én og samme: Holdout brukes bare til validering, aldri til tilbakejustering av parametere.
Et holdout-resultat gir ikke EFT reell uttelling bare fordi en trend som allerede var sett i treningssettet, fortsatt «ligner litt». Retningen må ikke snu, rangeringen må ikke falle fra hverandre, og kriteriene må ikke endres. Hvis fellesleddet i 8.4 virkelig er en dispersjonsfri grunnfarge, må det i et holdout-bånd, et tilbakeholdt hendelsesvindu eller ved en ny stasjon i det minste beholde samme retning og samme tidsvindu. Hvis TPR-hovedaksen i 8.5 virkelig kan bære grunnfargen, kan en universell α ikke straks måtte omskrives for en holdout-kildeklasse eller et holdout-område på himmelen. Og hvis det delte basiskartet i 8.6 ikke bare er en mosaikk av enkelttilfeller, kan det frosne kartet ikke straks kreve en ny familie av tilleggsledd når det møter holdout-objektene. Så snart trenden snur, mister rangeringen eller krever et nytt utvalg i holdout-delen, er den ikke lenger et hovedresultat, men må nedgraderes til et hint.
Én ting må sies enda tydeligere: Holdout-settet kan ikke bare bestå av «den delen som er lettest å bestå». Hvis teorien sparer de reneste, mest kjente og peneste eksemplene til slutt, men bruker høyrisikoområder på himmelen, vanskelig kalibrerbare frekvensbånd, komplekse objekter og parameterintervaller nær terskelen til gjentatt prøving i treningsdelen, er holdout-settet allerede forurenset. Et reelt holdout-sett bør med vilje inneholde enhetene som mest sannsynlig kan avsløre at teorien tar feil, for målet med bind 8 er ikke å skrive opp vinnersannsynligheten, men å gjøre vilkårene for seier og tap harde.
V. Andre vern: Blinding – la prediksjonen tale før figuren gjør det
Verdien av blinding ligger ikke i at opplegget formelt ser «mer vitenskapelig» ut, men i at teorien tvinges til å si det risikable på forhånd. EFT har mange steder der en forklaring lett kan legges til etter at figuren er sett: Fellesleddet ser ut til å øke med miljøet, og dermed sies det at miljøforsterkning hele tiden var ventet; en skjevhet ser bare sterkere ut i knutemiljøer, og dermed sies det at skjelettet naturligvis måtte oppføre seg slik; et platå viser seg over terskelen, og dermed sies det at dette passer med terskeldiskretisering. Hvis slike utsagn ikke ble skrevet før resultatet ble sett, er de ikke prediksjoner, bare retorikk i etterpåklokskapens lys.
Blindingen som 8.12 krever, er derfor mer enn å skjule filnavn eller stokke om på utvalgets etiketter. For EFT er en strukturert blinding med prediksjon–måling–vurdering viktigere. I prediksjonsfasen kan teorien bare bruke frosne miljøindikatorer, geometrisk informasjon, materialparametere eller historiske regnskaper til å skrive et kort som sier hvilket nivå som bør være sterkere eller svakere, om retningen bør være den samme eller motsatt, om signalet bør være dispersjonsfritt, og om det bør tre frem i samme tidsvindu. I målefasen får de som trekker ut signalet, ikke vite hva kortet sier. I vurderingsfasen teller en tredjepart treff, feil retning og bommer etter de frosne reglene. Først da legger EFT faktisk noe av seg selv i potten.
Blinding kan se svært forskjellig ut i de ulike delene. I 8.4 og 8.5 kan miljølagdelingen og etikettene for kildeklasser blindes. I 8.6–8.9 kan det gjelde skjelettets retningsfelt, sammensmeltningsfasen, nivået til kalde flekker, orienteringsmaler nær horisonten eller objektklassifiseringen. I 8.10 og 8.11 er det mer naturlig å blinde materialbatcher, terskelnivåer, drivsekvenser, renhetsgrader i lenken og til og med om et punkt tilhører et holdout-intervall. Poenget er ikke at formen skal være identisk, men at disiplinen skal være det: Si først hva som skal skje, og se deretter om det skjedde – ikke se først hva som skjedde, og si etterpå at du hele tiden visste det.
Blinding har også en lett oversett verdi: Den tvinger EFT til å skille mellom prediksjon i forkant og forklaring i etterkant. På papiret kan begge se ut som et «treff», men deres vitenskapelige status er helt forskjellig. Den første risikerer noe før resultatet foreligger; den andre finner en grammatikk som kan romme resultatet etterpå. Det 8.12 skal beskytte, er nettopp den første, for bare den kan endre teoriens reelle vinnersannsynlighet.
VI. Tredje vern: Nulltester – ikke ta artefakter for ny fysikk
Mange av EFTs domslinjer leter etter «svake, men disiplinerte» strukturer: et dispersjonsfritt fellesledd, monoton miljøavhengighet, samlokalisert skalering, et platå over terskelen, treff i forhåndsprediksjoner eller et delt basiskart på tvers av prober. Nettopp fordi signalene ofte ikke er overveldende totalmengder, men snarere rangering, fortegn, samme tidsvindu, residualer og lagdeling, er de spesielt lette å forfalske gjennom systematikk, utvalgsfunksjoner, kalibreringsdrift, malbias og vaner i analysekjeden. Nulltestenes oppgave er å gi slike artefakter sin egen rettssak.
En tilstrekkelig hard nulltest må minst dekke to klasser.
- Nulltester som bryter opp strukturen: ombytting av etiketter, tidsreversering, frekvensombytting, stasjonsombytting, rotasjon av himmelen, randomisering av skjelettretninger, ombytting av objektidentitet og ny rekkefølge på terskelnivåer. De spør om hovedresultatet faller tilbake til det tilfeldige når relasjonene EFT bygger på, brytes opp.
- Nulltester for forurensning i kjeden: forstyrrelser i båndpasset, forskyvning av tidsreferansen, innsprøyting av maler, tilfeldige masker, falske kontrollvinduer, surrogatmaterialer, skanning av falske terskler, reversert polaritet og geometri utenfor aksen. De spør om en kjent, ikke-fysisk faktor i prosessen kan kopiere en signifikans på samme nivå som hovedresultatet.
Nulltester er ikke statister og skal ikke bare spasere gjennom et vedlegg. I 8.4 står hovedresultatet uten grunnlag hvis tidsreversering, frekvensombytting og dispersjonskontroller kan gi det samme «fellesleddet ved null tidsforsinkelse». I 8.6 og 8.7 tyder det mer på algoritmisk skjevhet hvis den påståtte kollineariteten eller lukkingen på et delt basiskart består etter tilfeldig rotasjon av skjelettet eller forstyrrelse av basiskartet. I 8.9 lever den særpregede signaturen av behandlingskjeden hvis fine trekk nær horisonten blir like signifikante når bildeoppsettet eller malretningen byttes. Og i 8.10 og 8.11 går den påståtte nye fysikken bare i ring inne i instrumentet hvis surrogatkonfigurasjoner, falske laster, tomme hulrom, frakoblet klassisk bokføring eller falske terskelkontroller gir det samme «nye signalet». Hvis hovedresultatet ikke beholder sin spesifisitet mot nulltestene, kan det ikke oppgraderes til støtte.
I tillegg til nulltestene trengs positive kontroller. Prosessen må ikke bare feile på riktig måte når «EFT-strukturen» mangler; den må også lykkes på riktig måte når en kjent struktur er injisert, eller når kjent fysikk skal vise seg. Hvis et analyseforløp verken kan bryte ned artefakter eller gjenfinne et kjent signal, har hovedresultatet ingen rett til å gi uttelling. Nulltestene i bind 8 skal derfor ikke bare rive ned. De skal låse fast at prosessen lykkes når den bør lykkes, og feiler når den bør feile.
VII. Fjerde vern: Replikasjon på tvers av pipelines – ingen enkelt analysevei får monopol på sannheten
En av de farligste seirene i bind 8 er en seier som forsvinner så snart dataene behandles på en annen måte. Mange av størrelsene EFT er opptatt av, avhenger i utgangspunktet av kompliserte uttrekkskjeder: hvordan bakgrunnen trekkes fra, hvordan skjelettet identifiseres, hvordan linsingen inverteres, hvordan ringbildet rekonstrueres, hvordan en terskel gjenkjennes, hvordan råstrømmer tidsjusteres, og hvordan støy og etterseleksjon bokføres hver for seg. Hvis ett eneste ledd er sterkt avhengig av ett teams standardvaner, kan et pent resultat i én pipeline aldri automatisk oppgraderes til en fysisk konklusjon.
Replikasjon på tvers av pipelines i 8.12 betyr derfor ikke å kjøre den samme koden to ganger med ulike tilfeldige frø. Den krever reell uavhengighet: uavhengige forbehandlingskjeder, bakgrunnsmodeller, metoder for skjelett- eller bilderekonstruksjon, tilpasningsfamilier og kalibreringsruter – helst også uavhengige team, institusjoner og maskinvareversjoner. For astronomiske data betyr det at ulike kartleggingsprodukter, bilde- eller inversjonsforløp og samlinger av makromodeller må gi konklusjoner i samme retning. For laboratoriedata betyr det at resultatet ikke vilkårlig kan snu når apparat, kontrollprogramvare, datainnsamling eller etterbehandling byttes.
EFT trenger ikke at alle pipelines gir numerisk identiske svar. Den trenger noe enklere, men vanskeligere å forfalske: samme hovedfortegn, samme hovedrangering og samme hovedstruktur. Hvis et signal bare finnes med én bestemt bakgrunnssubtraksjon, én rekonstruksjonsregularisering, ett malgrunnlag eller ett etterseleksjonsvindu, men løser seg opp i andre rimelige pipelines, bør bind 8 ikke skrive «omstridt, men svært lovende». Den ærlige formuleringen er: «Foreløpig bare en indikasjon knyttet til én behandlingskjede.»
Til slutt må replikasjon på tvers av pipelines munne ut i åpen bokføring og mulighet for uavhengig omberegning. Ikke alle team må nødvendigvis offentliggjøre hvert mellomprodukt uten begrensninger, men eksterne etterprøvere må i det minste kunne se de avgjørende valgene: hvilke utvalg som ble ekskludert, hvilke parametere som ble frosset, hvilke holdout-enheter som forble urørt, hvilke nulltester som feilet, og hvilke uavhengige pipelines som var uenige. Hvis disse regnskapene bare finnes hos det opprinnelige teamet, blir det vanskelig for omverdenen å skille mellom «et komplekst fenomen» og «en kompleks prosess».
VIII. Hvorfor de fire vernene må stå sammen, ikke bare være hver sin formalitet
Holdout uten blinding gjør det mulig først å se trenden og deretter omhyggelig velge en «rimelig» holdout-del. Blinding uten nulltester hindrer innsyn i fasiten, men kan fortsatt gjøre et systematisk artefakt til en overraskelse. Nulltester uten replikasjon på tvers av pipelines kan la den samme skjevheten følge én analysevei inn i både hovedresultatet og kontrollene. Replikasjon på tvers av pipelines uten holdout kan på sin side gjøre at flere team overtilpasser treningssettet sammen, nesten til det ser profetisk ut. De fire vernene er ikke fire pyntegjenstander, men én kjede.
8.12 må derfor uttrykkelig avvise en vanlig kompensasjonslogikk: «Vi brukte riktignok ikke holdout, men vi blindet; nulltestene var middelmådige, men pipelinene var ganske enige; uavhengig replikasjon mangler fortsatt, men treningssettet ser svært pent ut.» Denne typen poengregning kan fungere i markedsføring, men bryter reglene i en revisjon. Bind 8 skal ikke vinne en «helhetsinntrykksskår». Det skal vise om teorien fortsatt står under de mest ugunstige reglene. Hvis én avgjørende port ikke er passert, kan et pent resultat ved en annen port ikke kompensere for det.
IX. Slik føres de fire vernene ned i 8.4–8.11
I 8.4 og 8.5 er vernenes hovedoppgave å hindre at «fellesleddet» og TPR/PER-regnskapet sys sammen i etterkant. Holdout bør helst omfatte kildeklasser, himmelområder, frekvensbånd og hendelsesvinduer. Blinding krever at miljøets prediksjonskort og reglene for å skille hovedstørrelsen fra residualen fryses på forhånd. Nulltestene bør prioritere surrogater for dispersjonsloven, tidsreversering og ombytting av etiketter og stasjoner. Replikasjon på tvers av pipelines må minst dekke behandlingskjedene for rødforskyvning og tidsforsinkelse, uavhengige avstandskjeder og linsmodelleringskjeden. Uten alle disse vernene glir 8.4 og 8.5 lett tilbake til «denne figuren ligner også, og den andre kan også forklares».
I 8.6–8.9 skal vernene hindre at «det delte basiskartet, skjelettretningen, fine trekk nær horisonten og særpregede signaturer ved grensen» reduseres til bildetolkning. Holdout bør her i større grad bestå av objekter, epoker, rødforskyvningslag, sammensmeltningsfaser og synslinjeenheter. Blinding kan legges på skjelettets retningsfelt, miljønivåer, orienteringsmaler, objektklasser og prediksjonskort for særpregede signaturer. Nulltestene må særlig omfatte malrotasjon, tilfeldige skjeletter, tilfeldige masker, kontroller utenfor aksen, falske varme og kalde flekker, forskyvning og ny sampling. Replikasjon på tvers av pipelines krever at ulike skjelettalgoritmer, masserekonstruksjoner, avbildningsopplegg og uttrekkskjeder for tidsforsinkelse gir konklusjoner i samme retning.
I 8.10 og 8.11 kan ingen av vernene lempes. Laboratoriedelen er særlig utsatt for den falske seieren «signalet er vakkert, men finnes bare i dette apparatet og dette behandlingsskriptet». Holdout kan her være hele parameterintervaller, materialklasser, apparater eller chipbatcher. Blinding kan legges på terskelinnstillinger, materialetiketter, drivsekvenser og lenkens renhetsgrad. Nulltestene må omfatte surrogatkonfigurasjoner, tomme hulrom, falske laster, reversert polaritet, kontroller med brutt lenke, tidsfeil og injeksjon med gjenfinning. Replikasjon på tvers av pipelines bør helst nå på tvers av institusjoner, maskinvare og kontrollprogramvare; særlig bør råregnskapet og regnskapet for etterseleksjon åpnes som to separate spor. Bare slik unngår bind 8 å skrive en ingeniørmessig tilfeldighet som en ny kvalifikasjon for EFT.
X. Hvilke metodiske resultater gir reell støtte til EFT?
Fra perspektivet i 8.12 støttes EFT ikke av at én objektklasse «ser mer EFT-aktig ut», men av at teorien godtar de mest ugunstige reglene og likevel oppnår strukturelle treff på flere domslinjer. Minst følgende må da skje samtidig:
- Retning, rangering og hovedstruktur i holdout-settet peker samme vei som i treningsdelen, uten at kriteriene etterjusteres for å holde resultatet i live;
- treffraten på de blindede prediksjonskortene ligger stabilt over tilfeldige og permuterte kontroller, i stedet for først å se «selvsagt riktig» ut etter avblinding;
- hovedresultatet slår tydelig både nulltester som bryter opp strukturen, og nulltester for forurensning i kjeden;
- minst to reelt uavhengige pipelines og team kommer til konklusjoner i samme retning uten å finne opp nye regler underveis.
Hvis disse vilkårene ikke bare oppfylles på én isolert domslinje, men i flere familier på tvers av 8.4–8.11, kan EFT for første gang reelt frigjøre seg fra den farligste merkelappen: «en teori som bare forteller historier». Da viser teorien ikke bare at den kan forklare objekter, men at den er villig til å la metodikken begrense forklaringsfriheten. Viktigst av alt: Etter begrensningen står noe fortsatt igjen.
Det må også slås fast at metodisk støtte har nivåer. Det svakeste er bare at et resultat ikke faller ved vernene. Det sterkere er at det ikke bare står, men aktivt viser en fireleddet lukking med treff i forhåndsprediksjoner, robuste holdout-resultater, tydelig skille fra nulltestene og samme retning på tvers av team. Bind 8 trenger det siste, ikke det første. Det første viser bare at EFT foreløpig ikke er blitt tatt i å begå en prosedyrefeil; det siste viser at teorien begynner å opparbeide seg prosedyremessig troverdighet.
XI. Hvilke resultater betyr bare innstramming, ikke umiddelbar diskvalifikasjon?
Ikke alle metodiske vansker sender EFT rett tilbake til omskrivingssonen. Noen resultater innebærer innstramming, ikke at påstanden må kasseres.
- Den første innstrammingen er at holdout-resultatet bare holder i enkelte vinduer. En påstand kan altså passere de fire vernene for bestemte kildeklasser, miljøer, plattformer eller parameterintervaller, men svekkes utenfor dem. Det kan bety at EFT har fanget noe reelt, men gyldighetsområdet må bli mindre.
- Den andre innstrammingen er at blindingen gir treff, men bare i retning, ikke i amplitude; bare i lagdeling, ikke på en felles skala. Da beholder EFT en viss prediksjonsevne, men ikke en altfor sterk universell grammatikk. Den tredje er at nulltestene stort sett bestås, men resultatet er fortsatt følsomt i enkelte høyrisikoområder, for eksempel bestemte deler av himmelen, kanter av båndbredden, avbildningsoppsett eller materialbatcher. Den fjerde er at pipelinene peker samme vei, men bare konvergerer med et bredere bånd for systematiske feil. Ingenting av dette skal pyntes til full støtte, men det betyr heller ikke umiddelbar diskvalifikasjon. Det tvinger EFT til å redusere ambisjonen og skrive påstandene skarpere.
XII. Hvilke resultater gjør direkte strukturell skade?
- Den første typen resultat som treffer EFTs metodiske hovedstruktur, er at holdout-settet systematisk snur resultatet. Retning, rangering og lukking som så stabile ut i treningsdelen, forsvinner eller snur i holdout-delen, eller kan bare reddes ved å velge utvalget på nytt. Dette er ikke «litt svakere generalisering», men et tegn på at hovedkonklusjonen trolig avhenger av etterjustering.
- Den andre typen er at blindede prediksjoner over tid bommer, mens avblinding alltid etterfølges av en elegant forklaring. Hvis prediksjonskortene med frosne kriterier treffer omtrent som tilfeldig, ofte peker feil vei, eller krever at terskler, inndelinger og proxyvariabler stadig omskrives etter at figurene er sett, kan EFT ikke lenger føre disse forklaringene som prediksjonsgrammatikk.
- Den tredje typen er at nulltestene blir like signifikante som hovedresultatet. Hvis ombytting av etiketter, tidsreversering, malrotasjon, surrogatmaterialer, falske kontrollvinduer, båndpassforstyrrelser eller tilfeldige skjeletter gir «støttesignaler» med omtrent samme styrke, bør bind 8 ikke si at «resultatet er komplekst», men at «prosessen produserer signalet».
- Den fjerde typen er at bare én pipeline eller ett team kan se EFT. Hvis hovedresultatet går i oppløsning når bakgrunnsmodell, inversjonsmetode, avbildningsrute, kalibreringskjede eller maskinvareversjon byttes, eller hvis uavhengige institusjoner over lang tid ikke kan gjenskape retningen, mister EFT retten til å kreve anerkjennelse. Den femte og hardeste typen er at de fire vernene motsier hverandre: Holdout består, men den blindede prediksjonen bommer; hovedresultatet er signifikant, men nulltesten er like signifikant; ett team får stabilitet, mens flere team ikke kan reprodusere resultatet. Hvis en slik splittelse vedvarer i flere domsfamilier, er 8.12 ikke et metodisk plusspunkt, men en alvorlig skade på hele bindets troverdighet.
En ofte undervurdert form for metodisk strukturell skade er at reglene stadig oppgraderes etter at resultatet foreligger. I dag er samme retning kriteriet, i morgen rangering, og dagen etter bare underutvalget med sterkt miljø. I dag er to analyseforløp nok; i morgen, når de er uenige, erklæres bare ett av dem pålitelig. I dag holdes et himmelområde tilbake; i morgen, når retningen snur, blir det i stedet et frekvensbånd. Hvis dette mønsteret – der reglene jager resultatet – vedvarer, må 8.12 dømme det som alvorlig skade. Da har EFT ennå ikke lært å underkaste seg faste regler.
XIII. Når kan vi ennå ikke felle en dom?
- Denne delen beholder naturligvis kategorien «ennå ikke bedømt», men grensen må være svært smal. Den første legitime grunnen er at råregnskapene og sentrale metadata ennå ikke er tilstrekkelig åpne. Hvis kjedene for tidsreferanse, båndpass og kalibrering, definisjonen av holdout-enheter eller miljøets proxyvariabler fortsatt er ugjennomsiktige, vil en tvungen dom bare løfte diskusjonen til et enda mer støyende nivå.
- Den andre grunnen er at utvalgsdekningen ennå ikke er stor nok til å danne en reell holdout-struktur. For enkelte særpregede prediksjoner kan det fortsatt finnes så få objekter at ett holdout-objekt nesten betyr at det ikke finnes noe utvalg igjen. Enkelte ekstreme plattformer mangler også foreløpig mulighet for arbeid på tvers av institusjoner. Da er «ennå ikke bedømt» et uttrykk for tilbakeholdenhet.
- Den tredje grunnen er at de fire vernene ennå mangler et felles kriteriesett. Hvis teamene ikke deler en grunnleggende forståelse av hva som teller som en uavhengig pipeline, en gyldig nulltest, et treff under blinding eller en holdout-enhet, kan det være for tidlig å felle en hard dom. Men denne gråsonen får ikke bli en livsvarig utsettelse. Når råregnskapene er åpne, kriteriene frosset, holdout og nulltester gjennomført og de uavhengige pipelinene på plass, men resultatet fortsatt peker motsatt vei, er saken ikke lenger «ennå ikke bedømt». Da svekkes EFT; teorien venter ikke bare på en bedre unnskyldning.
En annen legitim, men farlig grunn til «ennå ikke bedømt», er at objektene er for sjeldne, plattformene for kostbare eller replikasjonssyklusene for lange. Enkelte fine trekk nær horisonten, ekstreme sammensmeltninger eller kostbare kvantelenker kan faktisk ikke replikeres av flere institusjoner like raskt som vanlige forsøk. I slike tilfeller kan 8.12 midlertidig godta «for lav evidenstetthet», men aldri omskrive det til «før derfor foreløpig som støtte». I grammatikken til bind 8 kan sjeldenhet og kostnad forsinke dommen, men ikke øke vinnersannsynligheten.
XIV. Ikke forveksle «kan forklares» med «tåler å bli prøvd»: Delens viktigste vending
Denne delen tilfører ikke bare noen ekstra tekniske krav. Den flytter hele bindets holdning fra fortolkningskunst til prøvingsdisiplin. Fortolkningskunsten er best til å finne en formulering som kan romme hvert nytt objekt. Prøvingsdisiplinen gjør det motsatte: Den binder seg selv først og spør deretter hva som fortsatt står igjen. For en teori som EFT, som vil tegne selve basiskartet på nytt, er denne vendingen særlig viktig. Jo mer den kan si, desto mer må den lære å tie først; jo mer den kan få til å henge sammen, desto mer må den godta de mest ugunstige reglene.
Dette er også poenget delen først og fremst bør huskes for: Det som gjør falsifisering virkelig skremmende, er ikke hvor sterk motstanderen er, men om du selv er villig til å prøve teorien etter de mest ugunstige reglene. Hvis EFT ikke vil gjøre det, er teorien fortsatt bare flink til å fortelle historier, selv om ingen foreløpig klarer å tilbakevise den. Omvendt vil en seier i bare noen få vinduer under de mest ugunstige reglene veie tyngre enn et helt bind med vakre forklaringer som aldri passerte vernene.
XV. Oppsummering av denne delen
Om bind 8 kan stå, avgjøres ikke bare av hva det har sett, men av om det er villig til å gi seg selv dårligere vilkår ved de fire portene: holdout-sett, blinding, nulltester og replikasjon på tvers av pipelines. Først når EFT godtar regler som gjør livet vanskelig for teorien, kan senere støtte bli noe mer enn ekkoet av dens egen fortelling.