Vaikuttavuus syntyy vuorovaikutuksessa – miksi satunnaistettu koeasetelma ei näe sitä?

Satunnaistettu kontrolloitu koe eli RCT (randomized controlled trial) nousee sosiaali- ja terveydenhuollossa esiin aina, kun kaivataan varmuutta ja uskottavuutta päätöksenteon tueksi. Kun julkista rahaa käytetään uusiin ratkaisuihin – erityisesti tekoälyyn – kasvaa paine osoittaa vaikuttavuus “kovalla näytöllä”. RCT tarjoaa tähän selkeän ja tunnustetun vastauksen. Se on metodologinen turvasatama, jonka kieltä rahoittajat, päättäjät ja tutkijat ymmärtävät.

Siksi siihen tukeudutaan myös silloin, kun arvioitava ilmiö ei istu sen oletuksiin. RCT ei ole vain menetelmä, vaan osa ajattelutapaa, jossa vaikuttavuus nähdään eristettävänä, mitattavana ja yleistettävänä ominaisuutena.

Ajattelun voi haastaa käyttämällä esimerkkinä tekoälyä sosiaali- ja terveydenhuollossa. Tekoälyn vaikutus syntyy vasta, kun teknologia, ihmiset ja organisaation käytännöt kohtaavat arjessa. Silti palaamme helposti RCT-asetelmaan, koska se tarjoaa selkeän rakenteen monimutkaisuuden keskelle.

Ongelma 1: Kuvittelemme interventioksi jotain, mikä on kokonainen toimintaympäristö

Tekoälyratkaisut eivät ole vakioituja interventioita, joita voidaan irrottaa kontekstistaan. Ne muotoutuvat datan, ammattilaisten tulkintojen, johtamisen, resurssien ja asiakkaiden reaktioiden vuorovaikutuksessa. Vaikutus ei ole staattinen, vaan jatkuvasti rakentuva. Tämä haastaa RCT-ajattelun, joka edellyttää, että interventio voidaan eristää ja mitata kontrolloidusti.

RCT voi tuottaa tarkan numeron, mutta se ei kerro, miten ja miksi vaikutus syntyy. Keskeinen kysymys – miten tekoäly toimii arjessa – jää avoimeksi.

Tekoälyn käyttöönotto muuttaa työnjakoa, priorisointia ja vastuita. Samalla organisaation käytännöt muokkaavat itse järjestelmää. 

Arvioinnin kohteena ei siis ole yksittäinen “tekoälyinterventio”, vaan joukko suhteita, jotka rakentuvat käytännössä. RCT pyrkii eristämään vaikutuksen, vaikka vaikutus syntyy juuri tästä yhteen kietoutumisesta.

Ongelma 2: Mittaamme lopputulosta, emme sitä, miten se syntyy

Tekoälyn vaikutus ei synny pelkästään ennusteiden tai analyysien tarkkuudesta. Ne ovat vain informaatiota. Vaikutus syntyy vasta, kun tieto otetaan käyttöön: sitä tulkitaan, siihen luotetaan (tai ei), ja sen pohjalta muutetaan toimintaa.

Sama ennuste voi johtaa eri organisaatioissa täysin erilaisiin ratkaisuihin – tai jäädä kokonaan käyttämättä.

Kun mittaamme vain lopputuloksia, kuten käyntimääriä tai kustannuksia, tämä väliin jäävä prosessi katoaa näkyvistä. RCT olettaa, että vaikutus kulkee suoraviivaisesti interventiosta lopputulokseen, vaikka todellisuudessa se rakentuu monivaiheisessa vuorovaikutuksessa.

Ongelma 3: Arviointitapa ohjaa todellisuutta

Arviointikehikko ei ole neutraali. Se määrittelee, mikä on merkityksellistä. Kun mittaamme pääasiassa yksilötason lopputuloksia, saatamme sivuuttaa sen, miten teknologia muuttaa organisaation suhteita, päätöksenteon hierarkioita tai vastuun jakautumista.

Samalla vahvistamme käsitystä, että ongelmat ratkeavat teknisellä optimoinnilla, vaikka ne liittyisivät rakenteisiin ja työn organisointiin. Arviointitapa alkaa ohjata kehittämistä: sitä kehitetään, mitä mitataan.

Tarvitsemme arviointia, joka seuraa toimintaa – ei vain mittareita

Tekoälyn arvioinnissa tulisi tarkastella käyttöönottoa osana laajempaa toimintakokonaisuutta. Sen sijaan, että kysymme vain, vähensikö järjestelmä tiettyä yksittäistä tunnuslukua, meidän tulisi tarkastella, miten se muutti toimintaa, millaisia riippuvuuksia se loi ja millaisia tulkintakäytäntöjä sen ympärille rakentui.

Tämä edellyttää määrällisen tiedon rinnalle laadullista analyysia: havainnointia, dokumenttien tarkastelua ja keskusteluja ammattilaisten kanssa. Vasta tällöin voidaan ymmärtää, miksi teknologia tuottaa tietynlaisia seurauksia tietyssä organisaatiossa. Arvioinnin on kuljettava mukana arjessa, ei tarkasteltava sitä vain jälkikäteen.

Vaikuttavuus ei ole universaali ominaisuus

Teknologia ei ole valmis paketti, joka siirretään kontekstista toiseen. Jokainen käyttöönotto on neuvottelu, jossa järjestelmä mukautuu paikallisiin käytäntöihin ja käytännöt järjestelmään. Vaikuttavuus on tilannesidonnainen ilmiö, ei pysyvä ominaisuus, joka voidaan kerran todistaa ja olettaa universaaliksi.

Jos pidämme kiinni yhdestä arviointimallista tilanteissa, joissa kohde on muuntuva toimintakokonaisuus, riskinä on, että saamme tarkkoja vastauksia vääriin kysymyksiin.

Laajennetaan näyttöä, ei kavenneta sitä

Kyse ei ole siitä, että RCT olisi väärä menetelmä. Se vastaa hyvin kysymyksiin, joissa interventio on selkeästi määritelty ja vakioitavissa, kuten lääkkeet ja yksinkertaiset hoitotoimenpiteet. Ongelmia syntyy, kun sitä sovelletaan tilanteisiin, joissa arvioitava kohde muotoutuu monimutkaisemmassa vuorovaikutuksessa.

Tekoälyratkaisut sosiaali- ja terveydenhuollossa kuuluvat tähän kategoriaan. Niiden vaikutukset syntyvät ihmisten, prosessien ja ympäristön yhteistoiminnassa ja muovautuvat paikallisten käytäntöjen mukaan.

Siksi tarvitsemme arviointia, joka tunnistaa tämän monimutkaisuuden. Näyttöä ei tule kaventaa yhteen malliin, vaan laajentaa niin, että se tekee näkyväksi myös sen, miten vaikuttavuus rakentuu käytännössä.