Miten osallisuutta edistävän toiminnan vaikutuksia kannattaa arvioida ja mitä arviointinäyttö meille kertoo

Yhdenvertaisen osallisuuden koordinaatio suosittelee, että osallisuutta edistävän toiminnan vaikutuksia arvioidaan osallisuusindikaattorilla toiminnan alussa ja lopussa sekä laadullisella haastattelumenetelmällä, jolla selvitetään osallisuusindikaattorilla havaittuihin muutoksiin vaikuttaneita mekanismeja. Tällainen laadullinen menetelmä on esimerkiksi Pienet onnistumistarinat -arviointityökalu.

Erilaisia aineistoja yhdistämällä ymmärretään paremmin vaikutusmekanismeja ja arviointi on uskottavampaa. Myös muiden aineistojen, kuten kokemustiedon ja toiminnasta kerätyn tilastotiedon yhdistäminen tulkintaan on suositeltavaa.

Esittelemme tässä katsauksessa kolme arviointitutkimusta, joissa on yhdistelty osallisuusindikaattorin tuloksia laadulliseen tutkimusaineistoon (mm. pienet onnistumistarinat), sekä kaksi osallisuusindikaattoria käyttänyttä arviointitutkimusta.

Ensimmäisessä tutkimuksessa kuvataan myös tarkemmin määrällisten ja laadullisten tutkimusmenetelmien ja aineistojen yhdistämistä arviointitutkimuksessa.

Osallisuusindikaattorilla kertyneen arviointinäytön perusteella on tulkittavissa joitakin alustavia onnistuneen toiminnan tunnuslukuja:

Oikean kohderyhmän tavoittaminen näyttää olevan tärkeä tekijä onnistumisissa. Jos alkumittauksessa osallistujien indikaattorikeskiarvo on alle 70 pistettä, voidaan toiminnan sanoa kohdistuneen etupäässä henkilöihin, joilla osallisuus on heikentynyttä.
Keskimääräinen osallisuusindikaattoritulosten muutos on toinen ilmeinen onnistumisesta kertova tunnusluku. Neljän pisteen positiivista muutosta voidaan pitää hyvänä tuloksena – erityisesti jos tulos on tilastollisesti merkitsevä. Vaikka tilastollisiin merkitsevyyksiin ei pidä rutiininomaisesti luottaa, merkitsevä muutos kuitenkin vakuuttaa ihmiset paremmin toiminnan vaikuttavuudesta.
Lisäksi niiden osallistujien osuus, joilla osallisuus on vahvistunut, kertoo toiminnan tuloksista. Jos osuus on yli 50 prosenttia, kertoo se osallistujien enemmistön hyötyneen toiminnasta osallisuuden kokemuksen osalta.

Sokra-koordinaation tutkimuksessa arvioitiin neljää erilaista osallisuutta lisäävää toimintatapaa

Sosiaalisen osallisuuden edistämisen koordinaatiohanke – Sokran (ESR 2014–2023) arviointitutkimuksessa sovellettiin niin sanottua realistisen arvioinnin paradigmaa osallisuutta edistävän toiminnan arviointiin. Tutkimuskohteena oli viisi ESR-hanketta ja niiden neljä erilaista osallisuutta edistävää toimintatapaa (työ- ja toimintakyvyn kehittäminen ryhmätoiminnoilla, vaikuttaminen asuinalueeseen, vapaaehtoistoiminta seurakunnassa ja taidelähtöiset menetelmät).

Realistisessa arvioinnissa pyritään ymmärtämään arvioitavan toiminnan vaikuttavuutta tutkimalla sen tuloksia, vaikutusmekanismeja ja taustalla vaikuttavia olosuhteita. Tutkimuksessa näitä kuvattiin hankkeiden osallistujien teemahaastatteluilla ja niissä kerrotuilla pienillä onnistumistarinoilla. Laadullisen analyysin löydöksien esiintymistä laajemmassa osallistujajoukossa tarkasteltiin kaksivaiheisella seurantakyselyllä, jossa oli mukana osallisuuden kokemusta mittaava osallisuusindikaattori.

Laadullisessa analyysissä havaittiin, että hankkeissa vaikutusmekanismeja olivat sellaiset osallistumiskokemukset, joiden perusteella osallistujat pystyivät omaksumaan aikaisempaa myönteisemmän kuvan itsestään ja toimintamahdollisuuksistaan. Tällä tavoin vaikuttivat kokemukset hyödyksi olemisesta, itsensä toteuttamisesta, elinympäristöön vaikuttamisesta, hyväksytyksi tulemisesta, haastavista tilanteista selviämisestä, paremmasta itsensä ymmärtämisestä sekä oppimisesta. Vaikuttavat osallisuushankkeet auttavat osallistujiaan näkemään itsensä aktiivisina ja mahdollistavat aikaisempaa laajemmat sosiaaliset kuviot.

Määrällinen analyysi puolestaan tuotti tietoa muutoksista osallisuuden kokemuksessa ja mahdollisti tulosten, mekanismien ja olosuhteiden kriittisemmän tarkastelun. Vertailuaikana osallistujien keskimääräinen osallisuusindikaattoritulos nousi 2,2 pistettä. Kuitenkaan muutos ei ollut tilastollisesti merkitsevä. Osallistujista enemmistöllä (51 %) osallisuuden kokemus vahvistui ja kolmasosalla heikentyi. Erityisesti vahva osallisuuden kokemus toiminnan alussa oli yksi osallisuuden kokemuksen heikentymistä selittävä tekijä. Toisaalta tietyt osallistumiskokemukset, kuten muiden auttaminen, olivat myös määrällisessä tarkastelussa yhteydessä myönteiseen muutokseen.

Arvioidut hankkeet näyttivät tutkimuksessa jossain määrin onnistuneilta, joskin parempi kohdentuminen heikompaa osallisuutta kokeviin olisi todennäköisesti tuottanut positiivisempia tuloksia. Osallistujien osallisuusindikaattorikeskiarvot olivat verrattain korkeita jo toiminnan alussa.

Nousiainen, Marko & Leemann, Lars (2024) Realistic evaluation of social inclusion. Evaluation 30(2)

Osallisuuden versot -hankkeessa arvioitiin työikäisten sosiaalipalvelujen vaikutuksia

Päijät-Hämeen hyvinvointialueen Osallisuuden versoja -hanke sovelsi kaksivaiheista osallisuuskyselyä ja pieniä onnistumistarinoita erilaisten haavoittuvassa asemassa olevien työikäisten sosiaalipalvelujen vaikutusten arviointiin vuonna 2023. Palvelut olivat kuntouttava työtoiminta, sosiaalinen kuntoutus, kurssitoiminta ja yksilövalmennus. Asiakkaiden osallisuuden kokemuksen muutoksia selvitettiin kolmen kuukauden mittausvälillä. Tutkimukseen osallistuneista 52 asiakkaasta osallisuuden kokemus vahvistui 32:lla (62 %) ja heikentyi 16 (31 %). Osallisuuden keskimääräinen kokemus nousi vertailuaikana 60,2 pisteestä 64,2 pisteeseen. Myös koetun terveydentilan havaittiin kohentuneen osallisuuden kokemuksen vahvistumisen kanssa.

Osallisuuden versoja -hankkeessa kerättiin myös viisi haastattelua, joilla tarkasteltiin osallistujien pieniä onnistumistarinoita. Tarkoituksena oli selvittää osallisuutta edistäviä ”ydinelementtejä”. Näitä olivat osallistuminen toimintaan omien voimien, tarpeiden ja kiinnostuksen mukaisesti, todellinen vaikuttaminen, luottamuksen ja vastuun luominen ja saaminen, aidosti välittävät ja samalla tasolla kohtaavat ammattilaiset sekä omista lähtökohdista asetetut tavoitteet.

Fjällström, Emmi & Carroll, Tuula (2024) Osallisuuden versoja 2023. Haavoittuvassa asemassa olevien työikäisten osallisuuskokemukset ja niiden vahvistaminen. (pdf) Päijät-Hämeen hyvinvointialue.

Tuettujen lomien osallisuusvaikutukset perheiden vanhempiin

THL:ssä julkaistiin vuonna 2020 arviointi tuettujen lomien vaikutuksista lomalaisten osallisuuteen ja hyvinvointiin. Arvioinnissa sovellettiin sekä laadullisia että määrällisiä arviointimenetelmiä. Yhden lomajärjestön tuetun perheloman saaneille vanhemmille (229) lähetettiin osallisuusindikaattorin sisältävä kyselylomake viikkoa ennen lomaa, ja lomakkeeseen vastanneille lähetettiin seurantalomake neljän kuukauden kuluttua loman päättymisestä. Lomalaisten keskimääräinen osallisuusindikaattoriluku oli ennen lomaa 67 pistettä ja loman jälkeen 71. Vertailuajankohtana osallisuuden kokemus vahvistui 4 pistettä. Muutos oli tilastollisesti merkitsevä. Osallisuuden kokemus vahvistui 123 vastaajalla ja heikentyi 81 vastaajalla.

Lisäksi arvioinnissa kerättiin lomalaisten laadullisia haastatteluja, joilla kuvattiin loman vaikutuksia lomalaisten elämässä ja osoitettiin vaikuttavia tekijöitä. Osalle lomalaisista lomalla oli suorastaan käänteentekevä vaikutus elämässä. Tutkimuksen mukaan perhelomaa voi pitää vaikuttavana osallisuuden vahvistamisessa silloin, kun lomalainen saa olla toimija, eli itse tekemässä ja kokemassa: loma tarjoaa itsensä ylittämisen kokemuksia, eli lomalaiset voivat kokeilla omia fyysisiä tai psyykkisiä rajojaan, lomaohjaajilla ei ole (negatiivisia) ennakkokäsityksiä tuetuilla lomilla olevista ja tuetut lomalaiset saavat yhtä hyvää palvelua kuin muut, loma tarjoaa vanhemmille mahdollisuuden viettää aikaa ilman lapsia, loma tarjoaa mahdollisuuden sattumanvaraisiin kohtaamisiin ja loma on kulttuurisesti arvostetussa kohteessa.

Mäntylä, Erika (2020) Lomalle yhdenvertaisuuteen. Lomatoiminnan vaikutusten arviointi. Työpaperi 9/2020. Helsinki, Terveyden ja hyvinvoinnin laitos.

Sijoita ja valmenna -työhönvalmennuksen vaikutukset mielenterveyden häiriöön sairastuneilla

Edellä mainittujen arviointitutkimusten lisäksi muutamissa muissa arvioinneissa on käytetty osallisuusindikaattoria seurantakyselyinä todentamaan toimintojen vaikutuksia. Näistä laajin on THL:n IPS – sijoita ja valmenna -toiminnan arviointi. IPS on näyttöön perustuva toimintamalli erityisesti vakavaan mielenterveyden häiriöön sairastuneiden työllistymisen edistämiseen. Osallisuusindikaattori oli mukana kolmivaiheisessa seurantakyselyssä. Arviointiin osallistui yhteensä 310 IPS-työhönvalmennuksen aloittanutta vakavasta mielenterveyden häiriöstä kärsivää henkilöä, joilla oli halu työllistyä.

Seurannan alussa osallistujien osallisuuden kokemus oli keskimäärin 66,4 pistettä. Osallisuus vahvistui 6 kuukauden kohdalla 68,1 pisteeseen ja vuoden kohdalla 70 pisteeseen. Molemmat muutokset olivat tilastollisesti merkitseviä. Niillä osallistujilla, jotka olivat vähintään toisella seurantajaksolla olleet töissä tai opinnoissa, muutos oli tätäkin suurempi: vuoden vertailujaksolla osallisuuden kokemus vahvistui kaikkiaan 71,9 pisteeseen eli 5,4 pistettä. Muilla osallistujilla sen sijaan muutos oli hieman negatiivinen mutta ei merkitsevä. Ero näiden vastaajaryhmien viittaa siihen, että toiminnassa työhön tai opintoihin mukaan pääsy on ollut osallisuutta vahvistavaa.

Sipilä, Noora & Appelqvist-Schmidlecher, Kaija (2024) IPS Sijoita ja valmenna -työhönvalmennus mielenterveyden häiriöön sairastuneiden työllistymisen tukena. Raportti 1/2024. Helsinki: Terveyden ja hyvinvoinnin laitos.

Päihde- ja mielenterveyskuntoutujien ryhmätoiminnan osallisuusvaikutukset

Myös A-klinikkasäätiö on toteuttanut arvioinnin, jossa on käytetty osallisuusindikaattoria järjestöjen toteuttaman päihde- ja mielenterveyskuntoutujien ryhmätoiminnan vaikutusten todentamiseen. Tutkimuksessa mitattiin kuntoutujien osallisuuden kokemusta, itsearvoitua työ- ja toimintakykyä, elämänlaatua sekä yksinäisyyden ja yhdenvertaisuuden kokemuksia ennen-jälkeen-mittauksilla yhdeksässä ryhmässä (N=29). Vertailuaika vaihteli muutamasta viikosta muutamaan kuukauteen.

Vertailuaikana osallistujien keskimääräinen osallisuuden kokemus vahvistui 63,8 pisteestä 67,9 pisteeseen, ja muutos oli tilastollisesti merkitsevä. Osallisuusindikaattorin väittämistä tilastollisesti merkitsevästi vahvistuivat kokemukset tekemisten merkityksellisyydestä, kuulumisesta ryhmään, tarpeellisuudesta muille, vaikuttamisesta omaan elämään ja elämän tarkoituksesta. Muutokset havaittiin sitä suuremmiksi, mitä heikompaa osallisuutta osallistujat kokivat ryhmän alussa. Myös yhdenvertaisuuden kokemisessa, elämänlaadussa ja työ- ja toimintakyvyssä tapahtui tilastollisesti merkitsevät positiiviset muutokset. Näillä perusteilla arvioijat totesivat järjestöjen ryhmämuotoisen kuntoutuksen vaikuttavaksi. Lisäksi huomioitavaa on se, että osallisuusindikaattorilla saatiin esiin merkitseviä muutoksia verrattain pienellä aineistolla.

Jurvansuu, S., Takala, J & Tourunen J. (2023) Ryhmästä osallisuutta? Mielenterveys- ja päihdekuntoutujien osallisuuden sekä toiminta- ja työkyvyn muutokset ryhmätoiminnan aikana. (pdf) A-klinikkasäätiö. Katsauksia ja näkökulmia 1/2023.

Katsauksen ja suositukset on laatinut Yhdenvertaisen osallisuuden koordinaatio

Katsaus on koordinaation Katsauksia osallisuuteen ja yhdenvertaisuuteen -verkkojulkaisusarjan julkaisu.
Tutustu muihin sarjan katsauksiin

Viittausohje: Miten osallisuutta edistävän toiminnan vaikutuksia kannattaa arvioida ja mitä arviointinäyttö meille kertoo. Katsauksia osallisuuteen ja yhdenvertaisuuteen 1/2025. Yhdenvertaisen osallisuuden koordinaatio, THL.