Mittariarvioinnin toteutus

TOIMIA-verkostossa asiantuntijaryhmät arvioivat mittareiden soveltuvuutta erilaisiin käyttötarkoituksiin niiden mittausominaisuuksien (= psykometriset ominaisuudet; validiteetti, reliabiliteetti, muutosherkkyys) ja käytettävyyden perusteella. Mittariarvioinnissa kerätään mittarin perustiedot, psykometriset tiedot ja laaditaan psykometristen tietojen perusteella soveltuvuusarvio. Asiantuntijaryhmän on hyväksyttävä kokouksessaan mittariarviointi ja soveltuvuusarvio. Kaikki tiedot julkaistaan TOIMIA-tietokannassa.

TOIMIA-tietokannassa voidaan julkaista myös ainoastaan mittareiden perustietoja. Pelkät perustiedot voidaan julkaista ilman asiantuntijaryhmän hyväksyntää. Tällöin riittää TOIMIAn toimituksen hyväksyntä.

Kuva 1. TOIMIAn asiantuntijaryhmässä toteutetun mittariarvioinnin vaiheet. 

 

1. Päätös arvioitavasta mittarista ja arvioijasta

TOIMIAn asiantuntijaryhmä tekee päätöksen arviointiin otettavasta mittarista ja arvioinnin tekevästä asiantuntijasta (asiantuntijoista). Arviointiin valittavia mittareita nousee esimerkiksi TOIMIAn suosituksista. Myös Suomessa käytössä olevia tai Suomeen tuotavia ulkomaisia mittareita voidaan ottaa arvioitavaksi. 

2. Tiedonhakusuunnitelma ja tiedonhaku

Mittarin arvioinnista vastuussa oleva asiantuntija valmistelee tiedonhakusuunnitelman yhteistyössä TOIMIAn toimituksen kanssa. TOIMIAn toimitus tekee tiedonhaun suunnitelman mukaisesti.

3. Mittarin jakeluluvan selvittäminen mittarin omistajalta

Aivan alkuvaiheessa ennen arvioinnin tekemistä mittarin arviointiin nimetty asiantuntija toimittaa TOIMIAn toimitukselle tiedon mittarin omistajatahosta. TOIMIAn toimitus selvittää, saako mittarin laittaa vapaasti saataville TOIMIA-tietokantaan sekä saako mittarin perusrakenteet toteuttaa sähköisessä muodossa Toimiametaan. Mikäli jakelulupaa ei saada, on tarkkaan mietittävä onko mittarin arviointia tarvetta toteuttaa lainkaan.

4. Mittarin perus- ja psykometriikkatietojen kokoaminen sekä soveltuvuusarvion laatiminen

Mittarin arvioinnista vastaava asiantuntija kokoaa perus- ja psykometriikkatiedot TOIMIAn lomakkeelle. Mittarin perustiedot tarkoittavat arvioinnin kohteena olevan toimintakykymittarin taustatietoja, joita ovat muun muassa mittarin nimi, alkuperäinen käyttötarkoitus ja ohjeet. Lisäksi kerätään tietoja mittarin käyttökelpoisuudesta ja kliinisestä käytettävyydestä (esim. hinta, käyttörajoitukset, tarvittava välineistö, aikatarve).

Mittarin psykometriset tiedot kerätään tietohaun perusteella saaduista psykometriikkaa tutkineista tieteellisistä artikkeleista. Mittarin ominaisuuksien tarkastelussa selvitetään tilastollisin testein saatuja tietoja mittarin

• pätevyydestä (validiteetti) eli mittaako mittari juuri sitä tutkittavan ilmiön ominaisuutta, mitä sen on tarkoituskin mitata,
• toistettavuudesta (reliabiliteetti) eli mittaako mittari johdonmukaisesti ja kuinka vähän mittarin tulokseen liittyy mittausvirhettä sekä
• muutosherkkyydestä eli mittarin kyvystä havaita tarkasteltavassa ominaisuudessa ajassa tapahtuvia muutoksia.

Mittarin psykometristen ominaisuuksien arviointiohjeet on kuvattu yksityiskohtaisesti erillisessä oppaassa: Opas toimintakyvyn mittarin arviointiin TOIMIA-verkostossa.

Lisäksi mittarin arvioinnista vastaava asiantuntija laatii ehdotuksen mittarin soveltuvuusarviosta valittuun käyttötarkoitukseen. Arviointi perustuu mittarin psykometrisiin tietoihin sekä asiantuntijoiden tietoihin ja kokemukseen. Soveltuvuusarvio laaditaan samalle lomakkeelle, jolle perus- ja psykometriikkatiedot on kerätty. 

5. Mittariarvioinnin käsittely ja hyväksyntä

TOIMIAn asiantuntijaryhmä käsittelee mittariarviointia ryhmän kokouksissa ja antaa palautetta mittarin arvioinnista vastaavalle asiantuntijalle. Lopuksi asiantuntijaryhmä muotoilee yhdessä asiantuntijan kanssa mittarin soveltuvuusarvioin ja päättää mittarille annettavan ”liikennevalon” värin.

Katso myös TOIMIA-tietokannan käyttöohje (Terveysportti)

Mittarin arvioinnista vastaava asiantuntija huolehtii myös mittarilomakkeiden ja sen käyttöön liittyvien muiden ohjelomakkeiden viimeistelystä ja toimittamisesta TOIMIAn toimitukseen. Kun mittariarviointi on valmis, asiantuntijaryhmä hyväksyy sen. Valmis mittariarviointi lähetetään TOIMIAn toimitukseen editoitavaksi ja julkaistavaksi.

6. Mittariarvioinnin lähettäminen TOIMIAn toimitukseen

Mittarin arvioinnista vastannut asiantuntija lähettää valmiin mittariarvioinnin ja soveltuvuusarvion sekä kaikki mittariin liittyvät lomakkeet TOIMIAn toimitukseen. TOIMIAn toimitus editoi kaikki lomakkeilla olevat tekstit. 

7. Sidonnaisuustietojen kerääminen

Sidonnaisuustiedot kerätään, jos mittarille tehdään psykometrinen arviointi ja soveltuvuusarvio. Tällöin sidonnaisuustiedot kerätään ennen julkaisua mittariarvioinnin hyväksyneeltä TOIMIA-asiantuntijaryhmän jäseniltä. TOIMIAn toimitus kerää tiedot sähköisellä kyselyllä. 

8. Mittarin julkaiseminen TOIMIA-tietokannassa

TOIMIAn toimitus julkaisee editoidun ja viimeistellyn mittariarvioinnin, soveltuvuusarvion ja kaikki lomakkeet TOIMIA-tietokannassa.