Mitä arviointitutkimus on?
Mikko Mäntysaaren (2010, 2) toimittamassa julkaisussa arviointi sosiaalipalveluissa todetaan, että arvioinnin tarkoitusperiä voidaan tarkastella kolmesta näkökulmasta käsin. Nämä kolme lähestymistapaa ovat vastuullisuusarviointi, kehittämisarviointi ja tietotuotantoarviointi. Näistä etenkin kehittämisarviointi ja tietotuotantoarviointi sopivat erityisesti tutkimukselliseen lähestymistapaan. Mäntysaari (2010, 3) huomauttaa, että arviointitoiminnan yksi hankalimmista käsitteistä on arviointi. Pohdittavaksi tulee, tulisiko puhua arvioinnista vai evaluaatiosta? Esimerkiksi Jokinen Laadullinen arviointitutkimus-tekstissään käyttää nimitystä arviointitutkimus ja antaa käännökset sanalle muodossa evaluation tai evaluation research. Näiden termien käytön myös Clark (1999, 3) vahvistaa.
Mitä arviointitutkimus on? Jo nimestä voi päätellä, että sillä on jotakin tekemistä arvioinnin kanssa. Esimerkiksi QuestionPro -sivustolla sen sanotaan olevan tavoitteen saavuttamiseen käytetyn ajan, rahan, vaivan ja resurssien arvion systemaattista arviointia. Arviointitutkimus tunnetaan myös nimellä ohjelma-arviointi. Tämä viittaa enemmän tutkimuksen tarkoitukseen yksittäisen menetelmän sijaan. Voidaankin todeta, että evaluaatiotutkimuksen yksiselitteinen määritteleminen on kompleksista, sillä se on metodologisesti varsin laaja-alainen tutkimussuuntaus.
Laaja-alaisuudesta saa jonkinasteisen käsityksen, kun lukee Jokisen tekstiä. Hänen mukaansa arviointitutkimus on soveltamisen tutkimuksen piiriin kuuluva käsite. Se on lähestymistapa, joka kokoaa yhteen erilaisia pyrkimyksiä selvittää, millaisia vaikutuksia toteutetuilla ammatillisilla, poliittisilla tai hallinnollisilla toimenpiteillä, muutoksilla, hankkeilla tai ohjelmilla on kohteeseensa. Myös Clarke (1999, 1) nostaa esiin nämä näkökulmat yhtenä arviointitutkimukseen kuuluvana lähestymistapana.
Clarken (1999, 2) mukaan arvioijat luottavat vahvasti olemassa oleviin yhteiskuntatieteellisiin tutkimusmenetelmiin ja -menetelmiin tiedon saamiseksi.
Erityisesti julkisen vallan toimintaan liittyvä arviointitutkimus on kasvanut muun muassa siksi, että talouspolitiikan painopiste on muuttunut suuntaan, jossa kasvu- ja rakennepolitiikka on ottanut tilaa lyhyen tähtäimen kysynnän sääntelyyn tähtäävältä suhdannepolitiikalta. Tällainen ”paremman sääntelyn politiikka” on kasvattanut vaikuttavuustutkimuksen kysyntää. Esimerkiksi lainvalmistelun ongelmakohtiin liittyviä asioita ovat olleet, tarve saada kattavaa ja monipuolista tietopohjaa, erilaisten toimenpidevaihtoehtojen monipuolista harkintaa ja vaikutuksen arviointeja. Tähän tilanteeseen päättäjille on sitten tuotettu taloudellisten ja muiden yhteiskunnallisten vaikutusten arviointiin liittyvää ohjeistusta. (Ilmakunnas, Junka & Uusitalo 2008, 2–3.)
Mihin huomio kiinnittyy arviointitutkimuksessa?
Arviointitutkimuksen tarkastelussa voidaan Jokisen mukaan kiinnittää huomiota neljään asiaan. Ensinäkin tulee kiinnittää huomiota siihen, mitä arvottamisella tarkoitetaan ja toiseksi siihen, miten systemaattisuus ymmärretään. Kolmanneksi voidaan tarkastella kulloisenkin arvioinnin määritelmän syntytaustaa ja neljänneksi voidaan perehtyä siihen, mitä arviointitutkimus ei ole.
Kuten Jokinen huomauttaa, arviointitutkimus ei ole sellaista tutkimusta, jota voitaisiin tehdä laboratorio-olosuhteissa tai hypoteettisena spekulaationa, vaan sen tavoite on kiinnittyä aina todelliseen toimintaan tai muutospyrkimyksiin. Tämä kuulostaa käytännössä toimintatutkimukselta. Sitä se ei kuitenkaan ole, vaikka myös arviointitutkimuksessa on vahvasti mukana vuorovaikutus ja kommunikointi arviointikohteen ja sidosryhmien kanssa. Toimintatutkimuksessa on päämääränä aktiivisesti saada aikaan muutoksia toimintajärjestelmässä tällaista tavoitetta ei arviointitutkimuksessa ole.
Arviointitutkimus sopii lähestymistapana määrälliseen ja laadulliseen tutkimukseen
Jokinen esittää Taulukossa 1. niitä keskeisiä eroja, joita märällisessä ja laadullisessa tutkimuksessa on arviointitutkimuksen näkökulmasta.
| Määrällinen arviointitutkimus | Laadullinen arviointitutkimus | |
|---|---|---|
| Havaintoaineisto | Eksakti ja riittävän edustava tietopohja käytössä. Rekisterit, tilastot ja kyselyaineistot. | Mikä tahansa materiaali, joka valottaa jotain tärkeää puolta muutoshankkeesta. Huomio on sekä vaikutuksissa että prosesseissa (”kehittämisessä”). |
| Arviointikriteerien konstruoiminen | Havaittavat vaikutukset, panos-tuotos -mallit , vertailuryhmien käyttö, tilastollinen merkitsevyystestaus. Tutkijavetoista. | Kriteereitä ei voida täysin päättää ennalta. Realistinen arviointi siitä, mikä toimii kenelle ja missä kontekstissa. Sidosryhmillä on tässä roolinsa tutkijan rinnalla. |
| Käsitys arviointitutkimuksen roolista | Arviointitutkimus on tiedon tiivistämistä ja pyrkii varmuuden lisäämiseen. Merkitys perustuu menetelmien tieteellisyyteen ja faktojen ”vastaansanomattomuuteen”. | Arviointitutkimus on ensisijaisesti vuorovaikutteista toimintaa, joka lisää ymmärrystä muutoshankkeesta. Merkitys perustuu uskottavaan näkemykseen ja neuvotteluun, mutta aukotonta yksimielisyyttä ei tavoitella. |
Kuten voidaan havaita ovat näiden kahden eri lähestymistavan elementit sellaisia, että ne ovat yhteisiä molemmille tai voivat toteutua vain tietyissä arviointitutkimuksissa eri painotuksin. Siinä kun määrällisessä tutkimuksessa on eksakti ja riittävän edustava tietopohja, voidaan laadullisessa tutkimuksessa käyttää mitä tahansa materiaalia, joka valottaa jotakin muutoshankkeessa olevaa tärkeää puolta. Huomio kiinnittyy vaikutuksiin ja prosessiin. Määrällisessä tutkimuksessa havaintoaineisto puolestaan koostuu rekistereistä, tilastoista ja kyselyaineistoista.
Määrällinen tutkimus on tutkijavetoista ja vastaavasti laadullisessa tutkimuksessa sidosryhmien rooli on tutkijan rinnalla merkitsevä.
Määrällinen tutkimus on tiedon tiivistämistä ja tavoitteena on varmuuden lisääminen. Menetelmät ovat tieteellisiä ja faktat ”vastaansanomattomia” ja laadullinen tutkimus on puolestaan vuorovaikutteista toimintaa, jonka tavoite on lisätä ymmärrystä muutoshankkeesta. Tavoitteena ei niinkään ole aukoton yksimielisyys, vaan uskottava näkemys ja neuvottelu ovat merkityksen perusta.
Realistinen arviointitutkimus on sen selvittämistä, mikä toimii, kenelle ja missä kontekstissa. Tavoite on saada tarkempi käsitys vaikutuksia tuottavista mekanismeista, joiden perustella voidaan tehdä johtopäätöksiä yleisemmällä tasolla.
Muutosteoreettinen arviointitutkimus on Jokisen mukaan toimiva lähestymistapa monimutkaisiin ja monitoimijaisiin muutoshankkeisiin, sillä siinä lähdetään tarkastelemaan muutoshankkeen ainutlaatuisuutta ja erityisluonnetta. painoarvo on käsityksillä muutoksen vaikutusmekanismeista ja toimenpiteistä, joilla niitä voidaan toteuttaa. Haastattelut ja työpajat sopivat tähän aineistoksi.
Formaalinen arviointitutkimus on Clarken (1999, 1) mukaan tutkimusta, jossa on määrämuotoinen kysely.
Jokisen mukaan laadullinen arviointitutkimus antaa suhteellisen vapaat kädet erilaisten tutkimusmenetelmien soveltamiseen. Siinä voidaan hyvin käyttää esimerkiksi sisällönanalyysiä, diskurssianalyysiä, narratiivisia, etnografisia ja osallistavia menetelmiä. Tällainen menetelmällinen vapaus saattaa aiheuttaa, etenkin aloittelevalle tutkijalle, päänvaivaa. Alkuun pääsee, kun lähtee perehtymään yhteen menetelmään huolella ja selvittää sen sopivuuden kyseiseen aiheeseen.
Jokinen tiivistää, että arviointinäkemyksen ja johtopäätösten muodostaminen tapahtuu laadullisen tutkimuksen spiraalina. Viitekehys rakentuu kirjallisuuteen ja empiirisiin havaintoihin perehtymisen rinnalla. Arviointitutkimuksessa kirjallisuus sisältää niin tutkimuskirjallisuutta, asiakirjoja, strategioita ja aiempia selvityksiä, joilla on vaikutusta arviointiin. Käytännössä voidaan todeta, että arviointiprosessi syntyy jatkuvien ”miniarviointien” ketjuna. Nämä ”miniarvioinnit” laajentavat ymmärrystä hankkeesta niin tutkijan, hankkeen toteuttajien kuin sidosryhmien näkökulmasta.
Arviointitutkimuksen haasteet
Kuten esimerkiksi Ilmakunnas, Junka & Uusitalo (2008, 4–5) toteavat, on vaikuttavuuden arvioinnissa haasteena se, että esimerkiksi politiikan vaikuttavuuden arviointi voidaan tehdä vasta jälkeenpäin, kun sen vaikutukset ovat havaittavissa. Tarvitaan pitkäjänteistä päätösten vaikutusten seuraamista, jotta voidaan kerätä kokemuksia uusien parempien päätösten pohjaksi. Käytännössä tämä voitaisiin toteuttaa niin, että analyysi tehdään pilottihankkeiden avulla, testaamalla uutta politiikkaa rajatulla alueella tai rajatussa kohderyhmässä ennen kuin lopullisia päätöksiä tehdään. Peruskoulu-uudistus 1970-luvulla oli tällainen hanke. Myös ammattikorkeakoulujen kehittäminen nykymuotoon on ollut tällainen hanke. Toisaalta toteuttamistavasta riippumatta vaikuttavuusarvioiden tekeminen on haastavaa. Käytännössä peruskysymys, johon aineistotutkimus pyrkii vastaamaan, on muotoa ”mitäs jos”. On aina vaativa tehtävä määritellä, mikä tekijä on se, joka lopputulokseen on aidosti vaikuttanut. Usein se on lähes mahdotonta.
Voineekin sanoa, että tutkijan tulisi loppupohdinnassa kyetä pohtimaan käyttämänsä tutkimusmenetelmän (aineiston keruu- ja analyysimenetelmän) sopivuutta tutkimukseensa kriittisesti.
