Käytännönläheiset arviointikriteerit ympäristöterveydenhuollon valvonnan vaikutusten arviointiin

Millaisia vaikutuksia suunnitelmallisella valvonnalla on?
Millaista on laadukas ympäristöterveydenhuolto?
Millä tavalla vaikutuksia ja laatua voidaan arvioida ja mitata?
Miten valvontasuunnitelmien arvioinnin kautta voidaan arvioida valvonnan vaikuttavuutta?

Aluehallintovirastolle on asetettu lainsäädännössä velvoite ohjata ja valvoa ympäristöterveydenhuoltoa alueellaan ja arvioida kuntien ympäristöterveydenhuollon järjestämistä ja toteuttamista. Arvioinnilla tarkoitetaan järjestelmällistä tarkastelua, jolla selvitetään kunnan toiminnan lainsäädännön- ja suunnitelmienmukaisuutta sekä toiminnan tehokkuutta ja sopivuutta tavoitteiden saavuttamiseksi. Arvioinnin tuloksia käytetään valvontayksiköiden valvonnan valtakunnallisessa ohjauksessa sekä lainsäädännön uudistamisessa. Arviointi- ja ohjauskäynnin tavoitteena on turvata valvonnan laatu ja yhtenäisyys sekä edistää resurssien tarkoituksen mukaista kohdentamista riskiperusteisesti. Arviointikohteen valvontaa ja muuta viranomaistoimintaa kehitetään tehtyjen arviointihavaintojen pohjalta.

Aluehallintovirasto nostaa arviointiraporteissa esiin valvontayksikön toiminnasta hyviä käytäntöjä ja vahvuuksia, esittää kehittämiskohteita ja -ehdotuksia, antaa tarvittavaa ohjausta sekä nostaa esiin korjattavia asioita. Korjattavista asioista voidaan käynnistää aluehallintovirastossa erillinen valvonta-asia. Arvioinnissa kerättyä tietoa hyödynnetään valvonnan ohjauksen kehittämisessä. Käynneillä todettuja valvontayksikön ”hyviä käytäntöjä” jaetaan valtakunnallisesti. Aluehallintovirasto hyödyntää niitä myös ohjatessaan kuntia, lainsäädäntömuutosesityksissä ja viranomaisyhteistyössä. Arviointikohde saa lisäksi arvion toiminnastaan ja ehdotuksia toimintansa parantamiseksi tai kehittämiseksi.

Esittelin vuonna 2007 sosiaali- ja terveysministeriölle, silloiselle keskusvirastolle sekä lääninhallituskollegoille kunnallisen ympäristöterveydenhuollon arviointiin liittyviä asiakohtia ja eri lähteiden sisältöjä, joita voitaisiin hyödyntää jatkossa valvontasuunnitelmien ja näiden toteutumisen arvioinnissa. Ehkä on aika palata niin sanotusti juurille, kun yhä pohditaan mitkä ovat valvonnan onnistumisen arvioinnin kriteerit ja miten valvonnan onnistumista voidaan mitata tai arvioida myös vaikuttavuuden kannalta.

Kuntien ympäristöterveydenhuollon tulee laatia selvitys valvontasuunnitelmansa toteutumisesta toimielimelle vuosittain – mitkä ovat mittarit millä toteutumista mitataan, miten valvonnan vaikuttavuutta mitataan? Miten lainsäädäntö ja valvontaohjelmien tavoitteet huomioidaan toteutumisen mittaamisessa? Valtakunnallisia mittareita ei ole vieläkään.

Seuraavassa yritän avata vaikutusten arvioinnin kriteeristöjen dilemmaa. Kirjoituksen tausta-aineistona olen hyödyntänyt lähinnä samasta aiheesta kirjoitettua kirjallisuutta.

Jokaisen yksikön tulos on ”tapauskohtainen” ja aluehallintovirasto joutuu tätä ”tapauskohtaista” toteuma-arviointia tutkimaan myös ”tapauskohtaisesti”. Valvontayksiköt eivät ole tasaveroisia lähtökohdiltaan, tämän vuoksi näiden toteuma-arviointien vertailu keskenään ei ole mahdollista. Arviointi vaatii aluehallintovirastolta yksikkökohtaista käsityötä, vaikka joidenkin asiakohtien arvioinnissa voidaan käyttää yleiskriteereitä tai –arviointiasteikkoja.

Mikä on 2020-luvulla aluehallintovirastojen ja keskusviranomaisten arviointien ”vaikutus” järjestelmässä, kun arviointia aiotaan hyödyntää paikallisen ympäristöterveydenhuollon valvonnan kehittämisessä, valvonnan toimivuuden varmistamisessa sekä ympäristöterveydenhuollon yhteisen valtakunnallisen valvontaohjelman ja toimialakohtaisten valvontaohjelmien laadinnassa?

Periaatteessa vaikutukset voivat olla hyvin merkittäviä: ehkäistään ruokamyrkytyksiä, vesivälitteisiä epidemioita ja muita terveydellisiä haittoja. Tehokkaalla ennalta ehkäisyllä voidaan säästää huomattavia summia esimerkiksi terveydenhuollossa.

Tavoitteeseen päästäkseen tulee ratkaista:

• millaisia arviointikriteereitä tai onnistumisen kuvaajia kunnallisen ympäristöterveydenhuollon vaikutusten ja laadun arvioinnissa voidaan käyttää,
• millaisia laatutekijöitä ympäristöterveydenhuollon valvonnasta voidaan tunnistaa ja käyttää arvioinnissa,
• millaisia mittaus- tai tiedonhankintavälineitä edellä mainittujen kriteerien ja laatutekijöiden arvioinnissa voidaan käyttää ja
• millainen seurantajärjestelmä kunnallisen ympäristöterveydenhuollon laadun ja vaikutusten arvioinnissa olisi hyödyllinen?

Valtakunnallisesti yhtenäinen arviointivälineistö?

On odotettu, että joku taho laatii valtakunnallisesti yhtenäisen arviointivälineistön, jonka avulla voidaan valvontatoimen vaikuttavuutta mitata. Arviointivälineiden käyttökelpoisuus edellyttää, että koottavat tiedot rajataan kaikkein oleellisimpiin. Toimiva arviointimalli on aina eräänlainen kompromissi kattavasta ja käytännöllisestä arviointivälineestä. Edellytyksenä tälle on, että välineet kuvaavat uskottavasti valvonnan onnistumista ja aikaansaannoksia, välineet ovat perusteltuja ja kohtuullisen helppokäyttöisiä.

Olisi luotava arviointijärjestelmä, joka täyttää seuraavat vaatimukset:

• arviointikriteerit vastaavat toiminnan tavoitteita ja laatuvaatimuksia,
• arviointikriteerit ja tunnusluvut ovat perusteltuja ja hyväksyttäviä, sekä kuntien valvontaviranomaisten, aluehallintovirastojen että ohjaavien keskusvirastojen hyväksymiä,
• ehdotetut arviointivälineet tuottavat uskottavia tuloksia ja
• arviointimalli ja välineet ovat suoraan käyttöönotettavia ja kohtuullisen helppokäyttöisiä (valvontasuunnitelman ja valvontakohdetietojärjestelmän hyödyntäminen).

Tuottavuusarvioinnissa tulee käyttää koottua tietoa valvontatyön suoritteista ja kustannuksista. Valvonnan maksullisuuden myötä on opittu laatimaan suoritteiden kustannuslaskelmia ja määrittelemään omakustannushintoja, joita seurataan valvontasuoritteiden yksikkökustannuksina. Tuottavuuden arviointia on mahdollista tehdä sitä mukaa, kun työajan käytöstä on seurantatietoja.

Kuntien ympäristöterveydenhuollon valvontasuunnitelmien arvioinnin perusteet ja lähtökohdat

Kuntien tulee valvontasuunnitelmien arvioinneissaan kuvata tarkastusten kattavuutta, tarkastusten ja viranomaisnäytteiden määrää valvontakohdetyypeittäin sekä valvonnasta saatujen tulojen kohdentumista.

Valvontasuunnitelman toteutumisen arvioinnissa on kuntien tarkasteltava, kuinka kattavasti suunniteltu toiminta ja siten suunnitellut tarkastukset ovat toteutuneet. Valvonnan kattavuus arvioidaan valvontakohdetyypeittäin. Kattavuutta kuvataan esimerkiksi liittämällä arviointiin selvitykset toteutuneiden tarkastusten lukumäärästä ja viranomaisnäytteenotosta valvontakohdetyypeittäin sekä valvontaprojekteihin osallistumisesta.

Kuntien tulisi toteuma-arvioinneissaan kertoa syyt tai perustelut mahdollisten toteutumatta jääneiden tavoitteiden osalta tai mahdolliset poikkeamat sekä vaadittavat toimenpiteet (esimerkiksi päätökset, resurssilisäykset, toiminnan muuttuminen, painopisteiden tarkentuminen), jotta tavoitteet voidaan toteuttaa seuraavalla tarkastelujaksolla.

Arviointikriteerinä on huomioitava myös valtakunnallisten painopisteiden ja valvontayksikön alueen painopisteiden valvonnan toteutuminen. Arvioinnissa tulee tarkastella erityyppisiin tarkastuksiin ja kohteisiin käytettyä aikaa ja verrata sitä suunniteltuun ajankäyttöön.

Kuntien tulisi arvioinneissaan esittää tarkastuksilla esiin tulleiden epäkohtien määriä ja laatua. Samoin tulee kertoa kunnan viranomaisten toimenpiteitä esiintyneiden epäkohtien korjaamiseksi ja asioiden saattamiseksi lainmukaiselle tasolle (lainsäädännön toimeenpanon valvonnan seuranta).

Toteutumisen arvioinnissa tulee esittää arvio valvonnan voimavarojen riittävyydestä suhteessa valvontatarpeeseen ja suunniteltuun toimintaan sekä paljonko resursseja on käytetty suunnitelmalliseen valvontaan ja muihin viranomaistehtäviin.

Valvontasuunnitelmaan tulee sisällyttää ympäristöterveydenhuollon organisaatioon liittyviä asioita kuten henkilöstön pätevyysvaatimukset ja osaamisen ylläpitäminen, erikoistuminen eri osa-alueisiin, toimivallansiirto- ja maksutaksapäätökset, tarkastuskäyntien yhdistelyt, voimavarojen käytön etukäteinen suunnittelu, laatuasiat, varautuminen häiriötilanteisiin, yhteistyö eri viranomaisten ja yhteistyötahojen kanssa, viestintä ja tiedottaminen.

Kunnan ympäristöterveydenhuollon valvontatoiminnalle asetettuja yleisiä vaatimuksia:

• Valvonnan on oltava niin kattavaa, että kaikki terveyttä vaarantavat tekijät voidaan tunnistaa ja ehkäistä ennen kuin niistä aiheutuu haittaa asukkaille ja kuntalaisille.
• Valvontaan siellä, missä on perusteluja riskejä, koska resurssit ovat niukat ja rajalliset on valvontatoimet suunnattava todellisen valvontatarpeen (riskinarviointiin perustuen) mukaan.
• Valvonnan on kyettävä saamaan välittömiä tuloksia niin, että toiminnanharjoittajat itse varmistavat toiminnan terveellisyyden (omavalvonta). Tällöin asiakkaiden ja kuntalaisten havaitsema epäkohta on mahdollisimman vähäinen ja samalla kyetään palvelemaan heitä niin, että havaitut haitat ja ongelmat poistetaan mahdollisimman nopeasti.
• Valvonnan on vaikutettava välillisesti toiminnanharjoittajiin niin, että nämä pitävät etujensa mukaisena toimia huolellisesti, jolloin määräysten vastaisia näytteitä tai olosuhteita on mahdollisimman vähän ja asukkaat kokevat elinympäristönsä tältä osin terveelliseksi.

Kunnallisen vaikuttavuuden arvioinnissa on tarkasteltava hyötyjen suhdetta tarpeisiin ja tavoitteisiin, missä määrin on kyetty saavuttamaan tavoiteltavan hyödyn tai missä määrin on kyetty tyydyttämään havaitut tarpeet ja millaiset tuotokset saavat aikaan toivottuja vaikutuksia.

Valvonnan vaikutusten arvioinnin yleiset lähtökohdat

Arviointiin liittyy toiminnan tavoitteiden toteutumisen analysointi. Keskeiset arvokäsitteet ovat vaikuttavuus, tarkoituksenmukaisuus, kustannustehokkuus ja vaikutusten pysyvyys. Arvioinnissa hyödynnetään vertailevaa näkökulmaa – käytännön arviointiasetelmien vertaamista erilaisiin kontrolli- ja vertailuryhmiin. Kuntien vertailu on mahdollinen vain, kun käytetään useita kriteereitä samanaikaisesti.

Itä-Suomen aluehallintovirasto on korona-aikana tehnyt kaikkien alueen kuntien ympäristöterveydenhuollon toiminnan arviointia ns. asiakirja-arviointina. Yhtäaikaisesti on tarkasteltu valvontayksiköiden valvontasuunnitelmat, toimivallan siirtopäätökset ja maksutaksapäätökset.

Valvontatyötä tekevien viranomaisten vaikutuskanavat ovat rajattuja ja vaikutusketjut moniportaisia. Vaikutusten ja laadun arviointi on osa toiminnan tuloksellisuuden ja tehokkuuden arviointia. Vaikuttavuuden arvioinnissa tarkastellaan hyötyjen suhdetta tarpeisiin ja tavoitteisiin. Vaikutukset näkyvät viime kädessä jonkin asian tilan paranemisena tai tiettyjen ongelmien ja haittojen vähäisyytenä tai puuttumisena kokonaan. Valvonnan tulokset näkyvät parhaiten havaittujen haittatekijöiden vähentämisessä ja poistamisessa.

Kuntien tulisi panostaa oman toimintansa toteutumisen arviointiin ja asettaa tavoitteet sekä laatia kriteeristö vaikuttavuuden mittaamiseen. Itä-Suomen aluehallintovirasto on arviointi- ja ohjauskäynneillään ohjeistanut ympäristöterveydenhuollon yksiköitä, että ympäristöterveydenhuollon toteuttamien viranomaistehtävien vaikuttavuutta, ennalta ehkäisevän työn määrää sekä merkitystä terveellisen elinympäristön kannalta olisi tuotava esiin aiempaa aktiivisemmin muun muassa suunniteltaessa, strategian laadinnassa sekä osana sidosryhmäyhteistyötä.

Vaikutusten arvioinnin tavoitteiden tulee olla käytännöllisiä. Tarkoituksena on tuottaa arviointitietoja, jotka kertovat esimerkiksi onko toiminnan nykyinen kohdentuminen perusteltua tai seuraako nykyisistä toimintatavoista konkreettisia hyötyjä. Vaikutusten arvioinnilla ei pyritä lopullisiin vastauksiin valvontatyön yhteiskunnallisesta arvosta – ovatko valvonnan hyödyt suuremmat kuin sen kustannukset.

Laadun arvioinnissa tarkastellaan miten hyvin toiminta vastaa tarkoitustaan ja niitä tarpeita, joita sen pitää tyydyttää. Vaikutusten ja laadun arviointia voidaan mitata joidenkin asioiden määränä, joka korostaa useiden kriteereiden käyttöä samanaikaisesti. Arvioitaessa toimintaa monesta näkökulmasta voidaan varmistaa, että toiminnan laadulliset seikat sisältyvät kuvauksiin.

Arvioinnin käyttökelpoisuus riippuu muun muassa siitä,

• miten uskottavasti tiedot kertovat kunnallisen valvonnan onnistumisesta,
• miten hyväksyttäviä arviointivälineet ovat lähtökohdiltaan sekä
• miten helppokäyttöisiä tai käytännöllisiä arviointivälineet ovat jatkuvassa seurannassa.

Yleensä laadulla viitataan tuotteiden ja palvelujen toivottaviin ominaispiirteisiin eli sellaisiin tekijöihin, jotka tuottavat hyötyä asiakkaille tai laajemmalle yhteisölle. Vaikutusten arvioinnin tavoitteena voi olla erimerkiksi aiottujen (suunniteltujen, tavoiteltujen) ja ei-aiottujen sekä myönteisten ja kielteisen vaikutusten systemaattinen identifiointi.

Vaikutusten arvioinnin keskeiset kriteerit ovat

• ohjelmien, suunnitelmien tarvelähtöisyyden todentaminen,
• vaikuttavuus (missä määrin asetetut tavoitteet ovat saavutettu),
• kustannustehokkuus (missä määrin vaikutukset olisi saatu aikaan tarkoituksenmukaisella tavalla resurssien käyttöä lisäämällä),
• vaikutusten pysyvyys (todennäköisyys, missä määrin ohjelman, suunnitelman vaikutukset jäävät voimaan ohjelma- tai suunnitelmakauden päättymisen jälkeen),
• institutionaaliset vaikutukset (toiminnan kehittymisen heijastusvaikutukset) ja
• sisäinen suorituskyky (miten valvontaprosessi on kokonaisuudessaan toteutunut).

Arviointinäkökulmiin liittyviä käsitteitä eli arviointikriteereitä

Vaikutusten tavoitteena voidaan selvittää esimerkiksi:

• millaisia arviointikriteereitä tai onnistumisen kuvaajia kunnallisen ympäristöterveydenhuollon vaikutusten ja laadun arvioinnissa voidaan käyttää,
• millaisia laatutekijöitä valvonnan tarkastustoiminnassa voidaan tunnistaa ja käyttää arvioinnissa,
• miten kuntien valvontasuunnitelma (kunnan omaa arviointia, raportointietoja) voidaan käyttää vaikutusten kriteerien ja laatutekijöiden arvioinnissa,
• millainen arviointijärjestelmä kunnallisen ympäristöterveydenhuollon laadun ja vaikutusten arvioinnissa olisi hyödyllinen ja
• millaisia valvonnan toiminnalliseen laatuun tai vaikuttavuuteen liittyviä, aluehallintoviraston arvioinnissa tehtyjä havaintoja ja kehittämisehdotuksia voidaan liittää valvontayksikkökohtaisiin arviointiraportteihin ja kuinka niitä seurataan.

Itä-Suomen aluehallinvirasto on tehnyt erillisen valvontahankkeen ympäristöterveydenhuollon valvontayksiköiden arviointi- ja ohjauskäynneillä esitettyjen kehittämis- ja korjaustoimenpiteiden toteutumisesta. Arviointi- ja ohjauskäyntejä koskeva jälkivalvonta oli edellisen ohjelmakauden osalta toteutettu kootusti kaikkiin valvontayksiköihin ohjelmakauden viimeisen arviointi- ja ohjauskäynnin raportoinnin päätyttyä.

Arviointitehtävässä otetaan huomioon hyvän valvonnan kriteerit, ja miten valvonnan toimivuus liittyy sääntelyn noudattamiseen ja sääntelyn tuottamiin vaikutuksiin. Ilman tietoon perustuvaa ennakkoon suunniteltua valvontaa, valvontaviranomainen itse päättää mitä ja miten valvontaan, mitä sillä tavoitellaan ja mihin resursseja käytetään. Tietoa tarvitaan myös siinä vaiheessa, kun arvioidaan valvontatoiminnan vaikuttavuutta ja tehokkuutta. Tietoa tulee myös analysoida, jotta voidaan toimintaa kehittää ja kohdentaa resursseja oikea-aikaisesti ja oikeaan paikkaan.

Ympäristöterveydenhuollon valvontayksiköiden tulisi itsearvioida omaa toimintaansa ja hyödyntää arviointiraportteja joustavasti. Yksikkö voi luoda myös omat mittaristot ja kriteerit omien tavoitteittensa mittaamista varten. Tärkein mittari on asiakastyytyväisyys ja asiakasnäkökulman huomioon ottaminen kaikessa toiminnassa.

Valvonnan vaikuttavuus – onko se periaatteessa ongelmallista määrittää? Mitä ja miten valvonta vaikuttaa välillisesti todelliseen lopputulokseen, kuten terveyshaittojen kustannusten pienenemiseen tai sairastuneiden määrän vähenemiseen. Pelkästään suunniteltujen tarkastusten lukumäärä suhteessa toteutettuihin tarkastuksiin ei kuvaa vaikuttavuutta. Vaan se, miten havaitut epäkohdat korjataan, jotta mahdolliset haitat ja riskit olisivat mahdollisimman pieniä.

Kirjoittaja

Anne-Kaarina Lyytinen
ympäristöterveydenhuollon ylitarkastaja
Itä-Suomen aluehallintovirasto

Tausta-aineistot:

Arviointivälineitä kunnalliseen ympäristöterveydenhuoltoon. Terho Vuorela 1996
Arviointi. Arviointitiedon luonne, tuottaminen ja hyödyntäminen. Petri Virtanen 2007
OECD, Regulatory enforcement, and inspections https://www.oecd.org/gov/regulatory-enforcement-and-inspections-9789264208117-en.htm. 2014

Arvioinnin periaatteen (mukaillen Virtasen, 2007 aineistoa) liitteet:

Liitteet

1. liite: Suunnitelma-arvioinnin tarkistuslista

2. liite: Arvioinnin tekijöille suunnattu, toimintaa ohjaava tarkistuslista

3. liite: Arvioinnin tarkistuslista

4. liite: Arviointitoiminnan standardit, laatustandardit ja hyvät käytännöt

5. liite: Suunnitelmien vaikuttavuuden arvioinnin tarkistuslista