”Sijoitus voi siksi [koulun pienen koon vuoksi] vaihdella paljonkin, mutta ei koulun opetuksen taso samaan tahtiin voi vaihdella. Vertailussa auttaa paljon, jos otetaan huomioon lukion lähtökeskiarvo. Mutta pitäisi ottaa huomioon myös koulujen eri koko.” (Yle.fi 28.5.2013)
“Kokonaan toinen asia olisi yrittää mitata lukion vaikuttavuutta eli lisäarvoa tai “arvonmenetystä”: leipooko yksi lukio peruskoulun armoviitosillakin läpäisseistä kelpo ylioppilaita, ja onnistuuko toinen lukio tukahduttamaan peruskoulussa loistaneiden motivaation. Ratkaisuksi eli lähtötason paljastajaksi on tarjottu peruskoulun päättötodistusta, mutta mittarina se on varsin epätarkka. Opetushallituksen osaamistesteissä on havaittu todellisen osaamisen ja arvosanan välillä jopa kahden numeron heittoja, jotka voivat olla myös systemaattisia.” (HS.fi 29.5.2013)
Miten osaamisen ja opettamisen tasoa tulee mitata? Voidaanko kouluja, oppilaita tai opettajia asettaa paremmuusjärjestykseen ja mikäli voidaan, millaisia kriteereitä kyseisen järjestyksen luomiseen tulisi käyttää?
Lienee selvää, ettei edellä esitettyihin kysymyksiin ole yksiselitteisiä vastauksia. Siitä huolimatta joka vuosi kohistaan Helsingin Sanomien lukiovertailusta, jossa lukiot asetetaan paremmuusjärjestykseen sen mukaan, kuinka hyvin niiden oppilaat ovat keskimäärin ylioppilastutkinnossa kyseisenä vuonna pärjänneet. Joka vuosi tähän keskusteluun liittyy kritiikkiä siitä, että mittausta tulisi muuttaa ottamalla huomioon erinäisiä asioita, kuten oppilaiden lähtötaso tai koulun koko kuten yllä olevista lainauksista tulee ilmi. Viime vuonna STT päätti muuttaa sanat teoiksi ja rakensi oman lukiovertailunsa, jossa otettiin huomioon oppilaiden lähtötaso (eli peruskoulun päättötodistuksen keskiarvojen keskiarvo) lukioita vertaillessa. Ykkössijan sai lukio, joka tuotti eniten “lisäarvoa” eli jonka oppilaat pärjäsivät ylioppilastutkinnossa paremmin kuin heidän lähtötasonsa antoi olettaa.
Olimme jo pitkään ystäväni kanssa kehitelleet vastaavaa vertailua ennen kuin STT julkaisi omansa. Uutisen myötä oma vertailumme jäi pölyttymään pöytälaatikkoon. Tallensin kuitenkin STT:n vertailun avoimen datan koneelleni sateisen päivän varalle. Tänä keväänä Yle julkaisi vertailun, jossa huomioon otettiin koko 2000-luvun ylioppilastutkintotulokset. Yhdistämällä tietoja näistä kahdesta lähteestä sekä Hesarin uusimmasta lukiorankingista, loin tietokannan, jonka avulla asiaan saattoi perehtyä syvällisemmin kuin vain yhden tai kahden muuttujan avulla. Saatavilla oli tieto vuosien 2012 ja 2013 puoltoäänien keskiarvosta, koko 2000-luvun puoltoäänien keskiarvo ja keskihajonta (joista jälkimmäistä voidaan pitää mittarina lukion tuloksen tasaisuudesta siten, että pieni keskihajonta tarkoittaa tasaista tulosta ja suuri keskihajonta epätasaista), kirjoittaneiden määrä vuosina 2012 ja 2013 sekä kunta ja maakunta, jossa lukio sijaitsee. Päätin tarkastella, mitkä asiat vaikuttavat pitkäaikaiseen hyvään menestykseen (eli 2000-luvun puoltoäänien keskiarvoon).
Kun tarkastellaan edellä mainittujen muuttujien vaikutusta puoltoäänien pitkäaikaiseen keskiarvoon yksitellen lineaarisella regressiomallilla, näyttää siltä, että jokaisella niistä on merkitystä. Mitä epätasaisempia tuloksia lukio tuottaa, sitä huonommat puoltoäänet kun taas suuri koko parantaa tulosta hieman (sadan oppilaan lisäys n.1 puoltoäänen), korkea sisäänpääsykeskiarvo (yhden yksikön lisäys keskiarvossa tuottaa 2,8 puoltoääntä lisää keskimäärin) ja ruotsinkielisyys (keskimäärin 1,2 puoltoääntä enemmän kuin suomenkielisillä lukioilla) enemmän. Uuteenmaahan verrattuna kaikkien muiden maakuntien lukiot näyttävät pärjäävän huonommin, vaikkakaan ero ei aina ole tilastollisesti merkitsevä. Yli yhden puoltoäänen päässä Uudestamaasta ovat Lappi, Etelä-Pohjanmaa, Etelä-Savo, Kainuu ja Kanta-Häme.
Yleensä kuitenkin on hyödyllistä tarkastella useiden muuttujien vaikutusta yhtäaikaa sen sijaan, että pohdittaisiin jokaisen vaikutusta erikseen. Lisäsin kaikki edellä mainitut muuttujat samaan malliin ja lisäksi otin huomioon vielä sisäänpääsykesiarvon neliön, mikä käytännössä tarkoittaa sitä, ettei sen ja puoltoäänien määrän oleteta riippuvan toisistaan ainoastaan lineaarisesti. Näyttääkin siltä, että sisäänpääsykeskiarvon ja puoltoäänien välinen yhteys on melko tasainen ala- ja keskikastin lukioissa, kun taas 8,5 sisäänpääsykeskiarvon jälkeen puoltoäänien määrä ampaisee hurjaan nousuun. Ruotsinkieliset lukiot pärjäävät keskimäärin 1,5 puoltoääntä paremmin kuin suomenkieliset. Tasaista tulosta tuottavat lukiot pärjäävät keskimäärin paremmin kuin epätasaista tuottavat. Lukion koolla ja sijainnilla ei enää juurikaan ole merkitystä, kun sisäänpääsykeskiarvo, tuloksen tasaisuus ja ruotsinkielisyys on otettu huomioon.
Mikä lukio sitten on paras lukio? Mikäli halutaan selvittää, mikä lukio tuottaa eniten ”lisäarvoa” opiskelijalle, eli tuottaa mahdollisimman hyvät puoltoäänet ottaen huomioon opiskelijoiden lähtötason, voidaan tarkastella viimeisimmän regressiomallin residuaaleja. Ne kertovat, mitkä lukiot pärjäävät paremmin kuin regressiomalli keskimäärin olettaa ja mitkä huonommin. Residuaalitarkastelun perusteella näyttää siltä, että perinteisesti huippuina pidetyt lukiot pärjäävät juuri niin hyvin kuin niiden voi olettaakin pärjäävän: esimerkiksi Ressun ja SYK:in residuaalit ovat lähellä nollaa, mikä on merkki siitä. Mitä kauempana nollasta, sitä poikkeavampia tuloksia lukio tuottaa.
Kuinka vakavasti tämä analyysi tulisi ottaa? Käyttämässäni datassa on useita puutteita. On kyseenalaista, voinko päätellä em. asioita sisäänpääsykeskiarvon ja lukion koon suhteen, sillä ne ovat tiedossa vain vuosilta 2012 ja/tai 2013, kun taas puoltoäänien määrä on koko 2000-luvun keskiarvo. Ideaalitilanteessa tulisi käyttää sisäänpääsykeskiarvoja ja kokoa vastaavilta vuosilta. Oletan kuitenkin, etteivät nämä ole muuttuneen niin dramaattisesti, etteikö ainakin suuntaa-antavia tuloksia voitaisi niiden perusteella laskea. Lisäksi malleissa ovat mukana vain ne 370 lukiota, joilta saatavissa kaikki tiedot vaikka Suomessa on yli 400 lukiota. Tässä analyysissa esimerkiksi kaikki aikuislinjat puuttuvat. Näiden lisäksi ollaan vielä jo alussa mainitsemieni perustavanlaatuisten mittaamiseen liittyvien ongelmien äärellä.
Neuvoni onkin olla ottamatta tätä (tai mitään muutakaan) rankingia ainoana oikeana totuutena. Etenkin jokaisen lukiovalintaa pohtivan oppilaan tulisi muistaa, ettei tällaisilla agregaattitason vertailuilla voida sanoa mitään yksilötason tuloksesta. Lisäksi painottamalla rankingissa erilaisia asioita saadaan erilaisia tuloksia, joiden hyödyllisyys vaihtelee riippuen siitä, mitä niiden avulla halutaan sanoa. Toisaalta, vaikka peruskoulun päättötodistus ei olisi hyvä osaamismittari, veikkaan, että ilmapiiri koulussa, johon mennään keskiarvolla 9,5 on hyvin erilainen kuin koulussa, jossa kuka tahansa pyrkijä pääsee sisään. Kympin oppilaiden opiskelumotivaatio ja luottamus omaan kouluosaamiseensa lienevät ihan eri tasoa kuin vitosen oppilaiden riippumatta siitä, miten nämä numerot mittaavat “todellista” osaamista. Ehkäpä rankingit kertovatkin jotain lähinnä koulun opiskelumyönteisestä ilmapiiristä?
Heini Väisänen 