”Sijoitus voi siksi [koulun pienen koon vuoksi] vaihdella paljonkin, mutta ei koulun opetuksen taso samaan tahtiin voi vaihdella. Vertailussa auttaa paljon, jos otetaan huomioon lukion lähtökeskiarvo. Mutta pitäisi ottaa huomioon myös koulujen eri koko.” (Yle.fi 28.5.2013)
“Kokonaan toinen asia olisi yrittää mitata lukion vaikuttavuutta eli lisäarvoa tai “arvonmenetystä”: leipooko yksi lukio peruskoulun armoviitosillakin läpäisseistä kelpo ylioppilaita, ja onnistuuko toinen lukio tukahduttamaan peruskoulussa loistaneiden motivaation. Ratkaisuksi eli lähtötason paljastajaksi on tarjottu peruskoulun päättötodistusta, mutta mittarina se on varsin epätarkka. Opetushallituksen osaamistesteissä on havaittu todellisen osaamisen ja arvosanan välillä jopa kahden numeron heittoja, jotka voivat olla myös systemaattisia.” (HS.fi 29.5.2013)
Miten osaamisen ja opettamisen tasoa tulee mitata? Voidaanko kouluja, oppilaita tai opettajia asettaa paremmuusjärjestykseen ja mikäli voidaan, millaisia kriteereitä kyseisen järjestyksen luomiseen tulisi käyttää?
Lienee selvää, ettei edellä esitettyihin kysymyksiin ole yksiselitteisiä vastauksia. Siitä huolimatta joka vuosi kohistaan Helsingin Sanomien lukiovertailusta, jossa lukiot asetetaan paremmuusjärjestykseen sen mukaan, kuinka hyvin niiden oppilaat ovat keskimäärin ylioppilastutkinnossa kyseisenä vuonna pärjänneet. Joka vuosi tähän keskusteluun liittyy kritiikkiä siitä, että mittausta tulisi muuttaa ottamalla huomioon erinäisiä asioita, kuten oppilaiden lähtötaso tai koulun koko kuten yllä olevista lainauksista tulee ilmi. Viime vuonna STT päätti muuttaa sanat teoiksi ja rakensi oman lukiovertailunsa, jossa otettiin huomioon oppilaiden lähtötaso (eli peruskoulun päättötodistuksen keskiarvojen keskiarvo) lukioita vertaillessa. Ykkössijan sai lukio, joka tuotti eniten “lisäarvoa” eli jonka oppilaat pärjäsivät ylioppilastutkinnossa paremmin kuin heidän lähtötasonsa antoi olettaa.
Olimme jo pitkään ystäväni kanssa kehitelleet vastaavaa vertailua ennen kuin STT julkaisi omansa. Uutisen myötä oma vertailumme jäi pölyttymään pöytälaatikkoon. Tallensin kuitenkin STT:n vertailun avoimen datan koneelleni sateisen päivän varalle. Tänä keväänä Yle julkaisi vertailun, jossa huomioon otettiin koko 2000-luvun ylioppilastutkintotulokset. Yhdistämällä tietoja näistä kahdesta lähteestä sekä Hesarin uusimmasta lukiorankingista, loin tietokannan, jonka avulla asiaan saattoi perehtyä syvällisemmin kuin vain yhden tai kahden muuttujan avulla. Saatavilla oli tieto vuosien 2012 ja 2013 puoltoäänien keskiarvosta, koko 2000-luvun puoltoäänien keskiarvo ja keskihajonta (joista jälkimmäistä voidaan pitää mittarina lukion tuloksen tasaisuudesta siten, että pieni keskihajonta tarkoittaa tasaista tulosta ja suuri keskihajonta epätasaista), kirjoittaneiden määrä vuosina 2012 ja 2013 sekä kunta ja maakunta, jossa lukio sijaitsee. Päätin tarkastella, mitkä asiat vaikuttavat pitkäaikaiseen hyvään menestykseen (eli 2000-luvun puoltoäänien keskiarvoon).
Kun tarkastellaan edellä mainittujen muuttujien vaikutusta puoltoäänien pitkäaikaiseen keskiarvoon yksitellen lineaarisella regressiomallilla, näyttää siltä, että jokaisella niistä on merkitystä. Mitä epätasaisempia tuloksia lukio tuottaa, sitä huonommat puoltoäänet kun taas suuri koko parantaa tulosta hieman (sadan oppilaan lisäys n.1 puoltoäänen), korkea sisäänpääsykeskiarvo (yhden yksikön lisäys keskiarvossa tuottaa 2,8 puoltoääntä lisää keskimäärin) ja ruotsinkielisyys (keskimäärin 1,2 puoltoääntä enemmän kuin suomenkielisillä lukioilla) enemmän. Uuteenmaahan verrattuna kaikkien muiden maakuntien lukiot näyttävät pärjäävän huonommin, vaikkakaan ero ei aina ole tilastollisesti merkitsevä. Yli yhden puoltoäänen päässä Uudestamaasta ovat Lappi, Etelä-Pohjanmaa, Etelä-Savo, Kainuu ja Kanta-Häme.
Yleensä kuitenkin on hyödyllistä tarkastella useiden muuttujien vaikutusta yhtäaikaa sen sijaan, että pohdittaisiin jokaisen vaikutusta erikseen. Lisäsin kaikki edellä mainitut muuttujat samaan malliin ja lisäksi otin huomioon vielä sisäänpääsykesiarvon neliön, mikä käytännössä tarkoittaa sitä, ettei sen ja puoltoäänien määrän oleteta riippuvan toisistaan ainoastaan lineaarisesti. Näyttääkin siltä, että sisäänpääsykeskiarvon ja puoltoäänien välinen yhteys on melko tasainen ala- ja keskikastin lukioissa, kun taas 8,5 sisäänpääsykeskiarvon jälkeen puoltoäänien määrä ampaisee hurjaan nousuun. Ruotsinkieliset lukiot pärjäävät keskimäärin 1,5 puoltoääntä paremmin kuin suomenkieliset. Tasaista tulosta tuottavat lukiot pärjäävät keskimäärin paremmin kuin epätasaista tuottavat. Lukion koolla ja sijainnilla ei enää juurikaan ole merkitystä, kun sisäänpääsykeskiarvo, tuloksen tasaisuus ja ruotsinkielisyys on otettu huomioon.
Mikä lukio sitten on paras lukio? Mikäli halutaan selvittää, mikä lukio tuottaa eniten ”lisäarvoa” opiskelijalle, eli tuottaa mahdollisimman hyvät puoltoäänet ottaen huomioon opiskelijoiden lähtötason, voidaan tarkastella viimeisimmän regressiomallin residuaaleja. Ne kertovat, mitkä lukiot pärjäävät paremmin kuin regressiomalli keskimäärin olettaa ja mitkä huonommin. Residuaalitarkastelun perusteella näyttää siltä, että perinteisesti huippuina pidetyt lukiot pärjäävät juuri niin hyvin kuin niiden voi olettaakin pärjäävän: esimerkiksi Ressun ja SYK:in residuaalit ovat lähellä nollaa, mikä on merkki siitä. Mitä kauempana nollasta, sitä poikkeavampia tuloksia lukio tuottaa.
Kuinka vakavasti tämä analyysi tulisi ottaa? Käyttämässäni datassa on useita puutteita. On kyseenalaista, voinko päätellä em. asioita sisäänpääsykeskiarvon ja lukion koon suhteen, sillä ne ovat tiedossa vain vuosilta 2012 ja/tai 2013, kun taas puoltoäänien määrä on koko 2000-luvun keskiarvo. Ideaalitilanteessa tulisi käyttää sisäänpääsykeskiarvoja ja kokoa vastaavilta vuosilta. Oletan kuitenkin, etteivät nämä ole muuttuneen niin dramaattisesti, etteikö ainakin suuntaa-antavia tuloksia voitaisi niiden perusteella laskea. Lisäksi malleissa ovat mukana vain ne 370 lukiota, joilta saatavissa kaikki tiedot vaikka Suomessa on yli 400 lukiota. Tässä analyysissa esimerkiksi kaikki aikuislinjat puuttuvat. Näiden lisäksi ollaan vielä jo alussa mainitsemieni perustavanlaatuisten mittaamiseen liittyvien ongelmien äärellä.
Neuvoni onkin olla ottamatta tätä (tai mitään muutakaan) rankingia ainoana oikeana totuutena. Etenkin jokaisen lukiovalintaa pohtivan oppilaan tulisi muistaa, ettei tällaisilla agregaattitason vertailuilla voida sanoa mitään yksilötason tuloksesta. Lisäksi painottamalla rankingissa erilaisia asioita saadaan erilaisia tuloksia, joiden hyödyllisyys vaihtelee riippuen siitä, mitä niiden avulla halutaan sanoa. Toisaalta, vaikka peruskoulun päättötodistus ei olisi hyvä osaamismittari, veikkaan, että ilmapiiri koulussa, johon mennään keskiarvolla 9,5 on hyvin erilainen kuin koulussa, jossa kuka tahansa pyrkijä pääsee sisään. Kympin oppilaiden opiskelumotivaatio ja luottamus omaan kouluosaamiseensa lienevät ihan eri tasoa kuin vitosen oppilaiden riippumatta siitä, miten nämä numerot mittaavat “todellista” osaamista. Ehkäpä rankingit kertovatkin jotain lähinnä koulun opiskelumyönteisestä ilmapiiristä?
Heini Väisänen 
Jos keskitytään siihen, kuinka oppilaat on parantaneet tuloksiaan lukiossa, niin miten huomioidaan se, että jo valmiiksi huipuilla oppilailla ei ole juurikaan enää varaa parantaa tuloksiaan, kun taas keskiverroilla tai huonoilla oppilailla on madollisuus korottaa tuloksiaan ihan kunnolla. Eli koulut, joihin paasee huipputuloksilla voi silti olla parempia, vaikka tulokset eivät siellä nousisikaan yhtä paljon, kuin jossain muissa, joissa on varaa parantaa. Jo valmiiksi 9,5 keskiarvoja saavat oppilaat eivät voi parantaa yhtä paljoa, kuin oppilaat, joiden keskiarvo on 8,5.
Jep, tämä vaikuttaa eniten siihen perinteisessä rankingissa yläpäässä oleviin lukioihin. Ehkä esim. Ressu ei pärjää residuaalirankingissa, koska sen on vaikeampaa tuottaa enää parempia tuloksia kuin lähtöoletukset antavat ymmärtää. Uskon silti, että juuri tuo lopussa mainitsemani opiskelukokemus on varmasti siellä oikein hyvä useimmille opiskelijoille ja siksi yo-kirjoituksissakin pärjätään.
Eiks tääkin pitäis tehdä sisäänpäässeiden mediaanikeskiarvon mukaan eikä sen koko lukioon päässeistä huonoimman mukaan?
Tämä on tehty sisäänpäässeiden keskiarvojen keskiarvon mukaan (ei siis alin ka). Käyttäisin mielelläni muitakin mittareita, mutta en ole löytänyt dataa mistään! Tiedoksi kuitenkin, että mainitsemassani pöytälaatikkoanalyyissa Veikon kanssa käytimme alinta keskiarvoa eivätkä tulokset olleet dramaattisesti erilaisia.
Kiinnostuneille tiedoksi, että lukiot voidaan rankata myös sellaisen mallin perusteella, jossa sekä sisäänpääsykeskiarvosta ja puoltoäänien määrästä on otettu logaritmit, jolloin tulos kuvaa suhteellista muutosta (esim. mallissani 10% lisäys sisäänpääsykeskiarvoon paransi puoltoääniä 13%). Tässä mallissa yhteyksien suunnat ovat samat kuin aiemmassa analyysissa, mutta residuaalirankingin tulokset ovat hieman erilaisia. Enimmäkseen ylä- ja ala-top 10 on sama kuin aiemminkin, mutta esimerkiksi keskustelua herättänyt Ressun lukio ei olekaan enää nollassa residuaaliensa kanssa, vaan n. 1,5 yksikköä plussan puolella eli tuottaa siis “lisäarvoa”. Tässä mallissa etuna se, että tulokset vähemmän vinoutuneita (bias) kuin edellisessä päätellen siitä, että residuaalit ovat tasaisemmin jakautuneita. Muunlaisilla analyyseilla saatadaan muita tuloksia! Halukkaat pyytäkööt datan minulta, ja olisi kivaa jos myös linkkaisitte tuloksianne tänne 🙂
Linkki kuvioon tässä: https://www.dropbox.com/s/98a4019ljdmjfix/residuaalit%20ln.jpg
Top ja bottom 10 tässä:
1 Hatanpään lukio (Tampere)
2 Helsingin ranskalais-suomalainen koulu
3 Englantilainen koulu (Helsinki)
4 Sipoon lukio
5 Ähtärin lukio
6 Punkaharjun lukio (Savonlinna)
7 Oulun normaalikoulu
8 Jyväskylän Lyseon lukio
9 Kuopion Lyseon lukio
10 Muurolan lukio (Rovaniemi)
361 Harjavallan lukio
362 Kimitoöns gymnasium
363 Länsi-Helsingin lukio
364 F.E. Sillanpään lukio (Hämeenkyrö)
365 Haukilahden lukio (Espoo)
366 Rantasalmen lukio
367 Kuninkaantien lukio (Espoo)
368 Porin lyseon lukio
369 Pälkäneen lukio
370 Yhtenäiskoulun lukio (Helsinki)
Multicollinearity? Principal component analyysi?
Multikollineaarisuus ei liene ongelma muiden muuttujien kohdalla, mutta se vaikuttanee siihen, ettei lukion koko ole analyysissa merkitsevä, sillä se korreloi keskihajonnan kanssa melko voimakkaasti (-0,61) mikä ei ole yllättävää, koska on helppo ymmärtää, miksi ne mittaavat osittain samoja asioita. Mielestäni keskihajonta on kuitenkin mielenkiintoisempi mittari tässä yhteydessä, sillä se kertoonee enemmän sattuman vaikutuksesta tuloksiin kuin pelkkä lukion koko. Mitä pääkomponenttianalyysiin tulee, niin mulle on opetettu käyttämään sitä hyvin säästeliäästi. Faktorianalyysi saattaisi olla vaihtoehto, mikäli haluaa kokeilla, millaisia tuloksia se näyttäisi. Jos olet kiinnostunut kokeilemaan, niin multa voi pyytää datan!
Reputtaneet pitäisi huomioida tilastossa heidän saamallaan puoltoäänimäärällä.
Nykyisissä median julkaisemissa tilastoissa parempi lukio sellainen, jossa viisi oppilasta saa puoltoääniä 16, 16, 16, 0 ja 0 (hyväksyttyjen keskiarvo 16), kuin sellainen, jossa puoltoäänet ovat 5 x 15 (hyväksyttyjen keskiarvo vain 15).
Sitäkään näissä median jutuissa ei koskaan huomioida, että neljän pakollisen aineen puoltoäänet eivät ole keskenään verrannollisia.
Jossakin lukiossa kirjoitetaan keskimääräistä enemmän pitkää matikkaa. Siitä saatu M on paljon kovempi suoritus kuin M lyhyestä matematiikasta. Tilastossa ne ovat saman arvoisia. Samoin pakolliseksi valitut reaaliaineet vaihtelevat. Pitkän ja lyhyen fysiikan arvosanat eivät ole vertailukelpoisia jne.
Olen pitkään ollut sitä mieltä, että kustakin aineesta pitäisi olla vain yksi yo-koe. Siis esim. yksi ainoa matematiikan koe, josta lyhyen oppimäärän kiitettävällä osaamisella voi saada C:n tai jopa M:n, mutta E ja L ovat vain kiitettävästi pitkän oppimäärän osanneille “varattuja”. Myös vieraita kieliä on turha erotella. Laitetaan yksi saksan koe, josta voi saada L:n lähinnä vain jos on lukenut kiitettävästi A-saksan (tai muuten osaa saksaa hyvin). C- ja D-saksan lukijatkin pääsevät kokeesta läpi, mutta arvosana parhaille olisi ehkä C tai M.
Olen opettanut ns. eliittilukioissa ja vetänyt myös abikursseja näille oppilaille. En sanoisi että korkean keskiarvon kouluissa on opiskelumyönteinen ilmapiiri. Sen sijaan sanoisin että näissä kouluissa on suorituskeskeinen ja stressaantunut ilmapiiri. Asioista ei olla kiinnostuneita, vaan arvosanoista. Iso osa näistä lapsista ovat vanhempiensa projekteja, joita grillataan kolme vuotta että päästään näyttämään sukulaisille lukiolaisen suoritusta (ja samalla tietysti asuntoa ja pihalla olevaa uutta autoa).
Kaikista mukavinta on opettaa lukioissa, joissa sisäänpääsyraja on korkea, mutta ei mitään huippua (esim. 8,0-8,5). Näissä opiskelijat ovat positiivisia ja kiinnostuneita, mutta eivät ahdistuneita. Aikaa jää muuhunkin kun suorittamiseen ja käytävillä on yleisesti ottaen avarakatsaisempi ilmapiiri kuin rikkaiden muksujen oppilaitoksissa.
Neuvoni lukioon menevälle: hae hyvään lukioon, mutta älä noihin perinteisten ranking-listojen top10 lukioihin.
Hienot ovat tilastolliset analyysit, mutta tuloksien luotettavuutta painaa se, että koska peruskoulujen päästötodistusten arvosanat eivät Suomessa perustu valtakunnallisiin tasokokeisiin, numeroiden vastaavuus todellisen oppilasmateriaalin tason kanssa on vähintäänkin kyseenalainen. Nyt vielä kun kiinnostus on yleensä suurinta näiden parhaita tuloksia yo-kirjoituksissa saaneiden koulujen (lue: oppilasmateriaalin) vertailussa, näihin pyrkii ja pääsee sisään oppilaita, joiden lukuaineiden keskiarvot peruskoulun päästötodistuksessa ovat sieltä kärkipäästä.
Kuitenkin heikommin suoriutuvien seassa voi sellainen oppilas saada päästötodistuksen numeroikseen helposti kymppejä, joka kovimman tason oppilaiden seassa saisi vain kaseja. Tällaisesta koulusta siis pääsee hieman (valtakunnallista) keskivertoa parempi oppilas helposti lukioihin, joihin on kaikkein vaikeinta päästä, vaatien jopa yli 9 keskiarvon lukuaineista. Tämä on myös merkittävä tasavertaisuusongelma, jota lisää vielä erityisesti suurten kaupunkien nopeasti kasvanut osuus oppilaita, joihin sovelletaan nk. positiivisen diskriminaation arvosteluperusteita. Periaatteessa oppilaiden jakaminen tason mukaan eri kouluihin on sikäli kannatettava idea, että nopeammin oppiville voidaan opettaa vaativampaa tietoa ja taitoa, ja hitaammin oppiville on syytä keskittyä perusteisiin. Vähän siis kuin tasokurssit – jos siis em. ongelmaa ei olisi.
Parhaiten lukion ilmapiirin tai opettajien (jotka tosin voivat vaihtua) taitoa ehkä kuvaisi “lähtötason” nousu silloin, kun lukion sisäänpääsyraja ei ole erityisen korkealla _ja_ alueella on myös “suositumpia”, hankalammin sisään päästäviä lukioita. Tällöin huippusuorittajista osa on karsiutunut pois, materiaali siis ehkä keskimääräistä heikommin suoriutuvaa tai korkeintaan keskinkertaista, mutta silti kirjoitustulokset hyvät. Tällöin on suuremmat takeet siitä, että opettajien laatu on hyvä, eivätkä tulokset johdu vain oppilasmateriaalista. Tosin jos kirjoittajien määrä ei ole kovin suuri, varianssi kasvaa.
Painottaisin vertailussa myös varsinkin pitkän matematiikan arvosanoja, ylivoimaisesti vaativimpana ja työläimpänä aineena. Toisaalta huomioisin sekä tulokset neljän pakollisen aineen osalta, että kaikkien aineiden puoltoäänien keskiarvon. Painotukset kolmelle mainitulle esim. suhteessa 25:30:45 em. järjestyksessä.