Validitet i TIMSS och PISA

Under utbildningen i Lgr11 på Malmö högskola i dag berättade en av lärarna att man nationellt har undersökt de svenska elevernas förståelse inom de naturorienterande ämnena och kommit fram till andra resultat än i de internationella TIMSS- och PISA-undersökningarna. Det visade sig tydligen att de svenska eleverna visst hade den kunskap inom ämnet som TIMSS och PISA visar att de inte har, men att de hade svarat fel på frågorna i proven på grund av att de inte förstod frågorna.

Det kan vara så att vi i vår iver att göra undervisningen vardagsnära missar att lära ut en del ord som är centrala för att förstå frågorna i de skriftliga proven.

Jag tror att han hänvisade till litteratur av Jan Schoultz, men har inte orkat göra några närmare efterforskningar ännu. Däremot hittar jag ett liknande uttalande i en text som handlar om att det fria skolvalet ligger bakom merparten av Sveriges tapp i PISA:

”Margareta Serder, doktorand vid Malmö högskola, har gjort en kvalitativ studie där hon låtit ett 40-tal vanliga 15-åringar samtala kring utvalda uppgifter i det naturvetenskapliga provet, hur de uppfattar innehållet i frågorna och om det är begripligt.
Svaret tycks vara nej. De stannar upp och försöker förstå innebörden av ord som ”referens”, ”faktor” och ”avse”. När de inte förstår nyckelbegrepp är det svårt att svara på frågan, sade hon.” (LN)

Att rankinglistan i PISA har ifrågasatts på andra sätt i dag har antagligen inte undgått dig som är intresserad av skolfrågor (SR). Jag lyssnade precis på Skolministeriet i P1 och den svenska representanten för PISA sa att resultaten inte är osäkra som den danske statistikprofessorn säger, men att Sveriges placering på plats 11 i 2006 års test skulle tolkas som någonstans mellan plats 7 och 14…

Kan vi lita på resultaten från de internationella undersökningar som har varit grunden för skolpolitiken de senaste åren; mäter de vad vi tror att de mäter? Det är dagens fråga.

Jag säger varken bu eller bä, bara att det är farligt att dra för stora växlar både på resultat av enskilda skriftliga prov och på enkla redovisningar av komplexa mätningar.

Uppdatering: Kritik mot Pisa-statistik får mothugg (LN)

”Magnus Oscarsson betonar att det är viktigt att kritiken inte resulterar i att man nu ignorerar de resultat som Pisa-undersökningarna visar.
Vi vet exempelvis helt säkert att den sociala bakgrunden allt tydligare påverkar resultaten. Det vore mycket olyckligt att inte ta denna insikt på allvar.”

Länkar till andra bloggar om: , , , , , , , ,

Advertisements

Om ChristerMagister

Bloggande lärare med fotointresse.
Det här inlägget postades i Debatt och politik, skolpolitik och har märkts med etiketterna , , , , , , , . Bokmärk permalänken.

22 kommentarer till Validitet i TIMSS och PISA

  1. Morrica skriver:

    Mitt hjärta brister, det är värre än jag trodde! Begreppen hon lyfter fram är inte särskilt avancerade, och de är absolut oundgängliga för den som önskar ägna sig åt högre studier. Om jag förstår ditt inlägg rätt har vi alltså gett den uppväxande generationen ett sånt fattigt språk att de inte ens kan visa vad de kan, eftersom de saknar ord för att dels förstå vad som frågas, dels uttrycka vad de själva menar.

    Det är, på fackspråk, åt helvete!

    • ChristerMagister skriver:

      Ja, det är det… Tyvärr är jag inte förvånad. Jag har skrivit om och om igen om att vi måste satsa på språket. Det här är också ett tydligt exempel på att vi kan dra nytta av ämnesintegrering eftersom begreppen ofta används inom flera ämnen.

  2. Plura skriver:

    På ett sätt håller jag med dig Christer på ett annat inte.

    Man skulle kunna diskutera mycket kring reabilitetet, validititet, mätosäkerhet, tillförlitlighet och annat i mätmetodern. Statistik är som alltid en sanning med modifikation. Vilka mätfel uppstår med metoden. Är mätmetoden kalibrerad eller är innehållet en signifikat avvikelse.

    Jag ska inte rabbla massor av statisktiska och matematiska storheter. En sak är säker, oavsett om vi tycker metoden inte passar är den de facto standard iom att ett organ som OECD står bakom PISA. Och det går inte att rubba hur osäkra än vi tycker att metoden är ur någon förunderlig vetenskapligt antagande eller tes som inte är vetenskaplig. Resonemanget är lite av kejsaren nya kläder.

    Det viktiga i alla statistika mätningar är trender och nivåer. I det sammanhanget är det inte enskilda mättillfällen som man ska dra några växlar på. Det är bara journaliser och okunniga debattörer som gör det. Analysen och värdering måste bygga på en serie av mätvärden över tiden. Först då kan du dra några visa slutsatser.

    Och hur man än ser det, både PISA och Skolverkets mätningar av kunskapsresultatet, är på ett sluttande plan utför. Det är just tydligt med det exemplet du gav ovan Christer med elever som inte vissta vad vissa ord betyder. Är man 15 år ska man veta det.

    • ChristerMagister skriver:

      Håller med och håller med… Hur kan du göra det när jag inte har någon åsikt? 🙂

      Det man kan fundera på med utgångspunkt i exemplet ovan är väl att vi kanske inte behöver dra igång stora projekt för att förbättra undervisningen i naturvetenskap, utan att det kanske är språket vi bör satsa på i stället.

      • Trofinios skriver:

        Såvida det inte finns belägg för att nedgången i matematik/naturvetenskap beror uteslutandepå försämrad språkinlärning, bör det också satsas på att förbättra undervisningen. Det måste inte vara antingen eller.

      • Plura skriver:

        Jo, du har en åsikt när du säger att ”dra för stora växlar både på resultat av enskilda skriftliga prov och på enkla redovisningar av komplexa mätningar”.

        Jo, vi behöver både öka förståelsen för ord och ändrad pedagogiken i naturvetenskap så barn förstår. Det är en signifikat skillnad mellan vad grundskolan släpper iväg för betyg i matematik i förhållande till vad de innebär om det ska kalibreras mot gymnasiemattens kunskapskrav. Ett VG är knappt ett G på gymnasiet.

  3. Ja, sammantaget ger ju det här en bild som faktiskt gör att man begriper bättre varför det är åt helvete. Jag tror att din slutsats att satsa mer på modersmålet, svenska, är högst relevant. Gör man det, plus bättre läsinlärning när barnen är små (se till att alla faktiskt lär sig, inte bara mekaniskt), så kommer förmodligen resultaten stiga igen. På sikt.

    • Anna Kaya skriver:

      Det är inte läsinlärningen som är problemet, det är läsförståelsen. Överlag är vi bra på läsinlärning i den svenska skolan men från år 4 ungefär så ”glömmer vi” ofta bort att läsutvecklingen fortsätter och att eleverna behöver explicit undervisning i läsförståelsestrategier och även i språk- och kunskapsutvecklande arbetssätt typ genrepedagogik.

  4. Linda O skriver:

    Så slutsatsen torde vara att det absolut viktigaste är att arbeta språkutvecklande i alla ämnen?

  5. Kristian Grönqvist skriver:

    Det var väl i stort sett bara det som fattades.
    Först skyller man på att de svenska eleverna egentligen kan mycket, men att det inte går att mäta det de kan…. allra minst med prov….
    Sen att i Sverige lär man sig mjuka värderingar, inte hårda… och det går inte att mäta med prov….
    Nu att resten av världen mäter på ett sätt, som inte gör rättvisa åt de svenska barnen… och det försöker man mäta med prov…
    Det kan inte bara vara så, att man gjort något fel heller…eller?

    • ChristerMagister skriver:

      Jo, men vilket fel? Om vi satsar massor på att vidareutbilda lärare i naturvetenskap och fortfarande struntar i språket så kommer ju resultaten inte att förändras för de elever som inte förstår frågorna.

  6. Trofinios skriver:

    ”KTH har sedan 1997 genomfört diagnostiska prov för att testa de nyantagna studenternas matematikkunskaper. På tio år sjönk lösningsfrekvensen på dessa prov från 55 till 43 procent.”

    http://teknikdelegationen.se

    Andelen som inte var behöriga till gymnasieskolans nationella program var år 2009 -11.2% och år 1998 – 8.6 %. Andelen som inte nådde målen i matematik var år 2009 -7.4% och år 1998 – 5.3%.

    http://www.skolverket.se/sb/d/1768/a/21137;jsessionid=109371784255C2175FE45762C3E239C9

    Inhemska undersökningar visar också på en försämring av elevernas kunskap, och korrelerar därmed med både PISA och TIMSS. Om man inte tar till sig detta utan försöker förklara bort nedgången med att undersökningarna är bristfälliga, ja, då är man i mina ögon inte intellektuell hederlig.

    • ChristerMagister skriver:

      Jag försöker inte förklara bort någonting, bara säga att det är viktigt att man verkligen studerar resultaten och metoderna för att kunna utröna vad vi ska fokusera på i vårt förbättringsarbete. Som jag skrev ovan: ”Om vi satsar massor på att vidareutbilda lärare i naturvetenskap och fortfarande struntar i språket så kommer ju resultaten inte att förändras för de elever som inte förstår frågorna.” Det är samma sak inom matematiken.

  7. Stefan skriver:

    I årets TIMMS för årskurs 4 lär det ha funnits något i den här stilen:
    ”Markera bilden som visar rotationssymmetri” – konstaterar att förfallet i den svenska skolan tydligen satte in redan på 60-talet för jag kan för mitt liv inte minnas att jag hört det begreppet tidigare. Skulle väl antagligen utifrån kunskaper om orddelarnas betydelse kunna pricka något så när rätt, men vet en fjärdeklassare vad symmetri är?
    Ett tjuvkik på rättningsanvisningarna till årets nationella prov i fysik fick mig att undra lite över provförfattarnas världsbild – om man skrev något i stil med ”att om vi inte haft el skulle vi inte haft ett modernt samhälle” fick man lägre poäng än om man dessutom exemplifierade med ”utan eldat med ved” eller något liknande. Som en annan tjuvkikare konstaterade – då lever jag omodernt för vi värmer upp huset enbart med ved.
    Att börja titta på källmaterialet till JB:s kategoriska och tvärsäkra uttalanden och analyser kan förhoppningsvis få skoldebatten mer nyanserad – som det är nu gör den inte skolan bättre! Det krävs goda baskunskaper, men vad som ryms i det begreppet skall diskuteras utifrån vilka behov dagens elever kan tänkas ha framöver – inte utifrån vad en gammal uv som jag fick mig till livs under min egen skoltid!

  8. Ping: Varför är Finland så framgångsrikt? | Christermagister

  9. Ping: Tester hämmar nytänkande i utbildningen | Christermagister

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s