Kina je broj 1 na PISA-i - ali evo zašto je teško povjerovati u njezine rezultate testova

Kina je broj 1 na PISA-i - ali evo zašto je teško povjerovati u njezine rezultate testova

Kontinentalna Kina bila je veliki pobjednik u nedavno objavljenim rezultatima na Programu za međunarodno ocjenjivanje učenika, koji svake tri godine testira 15-godišnje učenike u desecima zemalja iz matematike, čitanja i znanosti. Sa 600.000 učenika iz 79 zemalja i školskih sustava koji su polagali ispit 2018. godine, četiri provincije u Kini - koja za PISA čini kontinentalnu Kinu - zajedno su rangirane kao broj 1 u sva tri predmeta.

No, postoji dobar razlog za gledanje rezultata iz kontinentalne Kine sa skepticizmom, a to je tema ovog posta Toma Lovelessa, stručnjaka za postignuća učenika, testiranje, obrazovnu politiku i reformu škole K-12.

Bivši učitelj šestog razreda i profesor politike na Harvardu, Loveless je bio viši suradnik na studijama upravljanja i direktor Brown centra za obrazovnu politiku u neprofitnoj organizaciji Brookings Institution sa sjedištem u Washingtonu. Napisao je 16 svezaka “The Brown Center Report on American Education”, godišnjeg izvješća u kojem se analiziraju važni trendovi u obrazovanju.

Reklamna priča se nastavlja ispod oglasa

Ovo nije prvi put da je Loveless komentirao PISA rezultate iz Kine. Godine 2013. napisao sam post koji dovodi u pitanje broj 1 na ljestvici Šangaja na PISA-i za 2012. godinu. U toj administraciji testiranja, američki studenti nisu imali ništa bolje od prosjeka u 65 zemalja i obrazovnih sustava (kao i obično).

Kada su rezultati za 2012. objavljeni krajem 2013., Organizacija za ekonomsku suradnju i razvoj, koja sponzorira PISA-u, rekla je da škole koje su korištene u uzorku Šangaja predstavljaju 15-godišnju populaciju grada. Loveless, tada u Institutu Brookings, i neki kineski stručnjaci rekli su da su djeca migranti rutinski isključena iz škola u Šangaju, koji je bogatiji od ostatka Kine. OECD je ostao pri rezultatima.

Inače, u PISA rezultatima za 2018. Singapur je bio drugi u sva tri predmeta. Američki učenici zauzeli su osmo mjesto u čitanju, 11. u prirodoslovlju i 30. u matematici, s rezultatima koji se nisu značajno promijenili od početka PISA-e prije nekoliko desetljeća.

Reklamna priča se nastavlja ispod oglasa

Autor Tom Loveless

Objavljeni su rezultati PISA za 2018. Općenito, zemlje su postigle rezultate unutar očekivanog raspona s obzirom na njihove prošle rekorde. Osim jednog. Rezultati su zapanjujući za B-S-J-Z, akronim za četiri kineske provincije koje su sudjelovale: Peking, Šangaj, Jiangsu i Zhejiang. Od 77 međunarodnih sustava, B-S-J-Z je osvojio 1. mjesto u sva tri predmeta: čitanje, matematika i prirodoslovlje.

Četiri kineske provincije koje uzimaju PISA promijenile su se od 2015. do 2018., a Zhejiang je zauzeo mjesto Guangdonga. Rezultati grupe iz 2018. dramatično su veći od rezultata skupine iz 2015. (koja se prikladno naziva B-S-J-G). Zapravo, razlike su toliko velike da će sigurno podići obrve.

Priča se nastavlja ispod oglasa

Rezultati B-S-J-Z viši su za 61 bod na ljestvici (494 naspram 555) u čitanju, 60 bodova (531 naspram 591) u matematici i nevjerojatnih 72 boda viši (518 naspram 590) u znanosti. Koliko su ovakve razlike neuobičajene? Da bih odgovorio na to pitanje, pregledao sam PISA podatke od 2006.-2015.

Za svaki trogodišnji ispitni interval izračunao sam promjene za svaku zemlju na tri PISA testa i pretvorio ih u apsolutne vrijednosti. To je dalo 497 opažanja, s prosjekom od 9,5 bodova i standardnom devijacijom od 8,6.

Dakle, tipična promjena rezultata jedne nacije iznosi oko 10 bodova. Razlike između kineskih sudionika iz 2015. i 2018. najmanje su šest puta veće. Razlike su također najmanje sedam puta veće od standardne devijacije svih promjena intervala. Vrlo neobično.

Priča se nastavlja ispod oglasa

Razumna je hipoteza da je promjena pokrajina koje sudjeluju u PISA-i, čak i ako je to bila samo jedna od četiri skupine, utjecala na rezultate testa. Doista, kada sam izvorno sastavio nit za Twitter na ovu temu, previdio sam promjenu i tretirao razlike u rezultatu 2015.-2018. kao da su pokrajine koje sudjeluju bile iste. Ispričavam se zbog pogreške. Moja pogreška, međutim, naglašava veće pitanje: na PISA rezultate iz Kine treba gledati skeptično.

Zašto je Guangdong, najmnogoljudnija kineska pokrajina, odustao od sudjelovanja, a Zhejiang dodan? Je li to samo slučajnost što su rezultati nakon promjene porasli?

Prošli PISA rezultati kineskih provincija dovedeni su u pitanje (ja i ​​drugi) zbog uništavajućeg učinka hukoua na populaciju 15-godišnjaka - i zbog toga što je OECD dopuštao Kini da odobri koje se pokrajine mogu testirati. Godine 2009. PISA testovi provedeni su u 12 kineskih provincija, uključujući nekoliko ruralnih područja, ali su objavljeni samo rezultati iz Šangaja.

Priča se nastavlja ispod oglasa

Tri godine kasnije, BBC je izvijestio: 'Kineska vlada dosad nije dopustila OECD-u da objavi stvarne podatke.' Do danas podaci nisu objavljeni.

OECD je odgovorio na prethodne kritike napadom na kritičare i provođenjem pregleda podataka iza zatvorenih vrata. Oblak visi nad PISA rezultatima iz kineskih provincija. Pozivam OECD da što prije objavi rezultate svih provjera kvalitete podataka za 2018. koje su provedene, zajedno s rezultatima, razvrstanim po pokrajinama, od sudionika iz 2015. i 2018.

Vjerodostojnost međunarodnih ocjenjivanja počiva na transparentnosti postupaka testiranja, uključujući način odabira sudionika i pravila za izvješćivanje o rezultatima testiranja. OECD riskira narušiti vjerodostojnost PISA-e time što nije otvoren za provođenje procjene u Kini.