Kwaliteit schoolexamens voortgezet onderwijs
2 oktober 2009
De vakinhoudelijke en toetstechnische kwaliteit van het schoolexamen is op de meeste scholen voldoende. Ook voldoen de examens aan de eisen ten aanzien van bijvoorbeeld de moeilijkheid van opgaven, becijfering en normering. Dit stelt Cito naar aanleiding van een onderzoek naar de kwaliteit van de schoolexamens in het voortgezet onderwijs. Het onderzoek is in 2008 uitgevoerd in opdracht van de inspectie. De inspectie vindt de conclusies van Cito duidelijk, maar ziet ook een aantal knelpunten en dilemma’s.
Centrale vraag
De centrale vraag van dit onderzoek is in hoeverre de schoolexamens in
het voortgezet onderwijs voldoen aan redelijke eisen ten aanzien van de inhoud,
de wijze van beoordelen en normeren en de organisatie. Daarbij is ook nagegaan
in hoeverre de moeilijkheid van de toetsen en opdrachten uit het schoolexamen in
overeenstemming is met hetgeen men van kandidaten mag eisen.
Cito heeft de resultaten van het onderzoek neergelegd in een technisch rapport. De inspectie heeft dit rapport gebruikt bij het opstellen van het Onderwijsverslag 2007/2008.
Reactie inspectie op onderzoeksresultaten
De belangrijkste conclusie uit het onderzoek is dat de beoordelaars van oordeel
zijn dat de vakinhoudelijke en toetstechnische kwaliteit van het schoolexamen
(Nederlands en wiskunde respectievelijk Engels en biologie) op de overgrote
meerderheid van de onderzochte (vmbo- respectievelijk havo-afdelingen van)
scholen voor voortgezet onderwijs van voldoende kwaliteit is. Naar het oordeel
van de beoordelaars voldoen deze schoolexamens in deze afdelingen van het
voortgezet onderwijs in voldoende mate aan redelijke eisen ten aanzien van:
- de inhoudelijke dekking van het eindexamenprogramma;
- het moment van toetsing;
- de toetstechnische kwaliteit van de opgaven;
- de moeilijkheid van de toetsen;
- de strengheid/soepelheid van de beoordelingsmiddelen en de becijfering;
- de volledigheid en relevantie van de beoordelingsaspecten;
- het vooraf vastleggen en vroegtijdig meedelen van de scorepunten;
- het aangeven van het gewicht bij de bepaling van het cijfer;
- de samenwerking tussen docenten bij de toetsontwikkeling, beoordeling en normering.
Aan deze conclusies moet het volgende worden toegevoegd.
De vakinhoudelijke en toetstechnische kwaliteit van deze schoolexamens is weliswaar in het algemeen van voldoende kwaliteit, maar er zijn wel grote kwaliteitsverschillen tussen de onderscheiden indicatoren. Er zijn indicatoren die heel hoog scoren, maar ook die veel minder scoren. Dit laatste komt vooral voor bij de indicatoren die betrekking hebben op het overleg over de normering en de beoordeling, over de volledigheid van de beoordeling en over een te soepele of te strenge normering.
Daarnaast blijken er grote verschillen tussen vakonderdelen bij drie van de vier onderzochte vakken. Zo krijgt bij Engels het onderdeel ‘luistervaardigheid' een voldoende, maar ‘schrijfvaardigheid' een onvoldoende. Bij wiskunde krijgen alle vakonderdelen een voldoende, behalve ‘statistiek'. Bij biologie krijgt de schriftelijke toetsing een voldoende, maar de praktijkopdrachten een onvoldoende.
Ten slotte zijn er grote verschillen tussen scholen geconstateerd. Op sommige scholen scoren niet meer dan een vijftal indicatoren een voldoende, op andere scholen krijgen nagenoeg alle negentien indicatoren een voldoende.
Onderzoeksdilemma's
Bij de interpretatie van de onderzoeksresultaten is het van belang aan aantal
dilemma's in het onderzoek in ogenschouw te houden. Deze dilemma's zijn tevens
van belang bij de vergelijking met eerdere onderzoeksresultaten.
Inperking van het object van onderzoek
In het onderzoek zijn, om begrijpelijke redenen, alleen de onderwijssoorten vmbo
(de schoolexamens Nederlands en wiskunde) en havo (Engels en biologie)
betrokken. De resultaten van het onderzoek zijn niet zonder meer te extrapoleren
naar andere onderwijssoorten.
Uit de analyse van de verschillen in cijfers tussen het schoolexamen en het
centraal examen blijkt dat het vwo de grootste verschillen laat zien. Dat zou
iets kunnen zeggen over de kwaliteit van de schoolexamens. Die kwaliteit van de
vwo-schoolexamens is in dit onderzoek niet onderzocht; het is riskant om de
resultaten van dit onderzoek op het vwo te betrekken.
Evenmin lijkt het op voorhand verantwoord om de resultaten te vertalen naar
andere dan de onderzochte vakken.
Ontbreken van materiaal
Vervolgens speelde ook het ontbreken van materiaal een rol.
Bijvoorbeeld bij het vak Engels op het havo bleek de kwaliteit van het
schoolexamen ‘gespreksvaardigheid' vrijwel niet te beoordelen. De oordelen over
de algemene kwaliteit van het schoolexamen zijn daarom voor een belangrijk deel
gebaseerd op de beoordelingen van de schoolexamens ‘luistervaardigheid' en
‘schrijfvaardigheid'.
Voor het schoolexamen ‘luistervaardigheid Engels' gebruiken vrijwel alle scholen de kijk-luistertoetsen van Cito. Voldoende beoordelingen liggen dan voor de hand. Ook voor de toetsing van ‘schrijfvaardigheid Engels' gebruiken veel scholen toetsen en beoordelingsmiddelen van Cito of volgens het model van Cito. Dit zal eveneens in veel gevallen hebben geleid tot een voldoende beoordeling.
Speciaal bij de toetsing en beoordeling van ‘gesprekvaardigheid' echter zijn de risico's op niet-valide toetsing en onbevredigende beoordelingspraktijken groot. Er zouden ongetwijfeld minder scholen voor Engels voldoende zijn beoordeeld als genoeg informatie over de beoordeling van het schoolexamen ‘gespreksvaardigheid' beschikbaar was geweest.
Dit alles laat onverlet dat de resultaten duidelijk zijn: de onderzochte schoolexamens laten knelpunten zien, maar de kwaliteit is in het algemeen aan de maat.
Vakinhoudelijke kanttekeningen vanuit de examenprogramma's
De vigerende eindexamenprogramma's kennen een heldere domeinindeling,
maar de afzonderlijke eindtermen zijn doorgaans globaal geformuleerd en
specifieke niveauaanduidingen ontbreken. De marges van de regelgeving voor het
schoolexamen zijn zeer breed, met veel mogelijkheden voor schoolspecifieke
bepaling van bijvoorbeeld het aantal schoolexamens, de te toetsen onderwerpen en
vaardigheden en het niveau waarop de stof behandeld wordt. Naarmate de kaders
voor examinering vager zijn en er in het schoolexamen meer geoorloofd is, wordt
het voor beoordelaars moeilijker om afwijkingen van de wettelijke regels te
constateren.
Aantal te beoordelen toetsen
De leerlingen blijken in de tweejarige examenperiode grote hoeveelheden toetsen
en opdrachten te krijgen. Dat de beoordelaars de kwaliteit van het schoolexamen
niet vaker als onvoldoende hebben aangemerkt, heeft ook met deze grote
hoeveelheid toetsen te maken. Het aantal als onvoldoende aangemerkte toetsen was
in verhouding tot het totale aantal afgenomen toetsen meestal te klein om het
oordeel ‘onvoldoende' te rechtvaardigen.
Dit aspect lijkt bij de schoolexamens Nederlands het sterkst in het eindoordeel
te hebben doorgewerkt.
Gebruik bestaande toetsen en ‘eigen' toetsen
Docenten maken veel gebruik van toetsen en opdrachten uit de gebruikte
methode. Daarnaast gebruiken zij voor bepaalde vakonderdelen ‘oude' opgaven uit
de centrale examens of toetsmateriaal dat Cito speciaal voor het schoolexamen
ontwikkeld heeft. Voor zover docenten ‘eigen' opgaven en toetsen maken, betreft
het meestal materiaal dat uit deze bronnen is samengesteld of er sterk door
geïnspireerd is. Naar het oordeel van de beoordelaars is er met het
(her)gebruikte toetsmateriaal ‘weinig mis'.
Docenten blijken maar weinig toetsmateriaal volledig zelf te ontwikkelen. De beoordelaars constateren dat de kwaliteit van de geheel zelf ontwikkelde vragen en toetsen vrijwel zonder uitzondering zeer veel lager is dan die van het externe toetsmateriaal (en het materiaal dat daarop gebaseerd is). Vanwege het kleine aandeel van het zelf ontwikkelde toetsmateriaal in het totale schoolexamen was er voor beoordelaars vrijwel nooit aanleiding tot het toekennen van het oordeel ‘onvoldoende'.
Ontbrekende gegevens
In het geval van ontbrekend materiaal hadden de beoordelaars de opdracht hun
oordeel op te schorten tot het materiaal compleet was. Vaak ontbrak echter
slechts een deel van het materiaal van de school. Dit maakte het besluit om wel
of niet te beoordelen soms lastig.
Verder bleken de vragen in de vragenlijst die de scholen moesten invullen vaak
niet precies genoeg om de vraag naar de kwaliteit van een indicator eenduidig
als voldoende of onvoldoende te kunnen beoordelen. Het valt zeker niet uit te
sluiten dat dit de beoordelaars er toe gebracht heeft de scholen wat vaker ‘het
voordeel van de twijfel' te geven.
Tijdsdruk voor beoordelaars
De grote hoeveelheden materiaal en de afgesproken termijnen hebben tot grote
tijdsdruk bij de beoordelaars geleid. Dit hangt samen met het aantal
beoordelaars. Per vak waren er drie beoordelaars. De belangrijkste reden was dat
het erg moeilijk bleek om geschikte beoordelaars te werven. De beoordelaars
moesten immers beschikken over ruime onderwijservaring in het desbetreffende vak
en onderwijssegment, ervaring met het construeren van centrale examens
(voldoende zicht op het niveau dat van kandidaten verwacht mag worden) en ruimte
in hun takenpakket.
Consequenties voor het toezicht
Het onderzoek van Cito heeft duidelijke conclusies opgeleverd, ondanks de
geschetste dilemma's.
Voor de inspectie is de vraag relevant in hoeverre deze conclusies kunnen worden doorgetrokken naar andere onderwijssoorten en andere vakken. Met name de situatie in het vwo geeft aanleiding voor eenzelfde onderzoek. De inspectie wil daarom een vervolgonderzoek starten naar de kwaliteit van de schoolexamens in het vwo.
De conclusie uit het onderzoek dat zich op een relatief kleine groep scholen knelpunten voordoen in de kwaliteit van de schoolexamens, ligt in lijn met een eerdere constatering van de inspectie dat het knelpunt van een te groot verschil tussen de schoolexamencijfers en centraal examencijfers (se-ce) zich op een kleine groep scholen, met name in het vwo, voordoet. Het gaat hierbij weliswaar niet om dezelfde onderzoeksgroepen en ook niet om dezelfde scholen, maar het is wel duidelijk dat de knelpunten rond de schoolexamens zich op een relatief gering aantal scholen manifesteren.
De inspectie zal het toezicht op deze kleine groep(en) scholen daarom intensiveren, met name aan de hand van uit te werken interventies die opklimmen in intensiteit (de zogenoemde escalatieladder se-ce, zoals reeds aangekondigd door de staatssecretaris in haar plannen rondom examinering).
