Jaarlijkse prestatie- en risicoanalyse

Voor de uitvoering van onze waarborgfunctie is het van belang dat we de prestaties en mogelijke risico’s op het niveau van de besturen, scholen en opleidingen monitoren. Daarom voeren we ten minste één keer per jaar een analyse uit voor elke school/opleiding en elk bestuur, de jaarlijkse prestatie- en risicoanalyse.

De jaarlijkse prestatie- en risicoanalyse doen we op basis van beschikbare gegevens. Maar ook aan de hand van signalen die we ontvangen van bijvoorbeeld ouders of leraren, en op basis van de contacten die inspecteurs hebben met deze scholen, opleidingen en besturen. Op basis van deze jaarlijkse analyse wordt bepaald of de inspectie -in aanvulling op de vierjaarlijkse onderzoeken bij besturen, scholen en opleidingen- een onderzoek zou moeten uitvoeren bij een instelling. Dit kan gaan over een inspectieonderzoek op locatie, of een bestuursgesprek.

De gegevens van scholen, opleidingen en besturen zijn belangrijk voor de analyse

De gegevens die wij beschikbaar hebben, spelen in de jaarlijkse prestatie- en risicoanalyse een belangrijke rol. In het geval van scholen kijken we bijvoorbeeld naar leerresultaten, de voortgang in de cognitieve ontwikkeling van leerlingen en de ontwikkeling van leerlingenaantallen. Bij besturen richten we ons juist op zaken als de omvang van het personeelsbestand en het jaarverslag van het bestuur. Ook kijken we naar aantallen signalen van bijvoorbeeld leraren, ouders of leerlingen en studenten.

Deels geautomatiseerde risicoschatting

Vanwege de combinatie van grote hoeveelheden gegevens en veel instellingen voeren we deze prestatie- en risicoanalyse deels geautomatiseerd uit. We maken daarbij gebruik van vooraf vastgestelde, geautomatiseerde, beslisregels. Dit worden ook wel algoritmen genoemd. Deze beslisregels leiden tot een zogeheten risicoprioritering: sommige scholen, opleidingen of besturen hebben hogere risicoscores dan anderen.

Menselijke besluitvorming

Inspecteurs en analisten bepalen vervolgens of er onderzoek nodig is door te kijken naar een aantal informatiebronnen:

  • de risicoprioritering (en de onderliggende gegevens)
  • de inhoud van eventuele signalen die over een school, opleiding of bestuur zijn binnengekomen
  • de overige informatie die we hebben over de betrokken scholen, opleidingen en besturen, bijvoorbeeld op basis van eerdere onderzoeken.

Een besluit tot een toezichtsactiviteit (zoals een inspectieonderzoek) is daarmee altijd gebaseerd op menselijke beoordeling van verschillende informatiebronnen door een expert. Dit besluit is dus nooit een gevolg van een volledig geautomatiseerde beslissing. Als we op basis van deze informatiebronnen geen grote risico’s zien, dan sluiten we de jaarlijkse prestatie- en risicoanalyse af. De school, opleiding of het bestuur hoort dan in principe niets van ons.

Handmatige en uitgebreide analyse bij vermoeden van risico’s

Vermoeden we dat er mogelijke risico’s zijn? Dan voeren we handmatig een uitgebreidere analyse uit. Deze analyse wordt uitgevoerd door een team van experts, waarin kennis en deskundigheid op het terrein van data-analyse, onderwijskwaliteit en financieel beheer aanwezig zijn. Zo ontstaat een zo volledig mogelijk beeld van de onderwijskwaliteit, sturingskwaliteit en financiën. Zien we op basis van deze handmatige analyse dat de risico’s groot en ernstig zijn? En wordt de school, opleiding of het bestuur niet op korte termijn al onderzocht in het kader van een vierjaarlijks onderzoek? Dan nemen we contact op met de instelling en volgen er mogelijk toezichtsactiviteiten.

Waarborgen risicoprioritering

Zoals hierboven beschreven, gebruiken we deels geautomatiseerde beslisregels om een risicoprioritering aan te brengen van scholen, opleidingen en onderwijsbesturen. Omdat deze beslisregels een onderdeel zijn van de jaarlijkse prestatie- en risicoanalyse, is het belangrijk dat die geautomatiseerde risicoschattingen zo goed en eerlijk mogelijk zijn. Hiervoor zijn binnen onze werkwijze een aantal waarborgen ingesteld:

  • Er vindt een continue controle plaats op datakwaliteit.
  • We doen alleen geautomatiseerde risicoschatting op het niveau van scholen, opleidingen en besturen (en dus nooit op het niveau van personen).
  • Onze risicomodellen zijn uitlegbaar (analisten en inspecteurs kunnen inzien waarom een school, opleiding of bestuur een bepaalde risicoscore krijgt).
  • We hebben een duidelijk doel voor ogen met de risicoprioritering (het prioriteren van scholen, besturen en opleidingen voor handmatige analyses).
  • We evalueren de kwaliteit van de risicoschatting elk jaar door te onderzoeken of de geautomatiseerde risicoschatting voldoende aansluit op menselijke herkenning van de risico’s door inspecteurs en analisten.
  • Ten slotte communiceren we naar belanghebbenden over onze werkwijze.

Prestatieanalyses per onderwijsdomein

Prestatieanalyses worden uitgevoerd op school-, opleidings- en bestuursniveau. Hieronder zijn voor de verschillende onderwijsgebieden de prestatieanalyses beschreven.

Heeft u vragen?

Heeft u vragen over onze jaarlijkse prestatie- en risicoanalyse, en de rol van de geautomatiseerde risicoprioritering daarin? Neem dan contact met ons op via het contactformulier.