Wat is een open vraag?

Open vragen zijn vragen waarbij de student het antwoord zelf moet formuleren. Dat antwoord kan in lengte variëren van één woord of enkele woorden tot een volledig betoog. Dit in tegenstelling tot de gesloten vraag waarbij studenten uit een gegeven aantal mogelijke antwoorden een keuze maken. De open vraag is vooral geschikt als er meerdere goede antwoorden te geven zijn. Bij iedere vorm van open vragen hoort een antwoordmodel of correctievoorschrift.

Vormen van open vragen

• In- en aanvulvragen: Bij dit soort vragen wordt van studenten verwacht dat zij een onvolledige zin, berekening of tekening completeren. Lezen en beantwoorden van een dergelijke vraag kost weinig tijd, hooguit tien seconden.
• Korte-antwoordvragen: Op korte open-antwoordvragen antwoorden studenten met een citaat, met enkele woorden, een enkelvoudige zin (maximaal 25 woorden), een getal, een (eenvoudige) tekening of formule. De tijd voor het lezen en de beantwoording zal meestal niet meer dan een minuut vergen.
• Lange-antwoordvragen: Studenten dienen hierbij te antwoorden met samenhangende zinnen. Ook een toelichting, een gecompliceerde berekening, tekening of een bewijs bestaande uit verschillende stappen, zijn voorbeelden van antwoordmogelijkheden. Voor het lezen en beantwoorden van een dergelijke vraag is al gauw vijf tot tien minuten nodig.
• Opstelvragen/betoogvragen: Typische antwoorden op opstelvragen/betoogvragen zijn: een samenhangende tekst, gestructureerd bijvoorbeeld naar inleiding, midden en slot, of een zeer gedetailleerde tekening of berekening die beide als een afgerond geheel worden beschouwd. Het lezen en antwoorden van een dergelijke vraag is een tijdrovende aangelegenheid. Vijftien tot dertig minuten voor een dergelijke opdracht is niet ongebruikelijk.

Afstemming op leerdoelen
Bij het formuleren van toetsvragen is het van belang om altijd de leerdoelen van de cursus als uitgangspunt te nemen. Zie hiervoor het filmpje ‘Wat kenmerkt een goed leerdoel?‘ en de module over de toetsmatrijs. Omdat een toets met open vragen vaak slechts een beperkt aantal vragen bevat is het goed om in de gaten te houden of de vragen de stof voldoende dekken en of sommige onderwerpen niet ondergerepresenteerd zijn.

Antwoordmodel of correctievoorschrift
Een antwoordmodel bevat algemene regels voor de beoordeling en voorbeelden van juiste, gedeeltelijk juiste en (voor de hand liggende) onjuiste antwoorden. Ook bevat het modelantwoord de maximaal te behalen score per vraag en (waar zinvol en mogelijk) de verdeling van deze maximumscores in deelscores. De algemene regels gaan in op de wijze van beoordelen. Hoe kan de docent omgaan met:

• gedeeltelijk juiste antwoorden en antwoorden die niet in het modelantwoord voorkomen?
• zogenoemde doorwerkende fouten (een eerder gemaakte fout die de rest van het antwoord ook fout maakt)?
• identieke fouten?
• taalfouten?

Voordelen

• De antwoorden op open vragen geven de docent inzicht in de mate waarin de student zich correct met gebruikmaking van vaktermen kan uitdrukken.
• Open vragen lenen zich uitstekend voor het meten van bijvoorbeeld creativiteit en schrijfvaardigheid.
• Met de open vraag kan een onderwerp meer in de diepte bevraagd worden dan met een gesloten vraag.
• Het antwoord kan niet worden gevonden door herkenning, maar moet worden uitgeschreven.
• De student heeft vrijheid in het beantwoorden van de vraag.
• De antwoorden op een open vraag geven de docent gedetailleerde informatie over de mate waarin studenten de leerstof beheersen en waar problemen zich (eventueel) precies voordoen.

Nadelen

• Het maken en nakijken van open vragen vereisen een grote mate van inhoudsdeskundigheid.
• Vrijheid en creativiteit kunnen door studenten worden gebruikt om te bluffen.
• Het is moeilijk open vragen taalkundig zo te formuleren dat er geen misverstand bestaat over de aard en lengte van het te geven antwoord. (zie hiervoor ook “Checklists” van deze module)
• Het nakijken is tijdrovend.
• Het nakijken van open vragen is vaak minder objectief dan het nakijken van gesloten vragen. (zie hiervoor ook “Checklists” van deze module)
• Doordat de beantwoording van een open vraag veel tijd kost, kan slechts een beperkt aantal vragen gesteld worden.
• Voor taalzwakke studenten leveren open vragen extra problemen op. Het is niet altijd duidelijk of een ‘foute’ beantwoording van de vraag uitsluitend te wijten is aan onvoldoende kennis dan wel (mede) het gevolg is van een onvoldoende taalbeheersing. Met andere woorden: is de taal of de vakinhoud de bottleneck?

Mogelijke problemen bij het nakijken

Normverschuiving
De beoordelingsnorm vervlakt of verscherpt ten opzichte van het gemiddelde prestatieniveau van de beoordeelden.

Bijvoorbeeld: een beoordelaar wordt meer coulant als het percentage onvoldoendes (te) hoog dreigt te worden, of strenger als de gemiddelde kwaliteit tijdens het beoordelen hoger blijkt dan verwacht.

Strategie ter voorkoming: Om ervoor te zorgen dat niet steeds de studenten waarvan de vragen steeds als eerste worden nagekeken, de dupe worden van de normverschuiving bij beoordelaars, is het raadzaam de volgorde van antwoordvellen van studenten regelmatig wijzigen.

Sequentie-effect
Er is een nawerking van voorafgaande beoordelingen van dezelfde schrijfopdracht.

Bijvoorbeeld: een beoordelaar heeft de neiging om na enkele zwakke schrijfproducten een volgend redelijk product een relatief hoger cijfer te geven dan wanneer dit product volgt op enkele zeer goede schrijfproducten (zie ook Meuffels, 1992).

Strategie ter voorkoming: Het sequentie-effect wordt beperkt door het beoordelen van de antwoorden per vraag (in plaats van per student). Ook het wijzigen van de volgorde van antwoordvellen tijdens de beoordeling is hiervoor een oplossing.

Halo-effect
Een eigenschap van de tekst of van de schrijver heeft een storende uitstraling (halo) op de beoordeling, ook als die eigenschap niet relevant is.

Bijvoorbeeld: een goede tekst wordt laag beoordeeld omdat hij er slordig uitziet, of een matige tekst krijgt een hoog cijfer omdat de schrijver bekend staat als hardwerkend en slim (zie ook Nisbett & DeCamp Wilson, 1977).

Strategie ter voorkoming: Het halo-effect wordt beperkt door de toets anoniem na te kijken. Studenten wordt gevraagd niet hun naam op de toets te zetten, maar hun ID-nummer of het inschakelen van een tweede beoordelaar, onafhankelijk van de eigen docent.

Contaminatie-effect
De beoordelaar gebruikt de beoordeling voor oneigenlijke doelen.

Bijvoorbeeld: een laag cijfer als ‘straf’ voor iemand die altijd te laat komt, een hoog cijfer voor een student die aanmoediging behoeft, of voor een student die met zijn onderzoeksresultaten aansluit bij de theorie van zijn beoordelaar (zie ook Meuffels, 1991).

Strategie ter voorkoming: Het contaminatie-effect is moeilijk oplosbaar zolang er geen scheiding is aangebracht tussen doceren en beoordelen. Intercollegiaal uitwisselen van beoordelingsactiviteiten (docent A beoordeelt de toets van studenten van docent B, en andersom) biedt een oplossing.

Persoonlijke tendens
De individuele normen en gewoontes van de beoordelaar hebben een verhullende uitwerking op de beoordeling.

Bijvoorbeeld: een docent geeft op een schaal van tien nooit hoger dan acht of nooit lager dan een vier.
Het is bijzonder lastig om strategieën te ontwikkelen ter voorkoming van een persoonlijke tendens, omdat meestal persoonlijk (impliciete) overtuigingen ten grondslag liggen aan de tendens.

Referenties

Erkens, T. Toetsen met open vragen (http://toetswijzer.kennisnet.nl/html/literatuur/openvragen_toetsenho.pdf).

Meuffels, B. (1992). Sequentie-effecten. Tijdschrift voor Taalbeheersing, 14(1), 30-43.

Meuffels, B. (1991). Contaminatie-effecten bij het beoordelen van opstellen. Tijdschrift voor Taalbeheersing, 13(1), 15-29.

Milius, J. (2007). Schriftelijk Tentamineren: een draaiboek voor docenten in het hoger onderwijs. Universiteit Utrecht (Ivlos): Utrecht.

Nisbett, R.E., & DeCamp Wilson, T. (1977). The halo effect: evidence for unconscious alteration of judgments. Journal of Personality and Social Psychology, 35(4), 250-256.