Toetsing

Itembanken: Theorie

Wat is een itembank?

Een itembank bevat vragen die kunnen worden gebruikt voor toetsing. Het opbouwen van een itembank kost tijd en is het resultaat van teamwerk. Het idee achter een itembank is dat de toetsvragen die in de bank zitten voorzien zijn van kenmerken (metadata, tags, trefwoorden, labels) waardoor ze op verschillende manieren toegankelijk zijn (zie hierna ‘een itembank ontwerpen’).

Voorbeelden van kenmerken zijn:

  • Gebruiksgegevens (bijvoorbeeld wie heeft een vraag het laatst bewerkt of wie is inhoudelijk verantwoordelijk voor een vraag);
  • Validatie (bijvoorbeeld wanneer is de vraag gescreend en door wie);
  • Bevragingsniveau (bijvoorbeeld kennis, begrip, toepassing of denken);
  • Soort vraag (één uit meer, hotspot, enzovoort);
  • Moeilijkheidsgraad (gemakkelijk, gemiddeld, moeilijk);
  • Kenmerken over de functie van de toetsvraag (bijvoorbeeld ‘oefenen’, ‘diagnostisch’, ‘summatief’);
  • Inhoudelijke kenmerken of attributen, zoals onderwerpen of trefwoorden;
  • Psychometrische kenmerken (bijvoorbeeld moeilijkheidsgraad van de toetsvraag).

Een itembank met kwalitatief goede toetsvragen bevordert een valide en betrouwbare toetsing.

Itembanken kunnen worden ingericht op het niveau van een opleiding of van een vakgebied (eventueel landelijk) of van een cursus. De keuze hiervoor wordt meestal centraal (opleidingsniveau) gemaakt, hetzelfde geldt voor het vaststellen van de kenmerken die aan een vraag gekoppeld kunnen worden.

Het gebruik van een itembank voor de opslag van vragen en het samenstellen van toetsen heeft een aantal belangrijke voordelen (Dousma, Horsten et al. 1997 in Draaijer, 2004):

  • een vraag hoeft slechts 1 x  te worden ingetypt;
  • een vraag is snel te verbeteren, waardoor typografische fouten kunnen worden voorkomen;
  • kwalitatief slechte vragen zijn snel op te sporen en te verbeteren;
  • er is een goed zicht op de totale itembank en de verdeling naar leerstofonderdelen (eenvoudig te onderhouden);
  • toetsvragen zijn eenvoudig te selecteren voor opname in een toets;
  • meerdere toetsversies, bijvoorbeeld om spieken tegen te gaan, zijn simpel te produceren;
  • opslag van analyseresultaten kan worden geautomatiseerd.

Een itembank ontwerpen (bron: Draaijer, 2004)

Voordat een itembank op instellings-, opleidings- of disciplineniveau gevuld wordt met toetsvragen, is het nodig om de hoofdindeling van de itembank vast te leggen. Is het van belang het doel en de hoofdstructuur van de itembank te bepalen en een metadatamodel te ontwikkelen.

Het doel van een itembank

Materiaal voor formatief-diagnostische of summatieve doeleinden kan in één itembank worden ondergebracht. Het onderscheid zit in het wel/niet zichtbaar maken van de feedback, het niveau waarop wordt getoetst en in de reikwijdte van de vragen.
Als een instelling besluit om de toetsvragen voor formatieve en summatieve toetsing van elkaar te scheiden (bijvoorbeeld omdat er nog onzekerheid is over de kwaliteit van een vraag) is het handig om in de structuur van de itembank een onderscheid te maken tussen vragen die worden gebruikt voor de formatieve of summatieve doeleinden. Toetsvragen die men wil reserveren voor summatieve doeleinden (bijvoorbeeld omdat de itembank nog beperkt is), moeten –indien gewenst- beschermd kunnen worden zodat deze niet al bekend zijn en verspreid kunnen worden.

De hoofdstructuur van de itembank

Een itembank kan worden gezien als een relationele database. In die database zitten verschillende toetsvragen met de daarbij behorende gegevens (stam, antwoord-alternatieven, feedback, teksten, plaatjes, beoordelingscriteria, etc.). Meestal zijn itembanken zo ingericht dat per vakinhoudelijk onderwerp een subverdeling duidelijk zichtbaar is:

  • domein/competentie,
    • subdomein/subcompetentie,
      • subsubdomein/subsubcompetentie
        • toetsvraag A
        • toetsvraag B
        • toetsvraag C

Het kiezen en afbakenen van een onderwerp of domeinindeling is lastig. Het is handig om dit op een zo hoog mogelijk niveau af te spreken. Vaak komt boven op deze indeling bijvoorbeeld nog een indeling naar organisatorische eenheid, zoals een faculteit of vakgroep, waartoe het domein behoort.

Het metadatamodel (kenmerken)

Bij een itembank horen toetsvragen en bij toetsvragen horen kenmerken of metadata.

Metadata betekent letterlijk: data over data (gegevens over gegevens), het is beschrijvende informatie over eigenschappen van data, in dit geval toetsvragen. Een metadatabeschrijvingsmodel bestaat over het algemeen uit een verzameling van kenmerken, waarbij elk van die kenmerken een (vastgestelde) waarde aan kan nemen. Een kenmerk kan bijvoorbeeld ‘moeilijkheidsgraad’ zijn en deze kan alleen de vastgestelde waarden ‘gemakkelijk’, ‘gemiddeld’ of ‘moeilijk’ aannemen (zie hiervoor).

Een metadatamodel heeft een verband met de structuur van de itembank. Elk van de kenmerken zou kunnen resulteren in aparte databestanden, waarbij het gegeven kenmerk de primaire ordeningssleutel is. Over het algemeen is het vakinhoudelijk onderwerp de belangrijkste ordeningssleutel. Daaroverheen worden dan metadatagegevens geplaatst.

Als de metadata erg uitgebreid zijn, dan zal ook de tijd voor het invoeren en beheren (met name volledigheidscontrole) van de itembank toenemen. Het invoeren zal dan niet meer overgelaten kunnen worden aan individuele docenten.

Literatuur

Baars, Gerard A.J., Verkuijl-Wieland, Annemieke e.a. (2009). Digitale Didactiek. Den Haag – Lemma.

Bruggen, L. van & Ritzen, M.M.J. (2010). Verbeteringen in digitaal toetsen UMC Utrecht. OnderwijsInnovatie, 12(3), 25-28.

Draaijer S. (2004). Flexibilisering van Toetsing. Utrecht, Digitale Universiteit.

Huizer, C.G., Ouwehand, G.M., Zander, van der A.H.W. (red.) 2011. Ontwikkelingen in de Delftse Toetspraktijk. Technische Universiteit Delft.

Wijk, van der Geert (2011). Werken met itembanken. Examens, jrg 8,  03.