1) Baken af voor welke vaardigheid/competentie de rubric ontwikkeld gaat worden

2) Bepaal of de rubric cursusspecifiek of vakoverstijgend gaat worden

3) Mogelijke bronnen om een rubric te maken:

• Literatuur: wat weten we al uit onderzoek over hoe studenten zich bepaalde vaardigheden en/of competenties eigen maken en in welke stadia dat leerproces verloopt? Eventueel kan ook een rubric die door anderen is ontwikkeld, als uitgangspunt dienen om aan te passen aan de eigen situatie. Deze manier is vooral top-down wanneer je deze bekijkt vanuit de docenten.
• Bestaande criteria: vaak zijn er al beoordelingsformulieren die binnen cursussen gebruikt worden. Deze kunnen ook als uitgangspunt genomen worden om een rubric te formuleren.
• Praktijkkennis: hoe zien ervaren docenten de ontwikkeling van studenten door een opleiding heen of binnen een cursus op het gebied van een specifieke vaardigheid of competentie. Door hier met een groep docenten over te praten, wordt de praktijkkennis wat explicieter en kan geprobeerd worden deze in een rubric te beschrijven. Deze manier kan als bottom-up worden gezien.

4) Pilot: voorleggen aan verschillende betrokkenen

Leg de een conceptversie van de rubric voor aan verschillende betrokkenen die niet betrokken waren bij het ontwikkelen van de rubric:

• Studenten die een betreffende cursus of opleiding al hebben afgerond: herkennen zij de criteria en de opbouw in niveaus?
• Studenten die een betreffende cursus of opleiding nog (gaan) volgen: maakt de rubric hen duidelijk wat er van ze verwacht wordt? Begrijpen ze wat er bedoeld wordt in de verschillende cellen?
• Docenten die niet mee hebben ontwikkeld: zijn ze het eens met de criteria? Missen ze nog iets? Kan er iets uit? Verwachten ze dat de rubric hen zal helpen bij het geven van feedback?
• Professionals uit het werkveld: Beschrijft de meest rechtse kolom inderdaad het gewenste niveau voor studenten? Herkennen zij de criteria?

5) Training aan docenten

Zorg dat de docenten (en evt. studenten) die met de rubric gaan beoordelen geoefend hebben met het werken met de rubric en nog belangrijker: de kans hebben om hier met elkaar over te praten.

6) Proefdraaien

• Bepaal (in het geval van summatieve toetsing) hoe men van een score op de rubric kan komen tot een cijfer (zie ook de module cesuur bepalen).
• Zet de rubric in een cursus in om deze uit te testen. Zorg daarbij dat de rubric ook tijdig beschikbaar is voor studenten en dat ze hier al een keer mee kunnen oefenen tijdens de cursus.
• Gebruik de rubric bij voorkeur voor zowel peer feedback als docent feedback en als formatief en summatief instrument.
• Evalueer na afloop hoe de verschillende betrokkenen het gebruik van de rubric hebben ervaren.
• Daarnaast kan de interbeoordelaarsbetrouwbaarheid (zie filmpje betrouwbaarheid) berekend worden om te zien of het gebruik van de rubric consistente beoordelingen bevorderd.
• Ook kan in kaart worden gebracht of met behulp van de rubric voldoende gedifferentieerd kan worden tussen verschillende studenten, door te kijken naar de spreiding en de verdeling van de cijfers van studenten.

7) Bijstellen op basis van de eerste proef en evt. docenttraining aanpassen

Hierbij is het van belang de rubric niet te veel als een vastgesteld document te zien, maar als een groeidocument wat in ontwikkeling is en waarbij steeds ruimte is om de rubric verder aan te scherpen en aan te vullen. Op die manier blijft het gesprek over beoordelingen op gang bij zowel docenten als studenten.