donderdag 5 december 2013

Adaptive comparative judgment for reliable e-assessment

In 2004 draaide het project eScope, gericht op het vastleggen van academische activiteiten. Gesponsord door het ministerie van onderwijs. Hoe maak je soft skills van een student zichtbaar: kritisch denken, probleem oplossen, samenwerken etc. Op een dynamische wijze.

De uitkomst was een storyboard portfolio die stapsgewijs de activiteiten en de voortgang van studenten weergaf. Achterliggend idee was om de authenticiteit van het werk dat door de studenten gedaan werd, vast te leggen. Heeft de student echt alles zelf gedaan en niet de ouders of de info vanaf het internet.

De betrouwbaarheid van toetsen bleek echter lastig aan te tonen. In het verhaal gaat het vooral over de betrouwbaarheid van de beoordeling bij open vragen.
Comparative judgment heeft criteria nodig om subjectiviteit in de beoordeling te verminderen.
TAG  heeft algoritmes ontwikkeld die dit ondersteunen.  Deze zijn gebaseerd op het oordeel van professionals uit het beroepenveld.

ACJ kan gebruikt worden bij summatieve toetsen met open vragen (essays) en bij peerreviews en feedback.
Basis is grote aantallen toetsen en werken op basis van vergelijken van antwoorden voordat er een beoordeling gegeven wordt.

Geen opmerkingen: