Toetsprojecten waar ik meteen nieuwsgierig naar werd

In het kader van het programma Toetsen en Toetsgestuurd Leren van Surf loopt er momenteel een minitender rond digitaal toetsen. Verschillende instellingen hebben daar op ingeschreven, een aantal ervan presenteerde tijdens de afgelopen Onderwijsdagen in Rotterdam. Tot zover een saaie start, weer nieuwe projecten. En toch.....

Mijn nieuwsgierigheid werd meteen aangewakkerd bij de volgende projecten:

* SOAP --> self organizing assessment program
Dit project, wat uitgevoerd wordt bij Fontys,  heeft als doel een programma te ontwikkelen voor docenten dat hen inzicht geeft in de toetsvragen die studenten zelf zouden gebruiken wanneer zij de regie hebben over het samenstellen van de toets. Een mooi initiatief wat studenten stimuleert om heel actief bezig te zijn met de leerstof en waarbij social media intensief wordt ingezet.

Hoe werkt het.....
Studenten melden zich aan via Hyves, Twitter of Facebook. Ze kiezen er dus zelf voor om mee te doen aan dit project. Per onderdeel hebben ze de optie om vragen aan te leveren, vragen van anderen te lezen en deze ook via  discussie aan te scherpen. Net als andere onderdelen op Facebook kunnen studenten de vragen ranken door deze te 'liken'.

What's in it voor docenten?
Studenten zijn veel eerder actief bezig met de aangeboden leerstof en kunnen docenten inspireren bij het samenstellen van de toets. Daarnaast levert dit project docenten een beter beeld op van het niveau van de student en kunnen daar gericht op inspelen.  De discussie over de ingeleverde vragen en de moderatie levert een veelvoud aan vragen op die de docent kan gebruiken om de toets samen te stellen.

What's in it voor studenten?
Meer mogelijkheden om feedback te krijgen van de docent, en ook van medestudenten op een manier die aansluit bij de mogelijkheden die sociale media bieden. Daarnaast kunnen studenten 'badges' verdienen door het aanleveren van kwalitatief goede vragen en deze opnemen in hun portfolio.

* Inzet van mobiele devices bij beoordeling op de werkplek
In hoeverre kunnen Smartphones en Ipads worden ingezet om vaardigheden op de stageplek van studenten in beeld te brengen en zo op afstand te beoordelen? In het voorbeeld tijdens de presentatie ging het om een opleiding diergeneeskunde, maar er kunnen voldoende andere voorbeelden worden bedacht waar studenten snel feedback op nodig hebben, zonder dat een docent meteen in de buurt is.
De mogelijkheden van Smartphones en Ipads om praktijksituaties op te nemen, kunnen beter worden benut voor zowel het  leerproces van de student, als om de praktijk meer te verbinden met de theorie tijdens colleges.

* de qDNA-tool:
De VU in Amsterdam heeft een tool ontwikkeld waarmee docenten worden geholpen bij:
- het bedenken van toetsvragen
- de kwaliteit van deze toetsvragen te verbeteren --> hoe meet ik wat ik wil meten?
- het analyseren van toetsen en toetsvragen
- het interpreteren van de analyse

Op de site wordt intensief gebruik gemaakt van praktijkvoorbeelden, gerichte feedback en tips van de dag. Vooral de 7 dodelijke zondes zijn een aanrader:

1. Gebruik heel vaak het woord niet en gebruik vaak ontkenningen
2. Laat de goede studenten struikelen over een vraag
3. Maak een speling en gramatica vouten
4. Gebruik nooit drie woorden als je het ook met dertien woorden kan zeggen
5. Probeer altijd de optie ‘alle bovenstaande’ en ‘geen van bovenstaande’ toe te passen
6. Zinnen uit een studietekst moeten letterlijk in de vraag worden herhaald
7. Allergrootste zonde: laat collega’s nooit vragen vooraf bekijken

De minitenders digitaal toetsen hebben een looptijd tot 31 december 2012. Meer informatie vind je op deze website

Leren van anderen

Leren van anderen, en hoe gaat dat wanneer er sprake is van een concullega....

Op basis van het werkbezoek aan Saxion hogescholen afgelopen vrijdag is het antwoord verrassend simpel: Goed!

Samen met een aantal Avans-collega's, vanuit verschillende disciplines, bezocht ik afgelopen vrijdag Saxion Hogescholen. Het onderwerp: digitaal toetsen en dan met name de wijze waarop Saxion digitaal toetsen inzet en het proces om te komen tot een keuze voor een digitaal toetssysteem geschikt voor grootschalig toetsen, vormgegeeft.
Al snel bleek hoezeer digitaal toetsen specialistenwerk is, waarin veel disciplines bijelkaar komen en waar leren van elkaar en intensief samenwerken niet alleen de norm, maar ook een absolute voorwaarde voor succes is.

De reis vanuit Breda naar Enschede die de nodige uren in beslag nam, bleek gelukkig in alle opzichten de moeite waard. Na een gastvrije ontvangst, volgde een presentatie over de wijze waarop bij Saxion het proces rond digitaal toetsen heeft ingericht. Net als bij Avans worstelt ook Saxion met eisen ten aanzien van schaalbaarheid. De behoefte aan toetssoftware die ingezet kan worden voor grootschalig digitaal toetsen, lijkt bij meerdere hogescholen te leven.

Momenteel gebruikt Saxion Testvision als toetspakket en beschikken ze over een beperkt aantal pc-lokalen, die specifiek zijn ingericht voor digitaal toetsen.

Vanuit een lange lijst met functionele eisen die zij stellen aan digitale toetssoftware, een shortlist van leveranciers en een jarenlange ervaring met digitaal toetsen, heeft Saxion een serie van meer dan 20  scenario's ontworpen om op een verantwoorde wijze te komen tot een keuze voor toetssoftware moeten ondersteunen.

Deze scenario's zijn gemaakt om 3 verschillende toetspakketten op te toetsen (Maple TA, QMP en Surpass) en gaan over de volgende onderwerpen:

- kostenanalyse
- technische infrastructuur
- continuiteit
- ondersteuning en helpfunctie
- de mogelijkheid om binnen de applicatie domeinen in te richten
- de aanwezigheid van rollen per academie en de daarbij behorende workflow
- beveiliging
- het gebruikersbeheer
- de conversie van (bestaande) toetsvragen
- de ontwikkeling van nieuwe toetsvragen
- de toetsmatrijs
- het klaarzetten van de toets (toetsopties)
- grootschalige toetsafname
- de  begeleiding van toetsafname
- toetsvoorzieningen
- meertaligheid
- alles rond toetsinzage
- de analysemogelijkheden
- cesuurbepaling, scoren en toetsresultaten
- archivering
- optie om ook beveiligde vaardigheidstoetsen te kunnen afnemen.

Deze scenario's zijn opgesteld in overleg met vertegenwoordigers van academies en bevatten ieder een aantal vragen waar de verschillende toetspakketten op scoren in de kleuren groen - oranje of rood.
In de voorbereiding zijn de functioneel beheerders allemaal (3) geschoold in het gebruik van de verschillende toetspakketten. De uitvoering van de scenario's is verdeeld over groepen academievertegenwoordigers. Zij scoren de pakketten aan de hand van de eerder opgestelde vragen per scenario. Voor het hele proces is daarnaast gebruik gemaakt van externe reviewers.

Einde dit jaar wordt duidelijk welk toetspakket geadviseerd wordt, zodat in de loop van 2013 de inrichting hiervan en de omzetting kan beginnen.

Het werken met scenario's, de gedegen aanpak en zeker ook het idee om toetslokalen te certificeren zijn concepten die dit bezoek absoluut de moeite waard maakten.

Open leermaterialen voor digitaal toetsen (#owd12)

Betreft: docentprofessionalisering digitaal toetsen

Doel:
- realistisch beeld mogelijkheden
- practisch stappenplan
- multi inzetbaar
- Toegankelijkheid -->> open courseware
-->> dan wel wat inhoud betreft: wat algemene aspecten en wat instellingspecifiek ofwel het materiaal moet eenvoudig aan te passen zijn aan de eigen situatie.

Uiteindelijk gerealiseerd in Wikiwijs.nl
 Zie surfoer en bijv. "analyse digitaal toetsen" ...

Het in het project ontwikkelde arrangement is nog niet beschikbaar ... Gaat wel snel komen ...

Arrangement dat gemaak is is showcase ... Kunt met de onderdelen je eigen arrangement maken en natuurlijk is het de bedoeling dat je dit weer deelt .....

Facilitating assessment of student learning

Top 5 reasons we don't do assessment
5 I'm to busy
4 it's to hard
3 I know good work when I see it
2 I give plenty of tests
1 we don't have enough resources

Top 5 reasons we MUST do assessment
5 accreditations say so
4 to avoid negative press
3 to demonstrate fulfillment of institutional mission
2 to ensure student learning
1 for continuous curricular improvement (be course of the employability of the graduated students -->> so we have to cover the good subjects and skills (21e century ?!?))

(case study Kendall College)
Tussendoor: ook  hier druk op univsiteiten op het punt van financiering in relatie tot contactteti-studietijd ratio, uitvalcijfers, employabity cijfers en reputatie m.b.t. Kwaliteit en eindniveau opleiding.

Evidence based assessment -->>

What is it:
- clear statements of intended learning outcomes at all levels
- threshold setting
- Direct measure of student learning: data and artifacts
- purpose: continuous improvement of academic programming and more effective student learning

Why is it so difficult:
- faculty: I see good work when I see it
- data collection!! (dus dings als Osiris)
- analysis of the data
- tracking -->> and look for good interventions to improve the learning (and teaching)

How can Bb Tools help:
- use of Bb tools for administering written comprehensives and use adaptive release 
(ook veranderd in toetsproces: beperkt aantal pogingen, met per extra poging betalen en verplichting om eerst via tutoring bij te spijkeren vóór ze een nieuwe poging mogen wagen).
- toetssysteem Bb help enorm bij: re-use questions, maak vragenpools, etc (de bekende voordelen)
- analyse results (in gradebook) -->> vb leermoment: problemen ontstonden bij vragen over theorie die al enige tijd iet gebruikt was in het onderwijs/leren). -->> belangrijkste winst: de docenten ontdekten zelf waar het probleem zat en waar ze in moesten grijpen en waar en welke interventies relevant zijn ... en daarmee kregen ze voor hun eigen gevoel weer meer grip en zeggenschap over het onderwijs-leerproces waar ze zich verantwoordelijk voor voelden! 
Zo waren er meer verhalen over wat je kon leren van het analyseren van toetsresultaten en dus hè kiezen van de goede interventies !!! 

Voorop ons zeker de moeite waard om hier in te investeren !!! In het kader van het versterken van Studiesucces !!

10 valkuilen bij digitaal toetsen

Thema : Adaptief en Digitaal Toetsen

Sprekers : Metha Kamminga

Instelling : NHL Hogeschool

Digitaal toetsen wordt steeds belangrijker voor hogescholen en universiteiten. Het moet studeren stimuleren, het leerproces sturen en ondersteunen, maar het moet ook de docent ontlasten. Deze sessie zet 10 valkuilen voor u op een rij die ervoor kunnen zorgen dat docenten gefrustreerd raken over deze vorm van toetsen. De valkuilen kunnen vertaald worden naar elke onderwijssector waar digitaal toetsen inzetbaar is. www.methakamminga.nl/

Verhaal vooral gericht op formaties toetsen.

Valkuilen bij digitaal toetsen:

1) Geen ingangstoets --> maar ingangstraject, met wel goede eindtermen van dat traject

2) niet te uitgebreide oefentoets --> max 15-20 minuten en geef feed back vrij

3) onbeperkt aantal toetsen aanbieden --> precies 4 pogingen aanbieden (als de student dit weet gaat hij anders met het toetssysteem om)

4) een 6 is voldoende --> Eis een minimumscore van 80%, dit motiveert meer en maakt studenten nieuwsgieriger

5) geen analyse van de gemaakte toetsen doen --> analyse op item-niveau, pas aan aan taalgebruik dat je met de studenten hanteert, moeilijkheidsgraad in verhouding van de stroomlijn aanpassen, hitsen feedback aanpassen, taaltoetsen tussenvoegen gericht bijvoorbeeld op de termen die van toepassing zijn en gebruik worden.

6) de grootste: vrijblijvendheid --> hanteer gewoon strakke aanpak ( dus ook eofentrajecten en formatieve toetsen nadrukkelijk verplicht stellen) dan wel differentiëren naar niveau en leercurve. Drie routes is ideaal bij de start (langzaam met ook veel meer toetsjes), regulier (met gemiddeld aantal toetsen van gemiddeld niveau), snel (met grote stappen, maar dan wel van hoger niveau). Slimmigheid is: laat de student zelf kiezen (60% kiest dan voor de langzame stroom en 15% voor de snelle stroom).

7) geven van bonuspunten --> geen bonuspunten, want werkt fraude in de hand en genereert het tegengestelde van wat je wilt bereiken. Het meest stimulerende is uiteindelijk de score. Context is hier een traject van oefentoetsen, waarbij men de eindtoets niet eens mag maken als niet alle oefentoetsen met min een 8 zijn afgerond. Ofwel de laatste oefentoets in de keten gemaakt hebben met score >= 80% is toegangskaartje voor de eindtoets.

8) tijdslimiet instellen --> bij eindtoetsn wel tijdslimiet instellen, bij oefentoetsen beslist niet!

9) geen communicatie --> feedback geven in het toetsprogramma of via studentassistenten of peer-tutoren, regelmatig communiceren via je eLeeromgeving

10) geen controle op omgaan met het toetssysteem --> in begin gewoon strakke begeleiding van zowel studenten als docenten, dus vooral ook scholing van docenten

Waarom scoort student niet:

- niet kritisch kijken naar eigen verrichtingen

- student zit in verkeerde route

- vraag niet goed lezen

- teveel " geholpen" tijdens de oefeningen

- teveel werken op klad

- ...

Voor het hele verhaal zie het artikel hierover

Digitaal Toetsen is HOT binnen het Hoger Onderwijs

Via de notifications op Linkedin, de Nederlandse Gebruikersgroep Blackboard en Twitter wordt duidelijk dat veel instellingen momenteel bezig zijn met het onderwerp Digitaal Toetsen. Ook de Onderwijsdagen van Surf spelen hier op in door op het congres in november zelfs een speciale track te organiseren rond digitaal toetsen.

De opvattingen over hoe digitaal toetsen in te zetten in de instelling en de wijze van implementatie lopen net zover uiteen als de antwoorden op de vraag welk toetssoftware nu het meest geschikt is. Waar Avans kiest voor het uitvoeren van experimenten, pilots en uitgaat van de vraag van docenten/academies, kiezen anderen ervoor een groot instellingsbreed project op te starten. Een voorbeeld hiervan is de RU Groningen die via het programma Idem Dito een universiteitsbreed systeem voor digitale toetsing wil selecteren.

De toenemende vraag naar digitaal toetsen binnen Avans betekent dat we in de komende weken een visiedag rond digitaal toetsen zullen voorbereiden, waarbij scenarioplanning een belangrijk onderdeel vormt. Het doel ervan is om een breed gedragen visie te kunnen ontwikkelen voor Avans .

Best practices op de Bb Gebruikersdag in Amsterdam

'Accountable in Blackboard'

De RUG verzorgde de 2e presentatie op de gebruikersdag. Het gebruik van webcolleges en het grootschalig toetsen via Blackboard stond hierin centraal. Studenten (ongeveer 500) worden aangespoord om ter voorbereiding op het tentamen intensief gebruik te maken van digitale zelftoetsen. Hiervoor is een bonusregeling ontworpen: wanneer studenten voor alle 7 digitale zelftoetsen een minimale score van 6 punten halen, kunnen zij een beroep doen op de bonusregeling bij het tentamen. De toetsvragen worden hierbij at random samengesteld vanuit een vragenpool (10 vragen per toets).

Het tentamen bestaat uit een case die enkele dagen voorafgaand aan het tentamen op Blackboard wordt geplaatst. Studenten kunnen via het discussionboard met elkaar samenwerken op basis van deze case. Op het examen zelf worden pas de formele vragen over de case beschikbaar gesteld.

De resultaten van deze aanpak zijn:
- meer studenten halen het tentamen
- de tijd tussen de zelftoetsen en het tentamen mag niet te lang zijn, anders verdwijnt het effect
- de docent krijgt een beter inzicht in zowel de resultaten als in het proces (digitaal toetsen en de monitoringmogelijkheden bij herhaald maken van de zelftoetsen).

Opvallend: de mix van een aantal toepassingen in Blackboard, het hergebruik van (gast)colleges via webcolleges waarbij ook de duur ervan op voorhand is aangegeven, het benoemen van de voordelen voor zowel de student als de begeleiders.

Digitaal toetsen en de university of Huddersfield

De universiteit van Huddersfield heeft inmiddels veel ervaring met het digitaal toetsen. Op hun website is dat ook heel veel te vinden hierover. Meer info? Klik hier.