Toetsprojecten waar ik meteen nieuwsgierig naar werd

In het kader van het programma Toetsen en Toetsgestuurd Leren van Surf loopt er momenteel een minitender rond digitaal toetsen. Verschillende instellingen hebben daar op ingeschreven, een aantal ervan presenteerde tijdens de afgelopen Onderwijsdagen in Rotterdam. Tot zover een saaie start, weer nieuwe projecten. En toch.....

Mijn nieuwsgierigheid werd meteen aangewakkerd bij de volgende projecten:

* SOAP --> self organizing assessment program
Dit project, wat uitgevoerd wordt bij Fontys,  heeft als doel een programma te ontwikkelen voor docenten dat hen inzicht geeft in de toetsvragen die studenten zelf zouden gebruiken wanneer zij de regie hebben over het samenstellen van de toets. Een mooi initiatief wat studenten stimuleert om heel actief bezig te zijn met de leerstof en waarbij social media intensief wordt ingezet.

Hoe werkt het.....
Studenten melden zich aan via Hyves, Twitter of Facebook. Ze kiezen er dus zelf voor om mee te doen aan dit project. Per onderdeel hebben ze de optie om vragen aan te leveren, vragen van anderen te lezen en deze ook via  discussie aan te scherpen. Net als andere onderdelen op Facebook kunnen studenten de vragen ranken door deze te 'liken'.

What's in it voor docenten?
Studenten zijn veel eerder actief bezig met de aangeboden leerstof en kunnen docenten inspireren bij het samenstellen van de toets. Daarnaast levert dit project docenten een beter beeld op van het niveau van de student en kunnen daar gericht op inspelen.  De discussie over de ingeleverde vragen en de moderatie levert een veelvoud aan vragen op die de docent kan gebruiken om de toets samen te stellen.

What's in it voor studenten?
Meer mogelijkheden om feedback te krijgen van de docent, en ook van medestudenten op een manier die aansluit bij de mogelijkheden die sociale media bieden. Daarnaast kunnen studenten 'badges' verdienen door het aanleveren van kwalitatief goede vragen en deze opnemen in hun portfolio.

* Inzet van mobiele devices bij beoordeling op de werkplek
In hoeverre kunnen Smartphones en Ipads worden ingezet om vaardigheden op de stageplek van studenten in beeld te brengen en zo op afstand te beoordelen? In het voorbeeld tijdens de presentatie ging het om een opleiding diergeneeskunde, maar er kunnen voldoende andere voorbeelden worden bedacht waar studenten snel feedback op nodig hebben, zonder dat een docent meteen in de buurt is.
De mogelijkheden van Smartphones en Ipads om praktijksituaties op te nemen, kunnen beter worden benut voor zowel het  leerproces van de student, als om de praktijk meer te verbinden met de theorie tijdens colleges.

* de qDNA-tool:
De VU in Amsterdam heeft een tool ontwikkeld waarmee docenten worden geholpen bij:
- het bedenken van toetsvragen
- de kwaliteit van deze toetsvragen te verbeteren --> hoe meet ik wat ik wil meten?
- het analyseren van toetsen en toetsvragen
- het interpreteren van de analyse

Op de site wordt intensief gebruik gemaakt van praktijkvoorbeelden, gerichte feedback en tips van de dag. Vooral de 7 dodelijke zondes zijn een aanrader:

1. Gebruik heel vaak het woord niet en gebruik vaak ontkenningen
2. Laat de goede studenten struikelen over een vraag
3. Maak een speling en gramatica vouten
4. Gebruik nooit drie woorden als je het ook met dertien woorden kan zeggen
5. Probeer altijd de optie ‘alle bovenstaande’ en ‘geen van bovenstaande’ toe te passen
6. Zinnen uit een studietekst moeten letterlijk in de vraag worden herhaald
7. Allergrootste zonde: laat collega’s nooit vragen vooraf bekijken

De minitenders digitaal toetsen hebben een looptijd tot 31 december 2012. Meer informatie vind je op deze website

Leren van anderen

Leren van anderen, en hoe gaat dat wanneer er sprake is van een concullega....

Op basis van het werkbezoek aan Saxion hogescholen afgelopen vrijdag is het antwoord verrassend simpel: Goed!

Samen met een aantal Avans-collega's, vanuit verschillende disciplines, bezocht ik afgelopen vrijdag Saxion Hogescholen. Het onderwerp: digitaal toetsen en dan met name de wijze waarop Saxion digitaal toetsen inzet en het proces om te komen tot een keuze voor een digitaal toetssysteem geschikt voor grootschalig toetsen, vormgegeeft.
Al snel bleek hoezeer digitaal toetsen specialistenwerk is, waarin veel disciplines bijelkaar komen en waar leren van elkaar en intensief samenwerken niet alleen de norm, maar ook een absolute voorwaarde voor succes is.

De reis vanuit Breda naar Enschede die de nodige uren in beslag nam, bleek gelukkig in alle opzichten de moeite waard. Na een gastvrije ontvangst, volgde een presentatie over de wijze waarop bij Saxion het proces rond digitaal toetsen heeft ingericht. Net als bij Avans worstelt ook Saxion met eisen ten aanzien van schaalbaarheid. De behoefte aan toetssoftware die ingezet kan worden voor grootschalig digitaal toetsen, lijkt bij meerdere hogescholen te leven.

Momenteel gebruikt Saxion Testvision als toetspakket en beschikken ze over een beperkt aantal pc-lokalen, die specifiek zijn ingericht voor digitaal toetsen.

Vanuit een lange lijst met functionele eisen die zij stellen aan digitale toetssoftware, een shortlist van leveranciers en een jarenlange ervaring met digitaal toetsen, heeft Saxion een serie van meer dan 20  scenario's ontworpen om op een verantwoorde wijze te komen tot een keuze voor toetssoftware moeten ondersteunen.

Deze scenario's zijn gemaakt om 3 verschillende toetspakketten op te toetsen (Maple TA, QMP en Surpass) en gaan over de volgende onderwerpen:

- kostenanalyse
- technische infrastructuur
- continuiteit
- ondersteuning en helpfunctie
- de mogelijkheid om binnen de applicatie domeinen in te richten
- de aanwezigheid van rollen per academie en de daarbij behorende workflow
- beveiliging
- het gebruikersbeheer
- de conversie van (bestaande) toetsvragen
- de ontwikkeling van nieuwe toetsvragen
- de toetsmatrijs
- het klaarzetten van de toets (toetsopties)
- grootschalige toetsafname
- de  begeleiding van toetsafname
- toetsvoorzieningen
- meertaligheid
- alles rond toetsinzage
- de analysemogelijkheden
- cesuurbepaling, scoren en toetsresultaten
- archivering
- optie om ook beveiligde vaardigheidstoetsen te kunnen afnemen.

Deze scenario's zijn opgesteld in overleg met vertegenwoordigers van academies en bevatten ieder een aantal vragen waar de verschillende toetspakketten op scoren in de kleuren groen - oranje of rood.
In de voorbereiding zijn de functioneel beheerders allemaal (3) geschoold in het gebruik van de verschillende toetspakketten. De uitvoering van de scenario's is verdeeld over groepen academievertegenwoordigers. Zij scoren de pakketten aan de hand van de eerder opgestelde vragen per scenario. Voor het hele proces is daarnaast gebruik gemaakt van externe reviewers.

Einde dit jaar wordt duidelijk welk toetspakket geadviseerd wordt, zodat in de loop van 2013 de inrichting hiervan en de omzetting kan beginnen.

Het werken met scenario's, de gedegen aanpak en zeker ook het idee om toetslokalen te certificeren zijn concepten die dit bezoek absoluut de moeite waard maakten.

Trendradar ... Toegepast

de Trendradar. Een instrument waarmee je zelf binnen je instelling de discussie kunt vormgeven over welke trends er opgepakt zouden moeten worden en waarom. Kijken vanuit de context (in feite zo'n assenstelsel als je bij scenarioplanning gebruikt) naar de relevante trends op basis van de trendscans en -rapporten die er verschijnen en die trends met elkaar dus spotten in de context (het assenstelsel).... Dit helpt je met trends ook echt iets te doen en er een zinnig gesprek over te hebben.

Toegepast bij Saxion:

Idee hebben een ICT&O programma met stuurgroep waarin 5 academiedirecteuren zitten als vertegenwoordiging van de rest

Hebben dus niet zozeer elco's als wel ICT&O contactpersonen per academie.

Toepassing bij Saxion gaf als speerpunten:

1: versterken eLearning & digitale didactiek

 - leergang didactiek in een digitale leeromgeving

 - inzet tablets in het onderwijs

 - clous computing -->> samenwerkend leren

 - onderzoeksvaardigheden met ICT

2: digitaal toetsen

 - nieuwe toetsomgeving

 - toetsitembanken (samenwerking NL)

 - versterken toetsorganisati

 - specifieke toetslokalen 

 - .... 

3: verrijken leeromgeving -content met audio en video 

 - ook hier serie initiatieven die ik niet snel genoeg kon vastleggen :))

Verder innovatie richtingen waarop onderzoek gedaan moet worden om het te concretiseren in verdere initiatieven: 

- social media (2012), Serious gaming (2013), learning analytics (2014), open content (2015), persoonlijke en adaptieve leeromgeving onderwerpen die komen uit trendrapportages.

Dingen die gebeuren in het dagdagelijkse werk binnen en om de hogeschool kunnen hier in de ordening veranderingen aanbrengen. 

Deze onderzoeksinitiatieven samen met de speerpunten en de uitwerkingen daarvan bepalen de investeringen/budgettering van de komend jaren.

Zelf samen toegepast door gebruik van stemkastjes. Geeft wel goed inzicht in urgentie en ontwikkeling en op welk niveau en door wie het initiatief genoemden moet worden, want da is wat je kennelijk vastlegt met de trendradar.

Learning analytics in Practice

Focus: to detect early warning signs and provide interactions for students who may not be performing wel and are af risk in à Course.

Zie werk van Dr. John Campbell is the Associate Vice President of Academic Technologies at Purdue University. For more than twenty years, John has been involved in the use of technology within higher education. During the past ten years, John has examined methods to use academic analytics to identify students at risk within courses. He was the founder of the Signals project. (Zie ook film op YouTube)

Since the time of "intelligent tutoring systems”, educational technologists have explored methods to improve learning. Today with the emergence of analytics, an exciting set of tools is being built to improve student learning, success within a discipline, and retention at the institution. Based on the works of the Signals Project (http://www.itap.purdue.edu/learning/tools/signals/), Purdue has been refining their analytics work for nearly ten years. Using various types of data from the learning management system, the electronic grade book, and other campus data, Signals predicts which students at risk throughout the term. With help of these data, interventions are initiated to allow students to change their approach to a course. The Signals project has seen significant gains in student success within the course, student retention at the institution, and graduation rate.

Zie ook: Http:// bit.ly/signalsdemo

De grootste kracht is misschien wel dat het ook de studenten zelf ook een signaal krijgen dat ze een risico lopen en dus hun leergedrag dienen te veranderen om de risico's te verkleinen. Studenten zijn dan ook erg positief en enthousiast en ervaren het als positieve aandacht die ze motiveert .... Ook als ze een groen signaal krijgen !! 

Grootste uitdaging: hoe krijgen we de gegevenssilo's in de organisatie open en n verbinding met elkaar om de goede analyses te kunnen doen... 

Institutional challenge: 

- focus on actionable intelligence (en probeer dus niet alles en te veel meteen na te jagen en te analyseren).

- bouw een toegewijd team waarin verschillende typen expertises aanwezig zijn (ICT, data, onderzoekers/analyseren, onderwijskundig adviseurs ivm goede interventies),

- minimaliseer lost opportunities (door gebruik systemen, van uitgevers bijvoorbeeld, waar geen gegevens uitgehaald kunnen wordencdan bijvoorbeeld alleen eindresultaten)

-

New opportunities:

- using data that exists on campus

- taking advantages of existing program as

- bringing a "complete picture" beyond academics

- focusing on the "action" in " actionable intelligence" 

SHARE RESULTS WITH AND FACULTY AND STUDENTS !!!

How to begin:

- keep it simple: Analyses hoeven niet perfect te zijn om tot een goede stoplichtenrapportage te kunnen leiden.

- start with some manual steps before developing/purchasing the " ultimate" system

- have a diverse team

- don't forget the faculty and students as part of the process.

8-12 april: groot learning analytics conferentie in Leuven (SoLAR)

We have the obligation to know which students are at risk !! (It's the students responsibility to (re)act).

Learning analytics en formatieve toetsing

Wiskunde bijspijkerprogramma NKBW II (opvolger web spijkeren) -->> opgevolgd door "onbetwist" (toetsgestuurd bijspijkeren wiskunde & statistiek).

Zie ook: artikel toetsgestuurd leren en learning analytics 

http://www.ou.nl/documents/10815/2051a035-2f5e-4097-b436-328bc6c4dda8

Zie ook Martin's 'Motivation & Engagement Wheel'.

Open leermaterialen voor digitaal toetsen (#owd12)

Betreft: docentprofessionalisering digitaal toetsen

Doel:
- realistisch beeld mogelijkheden
- practisch stappenplan
- multi inzetbaar
- Toegankelijkheid -->> open courseware
-->> dan wel wat inhoud betreft: wat algemene aspecten en wat instellingspecifiek ofwel het materiaal moet eenvoudig aan te passen zijn aan de eigen situatie.

Uiteindelijk gerealiseerd in Wikiwijs.nl
 Zie surfoer en bijv. "analyse digitaal toetsen" ...

Het in het project ontwikkelde arrangement is nog niet beschikbaar ... Gaat wel snel komen ...

Arrangement dat gemaak is is showcase ... Kunt met de onderdelen je eigen arrangement maken en natuurlijk is het de bedoeling dat je dit weer deelt .....

Nieuwe ideeen

Nieuwe ideeen komen bij mij vaak  'zomaar' ergens vandaan.... Vaak via allerlei gedachtentreintjes...

In dit geval was de aanleiding een kort artikel in de online versie van de Telegraaf van afgelopen vrijdag met als titel 'Memoto camera legt leven vast' . De vraag aan het begin 'Altijd al een fotografisch geheugen willen hebben?' triggerde me meteen. Ja!, dat wil ik!

De link later in het artikel bleek echter nog veel interessanter 'Knuffelbeesthoes voor Smartphone en Tablet', een beschrijving van een nieuw product om kinderen in hun ontwikkeling te stimuleren door het gebruik van iPads en Smartphones. De beschreven hoes in het artikel bleek niet het enige te zijn. Naast de hoes, die in verschillende soorten verkrijgbaar is,  wordt er ook meteen software mee geleverd waarmee de hoes uitgebreid wordt tot een 'sociale robot'.
Kinderen kunnen kiezen uit verschillende types die aansluiten bij hun persoonlijkheid en die hen stimuleren in het ontdekken van nieuwe dingen. Het leren van kleine kinderen en de middelen die zij hiervoor spelenderwijs gebruiken, staat hierbij centraal.

Gedachtentreintje 1: opvallend dat wat voor ons instrumenten zijn om ons werk te doen, door kinderen wordt gezien als 'speelgoed'.

Gedachtentreintje 2 werd meteen opgestart toen ik bedacht dat iPads en Smartphones niet alleen geschikt zijn om de ontwikkeling van jonge kinderen te stimuleren, maar dat ook oudere mensen ermee geholpen zijn. Welke experimenten kunnen we als hogeschool opstarten om ook ouderen zo goed mogelijk te stimuleren en op welke manier kan dit product daarbij helpen. Ik denk hierbij onder andere aan het gebruik van iPads met historisch fotomateriaal om in gesprek te blijven met dementerende bejaarden.

Gedachtentreintje 3  kwam op gang toen ik meer las over het vernieuwende businessmodel wat wordt gebruikt door het bedrijf Kickstarter. Klanten worden actief en op een co-creatieve wijze meengenomen in het ontwikkelproces van bestaande en nieuwe producten. Een mooie manier om als bedrijf nieuwe input te krijgen en op een nieuwe wijze de financiering ervan te regelen.