Adaptive comparative judgment for reliable e-assessment

In 2004 draaide het project eScope, gericht op het vastleggen van academische activiteiten. Gesponsord door het ministerie van onderwijs. Hoe maak je soft skills van een student zichtbaar: kritisch denken, probleem oplossen, samenwerken etc. Op een dynamische wijze.

De uitkomst was een storyboard portfolio die stapsgewijs de activiteiten en de voortgang van studenten weergaf. Achterliggend idee was om de authenticiteit van het werk dat door de studenten gedaan werd, vast te leggen. Heeft de student echt alles zelf gedaan en niet de ouders of de info vanaf het internet.

De betrouwbaarheid van toetsen bleek echter lastig aan te tonen. In het verhaal gaat het vooral over de betrouwbaarheid van de beoordeling bij open vragen.

Comparative judgment heeft criteria nodig om subjectiviteit in de beoordeling te verminderen.

TAG  heeft algoritmes ontwikkeld die dit ondersteunen.  Deze zijn gebaseerd op het oordeel van professionals uit het beroepenveld.

ACJ kan gebruikt worden bij summatieve toetsen met open vragen (essays) en bij peerreviews en feedback.

Basis is grote aantallen toetsen en werken op basis van vergelijken van antwoorden voordat er een beoordeling gegeven wordt.

Online ePortfolio for complex curricula

Verhaal vanuit het Isala ziekenhuis in Zwolle

De complexiteit wordt veroorzaakt door de hoeveelheid toetsen, individuele leerpaden en veel begeleiders en examinatoren.

Probleem is dat er weinig inzicht is in het leerproces.

Keuze voor een gecombineerde tool voor ePortfolio en toetsen. Principes die daarbij worden gebruikt: adaptieve tool, multiplatform en mogelijkheid voor onderzoek en learning analytics. Uiteindelijk heeft Isala gekozen voor een maatwerkoplossing van Paranthion --> Scorion ePortfolio

Scorion wordt nu ook gebruikt bij de huisartsenopleiding.

Can digital quizzes and learning analytics contribute to student engagement?

Activeren van studenten in de propedeuse door wekelijks te toetsen. Studenten maken wekelijks een online toets waar ze bonuspunten mee kunnen scoren. Project bij de VU waar 30 docenten aan deelnemen en ruim 500 studenten.

Het merendeel van de studenten participeert.

De fysieke bijeenkomsten hebben meer effect.

De online toetsen worden afgenomen in Blackboard. Daardoor is meteen duidelijk welke studenten niet deelnemen aan de toetsen of consequent laag scoren. Hier kan via SLB op ingespeeld worden.

De data in Bb over deze toetsen wordt nog amper gebruikt.

Jammer, herkenbaar verhaal. Projecten bij Avans hogeschool zijn verder ontwikkeld.

Uit het publiek komt nu een voorbeeld. De eerste keer dat studenten een vraag beantwoorden kunnen ze 10 punten halen, de tweede keer maximaal 8 punten.

2de voorbeeld bij de Erasmus met 1000 studenten. Bonusvragen leveren 11 punten op. 90% van de studenten doet mee, 80% van hen haalt het bonuspunt.

Wat doen docenten met de informatie uit het systeem? Passen ze hun methoden aan?

Engagement and creativity through mobile learning

Creativity is not a gift of only special people, but a positive, essential capacity of all healthy-functional individuals

Creativiteit en verhalen

Eploration - inspiration - production - sharing als cyclisch proces

Nieuwe ervaringen die kinderen opdoen roepen bij hen emoties op die omgezet kunnen worden in een product wat gedeeld kan worden met anderen.

Het onderzoek richt zich op het ontwerp en de integratie van mobiele technologie in formele educatie en het vertalen ervan in een waardevol resource.

Een hulpmiddel daarbij kan zijn digital storytelling. Dit helpt kinderen bij hun taalontwikkeling.

Fiabot is de applicatie die kinderen helpt een digitaal verhaal te maken en te delen.

Ontwerpregels:

Betrek alle stakeholders

Gebruik verschillende technieken

Monitor de gebruikers tijdens het ontwerpproces.

Analysetools richten zich op: creativiteit, samenwerking, gebruik van interactieve media en consistentie

In de zelfevaluatie gaven de kinderen aan het meest beinvloed te worden door ervaringen van vrienden en door boeken.

Teach forward

Hoe stimuleer je kinderen om een technische studie te kiezen en code te leren. Een voorbeeld uit Malmo, Zweden via het Neo4j.org en Neo technology project.

Ook in Zweden loopt het onderwijs niet parallel met ontwikkelingen in de techniek. Hoe kunnen we kinderen leren omgaan met techniek, minimaal op het niveau van gebruikers en welke rol speelt het onderwijs hierbij.

Van wisdom of the crowds naar the bubble of recommandations?

Techniek project: break your toy

Kinderen namen oud speelgoed mee naar school en kregen de opdracht dit te slopen. Met het materiaal werd een nieuw object gemaakt (walkie-talkie).

Coderdojo: hoe leer je kinderen programmeren, waarbij je principes uit de dojo gebruikt. Visuele weergave van programmeerregels om kids niet af te schrikken.

Mixtra, lokale ondernemers presenteren in het klaslokaal (als rolmodellen).

Hackathons en conferences

Kinderen worden in een real-life situatie gebracht en uit het klaslokaal gehaald. Bijvoorbeeld speciale kids-tracks bij conferenties.

Kidscraft, gebruik van computergames (minecraft), no parents allowed.

Resultaten kunnen ze 3d printen.

Verdere ideeen: tech coolness events, non-tech tech, mini-ondernemingen.

Ideas and tools to help children become geniusses

Sos devoirs, online homework help. What have we learned after 12 years?

De presentator neemt ons mee naar het tweetalige onderwijs in Canada. Het recht op Franstalig onderwijs is grondwettelijk vastgelegd, ongeacht in welk deel van Canada de scholieren wonen. Een belangrijke vraag daarnij is hoe ouders en de school kunnen samenwerken rond het huiswerk dat scholieren moeten maken. Http://Sosdevoirs.org

Omgaan met geografische uitdagingen, grootte van het land en soms ook geisoleerd.

Basis van het learning systeem is een chatroom waar studenten hun opdrachten kunnen maken, opslaan en kunnen bespreken met elkaar en met een docent.

Dit betekent ook het scholen van docenten in het gebruik van emoticons. 😄

Dit project wordt ondersteunt door een team van onderwijskundigen (not the answer, but how to get there). 

Aandachtspunten zijn: wiskunde, de hoeveelheid content en hoe daar de weg in te vinden, internet literacy en onderzoeksvaardigheden, ongeduld bij studenten en de generatie van digital castaways...

Reaching out to 3 billion users

Met zo'n titel schep je natuurlijk een serieuze verwachting. Person presenteert classroom Earth.

Op basis van het concept van Buckminster Fuller: operation manual for spaceship Earth heeft Pearson een manual ontwikkeld voor de toekomst.

Het aantal internetgebruikers is sinds 2007 gestegen van 1,25 miljard naar een veelvoud daarvan in 2020. Tegelijkertijd is de verkoop en het gebruik van mobiele devices geexplodeerd, met name in Latijns Amerika en China.

Voorbeelden

-  in India (Zaya, local tablet learning labs), ingezet voor de verspreiding van video's van de Khan academy

- in Zambia --> ZeduPad (goedkope tablets)

- in Kenya, experimenten rond het gebruik van sms en mobiele netwerken (eneza) en bridge (tablets voor docenten met een batterijduur van 2 weken)

- de UAE met hun iPadprogramma 

- Turkije met Fatih, een nationaal programma de inzet van tablets voor 17 miljoen studenten en 1 miljoen docenten.

Opzet van een fonds gericht op affordable learning.

Het wereldwijde platform hiervoor is OpenClass. Iets om in het kader van OE zeker naar te kijken.

De presentatie eindigt met een mooie quote:

Every time we make a new experiment we always learn more, we cannot learn less