woensdag 9 september 2009

feedback and assessment

Findings from ‘Technology, Feedback, Action!’: the impact of technology on student engagement with feedback

Stuart Hepplestone, Helen Lyons, Louise Thorpe, Graham Holden
Sheffield Hallam University, United Kingdom

This short paper shares the methodology and discusses outcomes of a 12-month research study at Sheffield Hallam University funded by the Higher Education Academy e-Learning Observatory to explore the potential of technology-enabled feedback. This project aims to develop a deeper understanding of how the appropriate use of learning technologies can support efficient and effective feedback strategies including encouraging students to engage with their feedback and formulate actions to improve future learning.Technical interventions explored in this study include: the use of the Blackboard Grade Centre for online publication of student feedback and marks; the adaptive release of marks through the use of a bespoke Assignment Handler tool which encourages students to engage with their feedback and identify key learning points in order to activate the release of their mark; and an electronic Feedback Wizard tool linking feedback to learning outcomes to generate consistent individual feedback documents.Key headlines from the review of current literature into the application of technology to support both delivery and use of feedback will be outlined and key findings from the analysis of student interview data exploring how the characteristics of the applications of technology described above impact upon students' engagement with their feedback will be shared. We will be looking specifically at the potential logistical benefits of convenience, ease of access and legibility of feedback delivered this way, and most importantly the potential learning benefits of directly aligning feedback to learning outcomes, fostering deep reflection and action planning for further personal improvement.Beyond the session, the audience will be encouraged to contribute to the project wiki containing a well-developed literature review and to submit voluntary case studies of using technology to engage and encourage students to learn from their feedback. The audience will also have access to a series of good practice guides for the application of technology to deliver actionable feedback aimed at different audiences including senior managers, academic staff, learning technologists, support staff and students, developed as part of the project outcomes.no references included


Aanpassing op Bb door Sheffield Hallam university waarbij adaptive release wordt ingezet bij digitaal toetsen. Studenten krijgen in plaats van een cijfer via het gradebook de code FB te zien wat staat voor feedback. Deze feedback kan via een Feedback Wizard direect worden gelinkt aan learning outcomes.

Gebruik van een evidencenet (wiki: http://tinyurl.com/e8uolj)

Waarom deze keuze:
- gebruiksgemak
- actueel
- persoonlijke feedback
- maar ook argumenten als leesbaarheid van de feedback (vodcast Wim Verhoef)
- combinatie mogelijk met materiaal wat je verder helpt (context)

a Journey in innovation

2e keynote van Alp-C door Martin Bean.

Changing landscape: resistance to innovation --> linking to the world is flat from Thomas Friedman

trends die doorzetten:
- globalisering
- concurrentie is ook global
- alle veranderingen gaan steeds sneller (broadcasting, gebruik Twitter)
- business goes where the talent is!!!
- life time emplyability wordt belangrijker dan een baan voor het leven

Onderwijs niet meer als een eenmalige cycle maar als een continue proces.

* Globalisatie van het onderwijs
- impact van het Bologna-verdrag waardoor opleidingen over grenzen heen erkend worden en vergelijkbaar zijn.

* Toename deelname aan hoger onderwijs
vraag naar onderwijs blijft groter worden. Hoe kunnen we hier aan voldoen?
brick and mortar naar click and mortar.

* Toenemende privatisering van het onderwijs
Onderwijs is de snelst groeiende sector. Andere rollen voor shareholders

Uitdagingen:
- uk and us overshaduwed by India and China
meer studenten, studenten die na studie weer teruggaan
- opleiden voor nieuwe beroepen
- innovaties worden steeds belangrijker (STEM) neet als duurzaamheid
- informatie naar kennis (hoe geef ik er betekenis aan)

Rol opleiders nu: making people feel uncomfortable!!!

School is like an aeroplane. You put all your confidence in someone you've never met who stands in the front and you have to turn off all your electronic devices.

Wat willen studenten (foto rijtje studenten)

Hoger onderwijs is hier nog niet klaar voor
combi tussen formal en informal learning. Grenzen tussen beide zijn kunstmatig en worden vooral in stand gehouden door wijze van financiering

Friedman --> wat betekent die voor het hoger onderwijs --> wat is de rol van technologie?
- bereikbaarheid en toegang
- communities of learning (formal en informal)
- relevant, personalised and engaging learning
- greater insight for educators and more time
- agile, efficient and connected learning systems
--> uitwisselbaarheid van gegevens tussen silos (MIS)

Mensen en processen belangrijker dan keuze technologie
Ontwikkelingen rond de Open Universiteit
- open educational resources
- content creation
- going multichannel --> scheiding tussen opslag en publicatie

Education meets social software --> disruptive

Student experiences

In deze sessie presenteren 2 projecten hun ervaringen met eLearning bekeken vanuit een studentenstandpunt.
De onderzoeken zijn gedaan met kleine groepen studenten en leveren niet echt spectaculaire resultaten op. Tot mijn verbazing wordt er ook gesteld dat studenten moeiteloos heen en weer schakelen tussen de technologieen die zij gebruiken voor leren en voor andere activiteiten. Hoe zit het met het gevoel van powered-down? Wordt de technologie echt ingezet om het leren te ondersteunen en studenten uit te dagen of blijft het bij het ondersteunen van de dingen die toch al gedaan worden???

Wat zijn de verwachtingen en ervaringen van studenten die beginnen aan een studie aan een instelling voor hoger onderwijs?
- meer gebruik van technologie
- sterk afhankelijk van de docent en grote onderlinge verschillen

* welke technologieen gebruiken studenten en waarvoor: (foto)
* inzet van technologie bij toetsing en feedback
* vaardigheden in het gebruik van: wiki, mindmapping

Studenten gaven aan dat ze positief aankeken tegen het gebruik van technologie maar het ook niets speciaals meer vonden. elearning is gewoon leren met wat meer technologie erin geintegreerd.
Aanbeveling: geef helder aan wat de rol is van tools.

Deel 2 van de workshop

Martin Weller gaat verder met het 2e deel van de workshop waarbij cloud
Er wordt teruggekeken naar een tweetal filmpjes die gaan over dromen rond onderwijs:
- jaren 60-filmpje over futurisch onderwijs vanuit thuis.
- filmpje met internet voorgesteld als een blackbox.
Dwwas vs nadruk op technologie.

Beeldende presentatie die zeker Rudi zal aanspreken

Toekomst van onderwijs gaat over verscheidenheid: in tools entechnologieen die worden gebruikt, maar ook combinatie van formal en informal learning, any time maar ook just in time. Verzameld, geaggregeerd en samengesteld op verschillende manieren (leerder bepaald). Andere keywords: delen (foto cavia), --> zombies in plain english

Wat hebben we nodig:
- range of content
- easy to use reliable tools
- new methods of assessments
- robust but quick means of assuring quality
- authentication and identity mechanisms
- ways of recognizing informal learning
- pedagogy that encourages participatin
- ......

Als het onderwijs in de toekomst wordt gekenmerkt door:
foto
wat betekent die dan voor:
- docenten
- studenten
- it ondersteuning
- wat houdt ons tegen
- waar zouden we vanaf moeten

In deze sessie wordt gebruik gemaakt van een techniek die we bij Avans ook wel gebruiken aan de hand van de 3 vragen-methode.

Vervolgactiviteit is dat er nu in groepen verder wordt gepraat over bovenstaande vragen. Na het congres kan de discussie online worden voortgezet.

Realising Dreams, Avoiding Nightmares, Accepting Responsibilities

Martin Weller, Brian Kelly

This workshop session on "Realising Dreams, Avoiding Nightmares, Accepting Responsibilities" will be facilitated by two experienced speakers who have taken an active role in exploiting a variety of Web 2.0 services in an open and participatory way.The session will acknowledge that the dream of the empowered, personalised learner, who is happy to use tools at his/her disposal, uses them in an ethical way and is aware of risks would seem to be achievable. This vision would be supported by an institution which can respond accordingly, addressing risks when needed, providing the flexibility needed to exploit new opportunities and ensures that new media literacy skills are provided.The workshop will start by setting out the techno-pedagogic utopian vision of the future learner and then seek to explore the practical issues it entails.The workshop will explore the nightmares which could be encountered if naive approaches to realising the vision are taken.The workshop will conclude by exploring the responsibilities which need to be accepted if the shared vision is to be achieved.Ideas to be ExploredThe workshop will provide an opportunity for participants to outline obstacles and barriers which might be envisaged in deploying innovative e-learning solutions. Approaches to addressing such barriers will be explored. Possible areas to be explored include:* Privacy* Access and the Digital Divide* Support* Robustness of IT services* Technical issues e.g. integration, monitoring* Pedagogy* Quality controlEfficiencyIntended OutcomesBy the end of the workshop participants will:* Be aware of risks associated with innovative e-learning applications which they may have not considered.*Have developed a better understanding of risk and opportunity management approaches which can be used.* Have considered the responsibilities which the various key stakeholders will need to address.* Have engaged actively with other participants.*Provide recommendations on how this work should continue to be addressed.User activitiesUsers will work in groups to consider two activities. Firstly working through the issues in developing a distributed, PLE type framework, and then developing scenarios of future learners in a personalised, informal learning network.no references included

Realising dreams, avoiding nightmares

Hoera, niet alleen een sessie met een aansprekende titel, maar ook de eerste sessie die interactief is en waarbij de deelnemers in groepen stevig in discussie gaan over een drietal vrage:
- wat zijn je dromen
- in hoeverre komen ze overeen met groepsleden
- wat is ervoor nodig om ze te realiseren.

De presentatie is in handen van de universiteit van Bath. Zij vragen de verschillende groepen niet alleen plenair terug te rapporteren, maar dit ook vast te leggen via Crowdvine (soort Ning-community van het congres) of in een wiki (Wetpaint).
Meteen aan het begin van de discussie komt de kloof tussen docenten en onderzoekers al aan bod. Blijkbaar worden hier in de UK veel zaken op instellingsniveau geregeld en verwachten studenten ook dat de gevraagde faciliteiten/tools mogelijk gemaakt worden door de universiteit. Gelukkig draait na een paar minuten de discussie en komt het acccent veel meer te liggen op heet toegankelijk maken en het aansluiten bij de wereld van studenten.
Tijdens de terugkoppeling van de 1e serie vragen wordt er door de diverse groepen heel divers gereageerd. De algemen stemming is betrokken, gepassioneerd. Keywords zijn toch wel toegankelijkheid en een kleiner wordende rol voor techniek. Een sessie waar meer aandacht is voor leren.

overzichtfoto zaal