Feedback.UP - ein formatives Evaluationsverfahren
In Anbetracht der besonderen Umstände im Zusammenhang mit der COVID-19-Pandemie und der damit vorübergehenden Umstellung auf digitale Lehr- und Lernangebote haben wir zum SoSe 2020 Fragebögen entwickelt und fortlaufend an die Situation angepasst, damit Lehrende ihre Lehrveranstaltungen formativ evaluieren können. Auf dieser Seite geben wir Ihnen eine kompakte Übersicht dazu.
Formative Evaluationsverfahren sollen prozessbegleitend zur Verbesserung des Evaluationsgegenstands beitragen. Auf die Lehrveranstaltungen bezogen bedeutet das, schon zu Semesterbeginn oder nach wenigen Wochen eine Rückmeldung der Studierenden zur Lehrveranstaltung einzuholen, um in dieser für viele noch ungewohnten Situation auf Wünsche, Erwartungen, Probleme und Verbesserungsvorschläge der Kursteilnehmenden eingehen zu können.
Dafür halten wir momentan zwei kurze Fragebögen für Sie im Lehrendenbereich bereit, die Sie bei Interesse - auch unabhängig voneinander - als alternatives Evaluationsverfahren verwenden können.
- Der erste Fragebogen "Feedback.UP - Auftakt" kann zu Beginn des Semesters eingesetzt werden, um konkrete Erwartungen der Lernenden an die (Online-)Lehrveranstaltung abzufragen (vgl. Ulrich 2016). Außerdem soll den Studierenden in den ersten Wochen des Semesters Raum gegeben werden, über ihre Bedenken, Probleme, Wünsche und Erfahrungen mit der (Online-)Lehre zu berichten, die dem Lehrenden als Feedback dienen. Sie haben daraufhin die Möglichkeit, auf die Bedarfe und Probleme der Studierenden einzugehen und ggf. Anpassungen am Konzept oder der konkreten Umsetzung der Lehrveranstaltung vorzunehmen. Wie Sie den Fragebogen einstellen und mit den Studierenden teilen können, erfahren Sie hier.
- Für einen späteren Zeitpunkt des Semesters haben wir einen zweiten Fragebogen "Feedback.UP - Verlauf" für Sie konzipiert, welcher auf unterschiedliche Aspekte der (Online-)Lehre Bezug nimmt. In Anlehnung an die Start-Stop-Continue-Methode (vgl. Hoon et al. 2015) werden offene Fragen gestellt, die im Hinblick auf die Bereiche Kommunikation und Betreuung, die zur Verfügung gestellten Materialien, technische Herausforderungen, Aufgabenstellungen sowie die Strukturierung des Kurses zu beantworten sind (vgl. Arnold et al. 2018). Wir empfehlen eine Verwendung ab der dritten Sitzung oder später, da die Fragebogeninhalte sonst ggf. noch nicht sinnvoll zu beantworten sind. Bei Bedarf kann der Fragebogen mehrfach im Semester eingesetzt werden, um ein weiteres Zwischenfeedback zu erhalten. Die Anleitung zur Verwendung des Fragebogens finden Sie nachfolgend.
|
|
Anleitung zur Verwendung von Feedback.UP
Prinzipiell steht es Ihnen frei die Fragebögen auch unabhängig vom Potsdamer Evaluationsportal einzusetzen. Die Fragen können Ihnen als Anregung bei der Erstellung eines Moodle-Feedbacks oder der Nutzung von anderweitigen Datenerhebungsinstrumenten für kurze, schnelle Umfragen (z.B. mit Pingo o.ä.) dienen.
Nachfolgend ist die technische Umsetzung der formativen Evaluation mit Feedback.UP in der für Sie schon bekannten PEP-Umgebung beschrieben, die Sie zur Lehrveranstaltungsevaluation mit dem SET.UP-Fragebogen bereits nutzen bzw. ebenfalls nutzen können.
Die Fragebögen stehen jetzt auch auf Englisch im Lehrendenbereich zur Verfügung, wenn Sie die Fragebogensprache auf "englisch" umstellen. Die Studierenden haben außerdem die Möglichkeit während der Befragung zwischen den Sprachen zu wechseln.
Alternativ zur Step-by-Step-Anleitung können Sie sich die aufgezeichnete Online-Veranstaltung, wo die Möglichkeiten zur Evaluation vorgestellt sowie der Aufbau und die Verwendung der Feedback.UP-Fragebögen erläutert werden, ansehen.
Um die formative Evaluation durchzuführen, müssen Sie sich zunächst im Lehrendenbereich des PEP anmelden. Dann können Sie den Fragebogen in der zweiten Spalte ändern, indem Sie auf den Fragebogen „SET.UP Lehrzielorientierter Fragebogen“ klicken und im sich öffnenden Dropdown-Menü den gewünschten Fragebogen zur formativen Evaluation (Feedback.UP - Auftakt bzw. Feedback.UP - Verlauf) auswählen. (1)
Wichtig: Achten Sie darauf, dass der Evaluationsstatus der Lehrveranstaltung auf "aktiv" bzw. "aktiv(Pflicht)" gesetzt ist, sonst kann die Evaluation nicht mit den Studierenden geteilt werden. (2)
Sofern der Befragungsstatus der zu evaluierenden Lehrveranstaltung noch auf "inaktiv" gestellt ist, klicken Sie auf den unterstrichenen Befragungsstatus, wählen im Dropdown-Menü "aktiv" aus und bestätigen Ihre Auswahl mit 'Ok'. Nur wenn der Befragungsstatus auf "aktiv" gesetzt ist, können Ihre Studierenden über den von Ihnen gewählten Zugangspunkt an der Evaluation teilnehmen. Bleibt der Befragungsstatus "inaktiv", können Ihre Studierenden den Kurs nicht evaluieren, auch nicht über PULS. Mehr Informationen zur Auswahl des Zugangspunktes erhalten Sie im nachfolgenden Abschnitt.
Einladung der Studierenden zur Befragung
Die Einladung zur Teilnahme an der formativen Evaluation kann wie auch bei Kursevaluation mit dem SET.UP-Fragebogen auf verschiedenen Wegen erfolgen:
a) Einladung per QR-Code während des Kurses mit internetfähigen Geräten.
b) Einladung per E-Mail: Über Ihren Lehrendenbereich haben Sie die Möglichkeit, eine personalisierte Einladungsemail an Ihre Studierenden zu verschicken.
c) Einladung über Moodle: Es ist ebenfalls möglich einen Link zu der Onlinebefragung in Ihren Moodle-Kurs zu integrieren.
d) Zugang über PULS: Ihre Studierenden können den voreingestellten Onlinefragebogen auch über die Veranstaltungsübersicht in ihrem jeweiligen PULS-Account erreichen.
e) Zugang über den Kursschlüssel: Die Befragung kann auch über den Kursschlüssel aufgerufen werden.
a) Onlinebefragung während der Kurszeit
Bitten Sie die Studierenden, ihre internetfähigen Geräte (wie z.B. Smartphones, Tablets oder Notebooks) zum nächsten Lehrveranstaltungstermin mitzubringen.
Wählen Sie den gewünschten Fragebogen aus und stellen Sie den Zugriffspunkt auf "PEP, FB-Link, QR-Code" (1) um. Kopieren Sie dann den QR-Code (2) in Ihre Präsentation. Geben Sie auch den direkten Link (3) zum Fragebogen an, falls die Studierenden Probleme beim Einscannen des QR-Codes haben. Sie können den direkten Link (3) auch per E-Mail an die Studierenden senden, um den nicht anwesenden Studierenden die Möglichkeit zur Teilnahme zu geben.
Zeigen Sie den QR-Code und den direkten Link über Ihre Präsentation und geben Sie den Studierenden Zeit, den Fragebogen auszufüllen. Studierende ohne internetfähiges Endgerät oder Personen, die nicht anwesend sind, können den Fragebogen zu Hause bzw. später ausfüllen (über den per E-Mail versandten Link).
Beispiel für einen QR-Code:
Beispiel für den direkten Link: https://pep.uni-potsdam.de/articles/375.html
Nach dem Ausfüllen der Fragebögen im Kurs können Sie die Ergebnisse sofort oder zum nächsten Lehrveranstaltungstermin mit Ihren Studierenden besprechen. Zu diesem Zweck wird zusätzlich zum detaillierten Ergebnisbericht eine Folienpräsentation mit den wichtigsten Ergebnissen zur Verfügung gestellt. Diese können Sie direkt nach der Umfrage in Ihrem Lehrendenbereich herunterladen.
b) Einladung zur Onlinebefragung per E-Mail
Stellen Sie den Zugangspunkt in Ihrem PEP-Lehrendenbereich auf "PEP, Link, QR-Code" ein. Die Spalte "Verfahren" wird dann aktualisiert.
Der gelb markierte Link führt direkt zum Fragebogen Ihres Kurses. Kopieren Sie den Link und senden Sie ihn in Ihrer Einladung per E-Mail von Ihrem PEP-Konto, über PULS, Moodle oder Ihre private E-Mail-Adresse an die Studierenden Ihres Kurses.
Wenn Sie die Einladungs-E-Mail direkt von Ihrem PEP-Konto aus versenden möchten, kopieren Sie bitte die E-Mail-Adressen der Studierenden in das Empfängerfeld. Name des Absenders, Betreff und Nachricht sind voreingestellt, können aber von Ihnen angepasst werden. Für den Link zum Fragebogen und andere feste Bezeichnungen verwenden Sie die aufgeführten Platzhalter. Diese werden beim Versenden der E-Mails automatisch durch den entsprechenden Inhalt ersetzt.
Hinweis: Wenn im Empfängerfeld falsche E-Mail-Adressen stehen, werden Sie nach dem Drücken von "Senden" darüber informiert. Der E-Mail-Dialog wird dann nur mit den falschen E-Mail-Adressen wieder geöffnet. Die Nachricht wurde dann bereits an die richtigen Adressen gesendet.
c) Anzeigen des Fragebogenlinks in Moodle.UP-Kursen
- Stellen Sie den Zugangspunkt im Lehrendenbereich des PEP auf "Moodle" ein. Die Spalte "Verfahren" wird dann aktualisiert.
- Kopieren Sie den PEP-Kursschlüssel aus der dritten Spalte, um ihn später in Moodle einzufügen.
- Gehen Sie nun zu Moodle und wählen Sie den Kurs aus, den Sie evaluieren möchten. Wechseln Sie dann in Moodle in den Bearbeitungsmodus, indem Sie auf "Bearbeitung einschalten" klicken.
- Auf der Kursansichtsseite finden Sie in der rechten Spalte ganz unten den Punkt "Block hinzufügen". Wählen Sie "hinzufügen" und dann den Punkt "Kurs-Evaluation".
- Auf der Kursansichtsseite (rechte Spalte unten) finden Sie den neuen Block mit der Überschrift "Kurs-Evaluation".
- Wählen Sie die Schaltfläche "Aktionen" (Zahnradsymbol) in der Kopfzeile des Blocks und gehen Sie zu "'Kurs-Evaluation' konfigurieren".
- Geben Sie den PEP-Kursschlüssel in das Feld "Kurs-Schlüssel" ein und ändern Sie ggf. den Einladungstext (dieser wird im Bereich der Studierenden angezeigt).
- Klicken Sie anschließend auf "Änderungen speichern".
- Damit die Studierenden den Block und den darin enthaltenen Link zum Fragebogen sehen können, ohne weit nach unten zu scrollen, heften Sie den Block an die linke Seite (1) oder verschieben Sie den Block mit dem Pfeilsymbol entsprechend nach oben (2).
Wenn Sie Fragen zur Nutzung und zu den Anwendungsmöglichkeiten von "Moodle" haben, senden Sie bitte eine E-Mail an agelearning@uni-potsdam.de oder rufen Sie 0331-977-1589 oder 0331-977-1627 an. Der Bereich Lehre und Medien (ehemals AG eLEARNING) steht Ihnen gerne zur Verfügung. Für die Einrichtung eines Moodle-Kurses und für allgemeine technische Fragen wenden Sie sich bitte an moodle-team@uni-potsdam.de.
d) Zugriff zur Onlinebefragung über den Studierenden-Account von PULS
Der Zugangspunkt zur Evaluation ist standardmäßig auf PULS gestellt. Wenn der Zugangspunkt auf PULS eingestellt ist, haben die Studierenden die Möglichkeit, direkt aus ihrer Veranstaltungsübersicht in PULS an der Kursevaluation teilzunehmen. Dazu müssen die Studierenden die Seite "Meine Veranstaltungen" im Abschnitt "Meine Funktionen" öffnen. Unter Ihrem Kurs erscheint nun ein Link zur Evaluation. (Sie können diesen nicht in Ihrer Dozentenansicht von PULS sehen). Nachdem Sie die Evaluation Ihres Kurses über PULS auf "aktiv" gestellt haben, kann es bis zu einem Tag dauern, bis der Link zur Evaluation in der Studierendenansicht von PULS erscheint.
Die Ergebnisse der Evaluation können im Anschluss an die Teilnahme der Studierenden sofort im Lehrendenbereich in der Spalte "Ergebnisse" eingesehen und als PDF-Datei heruntergeladen werden.
Zum Ende des Semesters können Sie den Ihnen bekannten SET.UP-Fragebogen nutzen, um eine summative Evaluation ihrer Lehrveranstaltung durchzuführen. Dazu klicken Sie den aktuell ausgewählten Fragebogen einfach an und wählen im Dropdown-Menü "SET.UP - Lernzielorientierter Online-Fragebogen" aus und bestätigen die Auswahl mit "Ok".
Durch die Umstellung des Fragebogens können mit demselben Link auch unterschiedliche Befragungen mit den Studierenden geteilt werden. Die Ergebnisse gehen dabei nicht verloren und können durch das Umstellen des aktiven Fragebogens jederzeit eingesehen werden.
Im Rahmen der Anpassung des SET.UP-Fragebogens haben Sie ferner die Möglichkeit, die Evaluation im Vorhinein an ihren Lehrzielen und Lehrmethoden des Kurses auszurichten sowie um bis zu zwei offene und drei geschlossene, eigene Fragen zu ergänzen. Mehr Informationen zu den aktuellen Gestaltungsmöglichkeiten des SET.UP-Fragebogens finden Sie hier.
| ZfQ - Bereich Hochschulstudien: evaluation@uni-potsdam.de |
Literatur
Arnold, P., Kilian, L., Thillosen, A., Zimmer, G. M. (2018). Handbuch E-Learning. Lehren und Lernen mit digitalen Medien. W. Bertelsmann Verlag, Bielefeld. 5. Auflage.
Hoon, A., Oliver, E., Szpakowska, K., & Newton, P. (2015). Use of the ‘Stop, Start, Continue’method is associated with the production of constructive qualitative feedback by students in higher education. Assessment & Evaluation in Higher Education, 40(5), 755-767.
Ulrich, I. (2016). Gute Lehre in der Hochschule. Praxistipps zur Planung und Gestaltung von Lehrveranstaltungen. Springer, Wiesbaden.