Online- vs. Papier-Evaluation und die Frage nach den Rückläufen
Die Lehrveranstaltungsevaluation ist fester Bestandteil des universitären Alltags von Lehrenden und Studierenden. Lehrende berichten über sinkende Teilnehmerzahlen, Studierende hingegen kritisieren, dass die Befragungsergebnisse kaum kommuniziert werden. Zur Erklärung der geringen Teilnahme an der Lehrveranstaltungsevaluation wird oftmals das Erhebungsmedium als ursächlich für geringe Rückläufe benannt. So ist die Annahme verbreitet, dass die Onlinebefragung zu schlechteren Rückläufen führe und daher die Befragung mittels Papierfragebogen vorzuziehen sei.
Im Folgenden soll diskutiert werden, inwiefern Rücklauf und Erhebungsmedium zusammenhängen und welche weiteren Faktoren eine Rolle spielen. Weiterhin wird aufgezeigt, wie Sie die Rückläufe erhöhen können und welche Vorteile mit einer Onlinebefragung verbunden sind.
Geringe Rückläufe bei der Onlinebefragung und mögliche Gründe
Die meistgenannten Kritikpunkte gegenüber Onlinebefragungen sind geringere Rücklaufquoten und die schwierigere Erreichbarkeit der Studierenden. Diese Einwände sind nicht unberechtigt und können empirisch gestützt werden. Bei genauerer Betrachtung wird jedoch deutlich, dass nicht das Erhebungsmedium, das heißt Papier oder Online, sondern der Befragungskontext, also Befragung in oder außerhalb der Lehrveranstaltung, für die Teilnahme und die Antwortbereitschaft entscheidend ist.
Bei der Analyse der Beteiligung an der Lehrveranstaltungsevaluation im Wintersemester 2015/16 zeigt sich, dass Kurse, die online in der Veranstaltung evaluiert wurden, eine Umfragebeteiligung von ca. 53% hatten. Damit beträgt der Rücklauf im Vergleich zu den Erhebungen mittels konventionellen Papierfragebögen lediglich 6% weniger. Werden die Beteiligungsquoten jedoch unabhängig von dem Befragungskontext betrachtet, lässt sich die obengenannte Befürchtung bestätigen. Der Rücklauf bei Onlineerhebungen liegt dann mit 39% hinter den Papiererhebungen mit 59%. Diese Betrachtungsweise verzerrt jedoch die Ergebnisse, weil ein wichtiger Einflussfaktor, namentlich der Befragungskontext, ausgeklammert wird.
Trotz der empirischen Ergebnisse, können die Bedenken um einen zu niedrigen Rücklauf nicht überall ausgeräumt werden. An dieser Stelle kann ein weiterer wichtiger Punkt bei dem Diskurs um schlechte Rückläufe angeführt werden: die Motivation der Studierenden an der Befragung teilzunehmen. Würden Sie an einer Befragung teilnehmen, bei der unklar ist, welchen Zweck diese erfüllt? Bei der Sie nicht wissen, ob Ihre Meinung und Angaben eine Wirkung haben und ob die Ergebnisse am Ende mit Ihnen besprochen werden? Häufig wird bei den standardisierten Evaluationsverfahren vergessen, dass auch die Ergebnisdiskussion, mit den Studierenden, Teil der Evaluation ist.
Gerade Studierenden ist der Zweck der Lehrveranstaltungsevaluation meist unklar. Unmittelbare Veränderungen können meist nicht wahrgenommen werden, da die Verbesserungen der Lehre erst nach der Befragung und somit erst im nächsten Semester umgesetzt werden können. Aus diesen Gründen ist es wichtig, den Studierenden mitzuteilen, welchen Zweck die Evaluation hat, die Ergebnisse mit ihnen zu diskutieren, zu reflektieren und gemeinsame Veränderungen zu erarbeiten. Dabei kann eine Diskussion der Ergebnisse nicht nur die Motivation zu Teilnahme erhöhen, sondern Ihnen bei der Interpretation der Ergebnisse und der Suche nach Verbesserungen helfen. Nicht immer sind die Ergebnisse eindeutig interpretierbar und die Verbesserungsvorschläge der Studierenden umsetzbar. Werden Ergebnisse jedoch nicht zurückgespiegelt, könnte der Eindruck entstehen, dass die abgegebene Bewertung und Meinung nicht berücksichtigt wird. Das kann wiederum zu einem Befragungsüberdruss und sinkender Teilnahmemotivation auf Seiten der Studierenden führen.
Wie können die Rücklaufquoten bei Onlinebefragungen erhöht werden? Der Erhebungskontext hat einen großen Einfluss auf die Teilnahmebereitschaft der Studierenden. Mit der Einführung des Online-Instruments SET.UP wurden technische Möglichkeiten geschaffen, um Befragungen online in der Veranstaltung durchzuführen und somit geringen Rücklaufquoten entgegenzuwirken (u.a. ist der Zugang zu den Befragungen über einen QR-Code möglich). Im Zeitalter der Smartphones und Tablets nutzten bereits 2013 79% der Studierenden aktiv das Campus-WLAN, wie eine Studie[1] des ZfQ-Bereichs Lehre und Medien zeigte. Somit können auch Bedenken zur technischen Erreichbarkeit der Studierenden abgeschwächt werden.
Welche Vorteile sind mit der Online-Evaluation verbunden?
Durch die Evaluation in der Veranstaltung sind die Ergebnisse sofort online verfügbar und können im Anschluss an die Befragung mit den Studierenden besprochen werden. Bei der Papiervariante kann nicht garantiert werden, dass eine Besprechung in der Vorlesungszeit noch möglich ist. Die Fragebögen müssen erst per Hauspost an das ZfQ gesendet und ausgewertet werden. Diese Bearbeitungszeit entfällt bei der Onlineevaluation. Weiterhin können Studierenden, die zum Evaluationszeitpunkt nicht anwesend waren, dennoch an der Befragung teilnehmen. Die Meinung fernbleibender Studierenden ist für die Weiterentwicklung in der Lehre ebenfalls wichtig. Diese Möglichkeit besteht bei der Papiervariante nicht.
Durch das SET.UP-Instrument können die Lehrenden den Fragebogen an ihre individuellen Lehrziele und -methoden anpassen und eigene Fragen mit aufnehmen. Somit werden die Studierenden nur zu relevanten Aspekten der Lehrveranstaltung befragt. Durch einen starren Papierfragebogen geht dieser Vorteil verloren und viele Aspekte der Lehre, finden dadurch keine Berücksichtigung in der Lehrveranstaltungsevaluation.
Diskussionskultur fördern
Auch alternative Verfahren zum SET.UP-Instrument können für die Lehrveranstaltungsevaluation angewendet werden. Nicht immer ist eine standardisierte Befragung der Studierenden sinnvoll. Insbesondere in kleineren Veranstaltungen bieten sich Feedbackgespräche und andere Evaluationsformen an. Die Ergebnisse aus alternativen Evaluationsverfahren können seit dem Sommersemester 2016 durch die Lehrenden selbst im Lehrenden-Bereich von PEP dokumentiert werden. Die Lehrveranstaltungsevaluation, egal in welcher Form, hat das Ziel, die Kommunikation zwischen Lehrenden und Studierenden zu fördern und eine Feedbackkultur anzustoßen von der sowohl Lehrende als auch Studierende profitieren, nämlich durch die Weiterentwicklung der Lehre.
[1] Vgl. AG eLEARNING (2014): Auswertung der Befragung zum Mediennutzungsverhalten Studierender an der Universität Potsdam. Potsdamer Beiträge zum E-Learning (2). S.4.