1. Formative Evaluationsverfahren im WiSe 2024/25

    Liebe Evaluationsinteressierte,

    im Wintersemester 2024/25 können Sie unsere Fragebögen Feedback.UP – Auftakt bzw. Feedback.UP – Verlauf zur formativen Evaluation Ihren Lehrveranstaltungen nutzen. Die Fragebögen eignen sich, um frühzeitig oder lehrveranstaltungsbegleitend Rückmeldungen der Studierenden einzuholen. Mehr Informationen zu der Verwendung von Feedback.UP erhalten Sie hier.

    Neben den Fragebögen von Feedback.UP gibt es in diesem Semester die Möglichkeit, sich für die interaktionsorientierte Evaluationsmethode Teaching Analysis Poll, kurz TAP, anzumelden. Bei dieser formativen Evaluationsmethode moderieren Mitarbeitende des ZfQ (Bereich Lehre und Medien) ein Feedbackgespräch mit und zwischen den Studierenden in Abwesenheit der Lehrperson. Weitere Informationen zum Verfahren und Hinweise zur Anmeldung finden Sie hier.

    Wussten Sie schon, dass zu den wichtigsten Themen der Lehrveranstaltungsevaluation an der Universität Potsdam Screencasts für Sie erstellt wurden, um einen schnellen Einblick in die Abläufe und Möglichkeiten der Lehrveranstaltungsevaluation zu bekommen. Sie finden die Videos sowie weitere Hinweise auf Video.UP, wenn Sie nach Lehrveranstaltungsevaluation suchen, oder auf unserer Homepage unter Kursevaluation für Lehrende.

    Bei Fragen oder Problemen können Sie uns gern kontaktieren (Tel.: 0331/977-1426; E-Mail: evaluation@uni-potsdam.de). 

    Ihr Evaluationsteam

    in: Aktuelles.

  2. Ergebnisse der 4. PotsBlitz-Befragung veröffentlicht

    Im Rahmen der 4. PotsBlitz Befragung wurden die Lehrenden der Universität Potsdam vom 19. Januar bis 19. Februar 2023 aufgefordert, ihre Erfahrungen mit formativen und summativen E-Assessments im Wintersemester 2021/22 und im Sommersemester 2022 zu teilen. Ziel der Berichte ist es, einen ersten empirisch gestützten Überblick zum Thema aus Sicht der Lehrenden zu geben.

    Dabei wurden Fragen über die tatsächliche Nutzung, die Potenziale und Bedenken, mögliche Formate und Teilnehmendenzahlen gestellt. Ebenso sollte der Supportbedarf für die technische, didaktische und organisatorische Umsetzung von E-Assessments ermittelt werden.

    Insgesamt wurden 1.610 Lehrende, die mit einer gültigen E-Mail-Adresse im Vorlesungsverzeichnis von PULS mit mindestens einer Lehrveranstaltung für das Wintersemester 2021/22 oder das Sommersemester 2022 gelistet waren, zur Befragung eingeladen. 428 Lehrende folgten der Einladung, was einem Rücklauf von 26,6% entspricht.

    Auf Fakultäts- und Universitätsebene informieren die Berichte über die wichtigsten Ergebnisse und liefern Aussagen auf deren Grundlage Lehre, Studium und insbesondere E-Assessments an der Universität Potsdam gestaltet und weiterentwickelt werden können.

    Alle Ergebnisse, auch zu den vorangegangenen PotsBlitz-Befragungen, finden Sie auf unserer Ergebnisseite.

    in: Aktuelles.

  3. Ergebnisberichte des Studierenden-Panels 2020/21

    Fragen Sie sich manchmal, wie Studierende den Studienalltag an der Uni Potsdam wahrnehmen und bewerten? Ob sie diesen gut bewältigen können oder es vielleicht Schwierigkeiten gibt? Antworten auf diese Fragen sollen die jährlich stattfindenden Befragungen des Studierenden-Panels der Universität Potsdam geben. Die Befragungen werden vom Zentrum für Qualitätsentwicklung in Lehre und Studium (ZfQ) durchgeführt. Übergeordnetes Ziel ist es, auf Grundlage der Ergebnisse die Studienbedingungen langfristig und nachhaltig zu verbessern.

    Einen Dank an alle 2938 Studierenden, die an den Umfragen zum Studierenden-Panel im Studienjahr 2020/21 teilgenommen haben. Die studentische Beteiligung an den Umfragen ist eine bedeutende Voraussetzung für die Qualitätsentwicklung von Studium und Lehre an der Universität Potsdam, da die Ergebnisse der Befragungen beispielsweise fester Bestandteil im Rahmen der Studiengangsentwicklung sind.

    Die zur Befragung erstellten Berichte informieren auf Studiengangs- und Universitätsebene über die Ergebnisse der vier Befragungen zum Studienbeginn Bachelor, Studienverlauf Bachelor, Studienbeginn Master und Studienverlauf Master. Die Studiengangsberichte sind ausschließlich über das Intranet der Universität Potsdam zugänglich.

    Die Berichte liefern unter anderem Informationen über die Kompetenzen von Studierenden, Schwierigkeiten im Studium und den Herausforderungen in der Covid-19-Pandemie. Eine neue Besonderheit: die Ergebnisberichte werden nur noch für einen Berichtszeitraum (Studienjahr) erstellt, statt wie zuvor für zwei Studienjahre. Weiterhin entfällt die gesonderte Befragung zur Studienhalbzeit. Diese ist nun in die Verlaufsbefragung integriert.

    Die Gesamt- und Studiengangsberichte finden Sie hier.

    in: Aktuelles.

  4. Lehrveranstaltungsevaluation - Pflicht oder Kür?

    Die Lehrveranstaltungsevaluation (LVE) ist fester Bestandteil des universitären Alltags von Lehrenden und Studierenden – so jedenfalls die theoretische Annahme. Sie ist wichtig für die Qualitätssicherung an unserer Universität und soll insbesondere als Feedbackinstrument zu einer besseren Kommunikation zwischen Lehrenden und Studierenden beitragen.

    Die Erfahrungen mit der Evaluation können in der Praxis sehr vielfältig sein. Während Lehrende über sinkende Teilnehmerzahlen bei der fragebogengestützten Evaluation berichten, kritisieren Studierende, dass die Befragungsergebnisse kaum kommuniziert werden. Um die theoretische Annahme, dass die LVE ein fester Bestandteil des Alltags an der Universität Potsdam sei, zumindest auf Seiten der Lehrenden zu beleuchten, wurden im Rahmen einer Befragung im Februar und März 2018 Daten von 326 Lehrenden bezüglich der LVE erhoben. Es stellten sich die Fragen, wie bekannt der vom ZfQ ausgearbeitete SET.UP-Fragebogen ist, warum die Evaluation durchgeführt wird und was mit den Ergebnisberichten passiert. Auf Grundlage der Ergebnisse sollen am Ende des Beitrags mögliche Änderungen der LVE diskutiert werden, damit letztendlich Lehrende wie Studierende vom Evaluationsprozess profitieren.

    Drei von vier Lehrenden verwenden den SET.UP-Fragebogen

    Die überwiegende Mehrheit der Befragten (85 %) gibt an, den SET.UP-Fragebogen zur LVE zu kennen. Genutzt wird SET.UP für die Evaluation der eigenen Lehre von 77 % der Lehrenden. Neben dem Onlinefragebogen gibt es noch weitere Möglichkeiten zur Evaluation im Sinne einer Qualitätssicherung, die von vielen Lehrenden parallel zum SET.UP-Fragebogen oder anstelle dessen angewendet werden: 63 % der Lehrenden evaluieren mit Hilfe einer Gruppendiskussion und 36 % verwenden einen eigenen Fragebogen. Knapp 11 % geben außerdem an, weitere Methoden zu verwenden (z.B. Zielscheibenabfrage, Feedbackpostkarte, Kofferpacken) und nur rund 4 % führen keine LVE durch. Neben dem SET.UP-Fragebogen bietet das ZfQ im Lehrendenbereich des Potsdamer Evaluationsportals für alternative Evaluationsmethoden die Möglichkeit zur Selbstdokumentation und stellt auf der Homepage zusätzlich Anregungen für alternative Evaluationsverfahren wie z.B. einen Leitfaden für Feedbackgespräche in der Lehrveranstaltung zur Verfügung.

    Lehrende wollen die Lehre weiterentwickeln und Schwächen erkennen

    Neben der Bekanntheit des SET.UP-Fragebogens stellte sich ebenso die Frage, wofür die Lehrenden die Evaluation nutzen. Die Ergebnisse zeigen, dass die LVE in erster Linie der Weiterentwicklung der Lehre und Erkennung von Schwächen dient (siehe Abb. 1). Diesen beiden Aussagen stimmen 95 % bzw. 94 % der Lehrenden eher bzw. völlig zu. Mehr als 75 % nutzen sie außerdem, um eigene Stärken zu erkennen sowie Lehrziele zu überprüfen. Für die Bewerbung auf eine andere Stelle und den Vergleich mit weiteren Lehrenden wird sie hingegen nur selten genutzt.

    In der Literatur lässt sich oftmals die Aussage finden, dass die Lehrenden die LVE als reine Pflichtaufgabe verstehen. Anhand der vorliegenden Daten lässt sich das nicht bestätigen. Nur knapp jeder Zweite gibt an, die Befragung durchzuführen, um der Pflicht zur Evaluation nachzukommen. Die Ergebnisse zeigen, dass die Evaluation vorrangig nicht für Legitimationszwecke, sondern vor allem für die Weiterentwicklung der Lehre genutzt wird.

    Häufigkeitsverteilung: Nutzen der LVEAbb. 1: Häufigkeiten: Ich nutze die Lehrveranstaltungsevaluation, um…

    Ergebnisberichte von jedem Zweiten als hilfreich bewertet

    Eine weitere Frage widmete sich den Ergebnisberichten der LVE mittels SET.UP. 48 % der Lehrenden finden die automatisiert bereitgestellten Ergebnisberichte zu den Lehrveranstaltungen hilfreich. 22 % bewerten die Berichte als durchschnittlich (teils/teils) und ebenfalls 22 % als eher oder gar nicht hilfreich, während 8 % angeben, die Berichte zum SET.UP-Fragebogen nicht zu kennen. Hinsichtlich der Ergebnisdarstellung und -kommunikation gibt es also noch Luft nach oben, auch wenn die Berichte für einen Großteil der Befragten bereits hilfreich zu sein scheinen. Eine Verbesserungsmöglichkeit bestünde darin, beim Lehrendenbericht von der tabellarischen Darstellung auf eine grafische Darstellung zu wechseln. Nach Vetterlein und Sengewald (2015)1 werden grafische Ergebnisdarstellungen in der LVE als besser und schneller interpretierbar angesehen, weswegen zukünftig auch vermehrt Grafiken statt Tabellen in die Ergebnisberichte von SET.UP integriert werden sollen. Wichtig ist, dass die Ergebnisse in einer verständlichen Art und Weise aufbereitet werden und die grafischen Abbildungen übersichtlich bleiben (vgl. Rindermann 2009)2.

    Kommunikation zwischen Studierenden und Lehrenden fördern

    In Bezug auf den Austausch mit den Studierenden berichten die Lehrenden, dass sie die Ergebnisse der Evaluation in der Lehrveranstaltung kommunizieren (56 %), diese den Studierenden zukommen lassen und im Kurs besprechen (15 %) oder den Studierenden zukommen lassen, ohne darüber zu reden (6 %). Daneben geben 23 % der Lehrenden an, die Ergebnisse den Studierenden überhaupt nicht zurückzumelden. Diesen Teil der Lehrenden für die LVE und Ergebnisdiskussion im Rahmen der Lehrveranstaltung zu sensibilisieren, stellt eine lohnenswerte Aufgabe dar, um tiefergehende Reflexionsprozesse anzuregen.

    Evaluationskreislauf

    Abb. 2: Evaluationskreislauf nach Deming 1982 (eigene und erweiterte Darstellung)

    Die Besprechung der Ergebnisse sowie die Ableitung von Maßnahmen gehören ebenso zum Evaluationskreislauf wie die Befragung (siehe Abb. 2). Im direkten Austausch zwischen Lehrenden und Studierenden können umfangreichere Reflexionsprozesse angeregt und Lösungsansätze zusammen erarbeitet werden, um die Weiterentwicklung und Verbesserung der Lehre voranzutreiben. Die vermehrte und effektive Anwendung eines solchen Rückkopplungsprozesses kann als „Kür der Lehrveranstaltungsevaluation“ bezeichnet werden.

    Damit die Lehrenden die LVE dazu nutzen können, um wie bisher Schwächen zu erkennen und die Lehre weiterzuentwickeln, bedarf es eines entsprechend aussagekräftigen Rücklaufs. Die Ergebnisrückmeldung der Lehrenden kann ihren Teil dazu beitragen, dass mehr Studierende ihre Chance zur Mitgestaltung der Lehre nutzen, sodass es zu einer Erhöhung der von den Lehrenden als gering wahrgenommenen Rücklaufquoten kommt. Auf der anderen Seite profitieren auch die Studierenden von der Ergebnisrückmeldung in der Veranstaltung, da der Nutzen der LVE für die Studierenden sichtbar wird. Wenn die Lehrenden erste Ableitungen zur Verbesserung der Lehre mit den Studierenden diskutieren, kann das die Motivation steigern, am Evaluationsprozess teilzunehmen. Schlussendlich ziehen sowohl die Lehrenden als auch die Studierenden ihren Vorteil aus einer offenen Kommunikation über die LVE und tragen zur Weiterentwicklung der Lehre bei.

     

    1 Vetterlein, A./Sengewald, E. (2015): Ergebnisdarstellung in der Lehrveranstaltungsevaluation. Effekte verschiedener Berichte auf die Qualität von Lehrveranstaltungen. Diagnostica, 61 (3), S.152-162. Hogrefe Verlag, Göttingen.
    2 Rindermann, H. (2009): Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen. Verlag Empirische Pädagogik, Landau.

    in: Aktuelles.

  5. Online- vs. Papier-Evaluation und die Frage nach den Rückläufen

    Potsdamer Evaluationsportal

    Die Lehrveranstaltungsevaluation ist fester Bestandteil des universitären Alltags von Lehrenden und Studierenden. Lehrende berichten über sinkende Teilnehmerzahlen, Studierende hingegen kritisieren, dass die Befragungsergebnisse kaum kommuniziert werden. Zur Erklärung der geringen Teilnahme an der Lehrveranstaltungsevaluation wird oftmals das Erhebungsmedium als ursächlich für geringe Rückläufe benannt. So ist die Annahme verbreitet, dass die Onlinebefragung zu schlechteren Rückläufen führe und daher die Befragung mittels Papierfragebogen vorzuziehen sei.

    Im Folgenden soll diskutiert werden, inwiefern Rücklauf und Erhebungsmedium zusammenhängen und welche weiteren Faktoren eine Rolle spielen. Weiterhin wird aufgezeigt, wie Sie die Rückläufe erhöhen können und welche Vorteile mit einer Onlinebefragung verbunden sind.

    Geringe Rückläufe bei der Onlinebefragung und mögliche Gründe

    Die meistgenannten Kritikpunkte gegenüber Onlinebefragungen sind geringere Rücklaufquoten und die schwierigere Erreichbarkeit der Studierenden. Diese Einwände sind nicht unberechtigt und können empirisch gestützt werden. Bei genauerer Betrachtung wird jedoch deutlich, dass nicht das Erhebungsmedium, das heißt Papier oder Online, sondern der Befragungskontext, also Befragung in oder außerhalb der Lehrveranstaltung, für die Teilnahme und die Antwortbereitschaft entscheidend ist.

    Bei der Analyse der Beteiligung an der Lehrveranstaltungsevaluation im Wintersemester 2015/16 zeigt sich, dass Kurse, die online in der Veranstaltung evaluiert wurden, eine Umfragebeteiligung von ca. 53% hatten. Damit beträgt der Rücklauf im Vergleich zu den Erhebungen mittels konventionellen Papierfragebögen lediglich 6% weniger. Werden die Beteiligungsquoten jedoch unabhängig von dem Befragungskontext betrachtet, lässt sich die obengenannte Befürchtung bestätigen. Der Rücklauf bei Onlineerhebungen liegt dann mit 39% hinter den Papiererhebungen mit 59%. Diese Betrachtungsweise verzerrt jedoch die Ergebnisse, weil ein wichtiger Einflussfaktor, namentlich der Befragungskontext, ausgeklammert wird.

    Trotz der empirischen Ergebnisse, können die Bedenken um einen zu niedrigen Rücklauf nicht überall ausgeräumt werden. An dieser Stelle kann ein weiterer wichtiger Punkt bei dem Diskurs um schlechte Rückläufe angeführt werden: die Motivation der Studierenden an der Befragung teilzunehmen. Würden Sie an einer Befragung teilnehmen, bei der unklar ist, welchen Zweck diese erfüllt? Bei der Sie nicht wissen, ob Ihre Meinung und Angaben eine Wirkung haben und ob die Ergebnisse am Ende mit Ihnen besprochen werden? Häufig wird bei den standardisierten Evaluationsverfahren vergessen, dass auch die Ergebnisdiskussion, mit den Studierenden, Teil der Evaluation ist.

    Gerade Studierenden ist der Zweck der Lehrveranstaltungsevaluation meist unklar. Unmittelbare Veränderungen können meist nicht wahrgenommen werden, da die Verbesserungen der Lehre erst nach der Befragung und somit erst im nächsten Semester umgesetzt werden können. Aus diesen Gründen ist es wichtig, den Studierenden mitzuteilen, welchen Zweck die Evaluation hat, die Ergebnisse mit ihnen zu diskutieren, zu reflektieren und gemeinsame Veränderungen zu erarbeiten. Dabei kann eine Diskussion der Ergebnisse nicht nur die Motivation zu Teilnahme erhöhen, sondern Ihnen bei der Interpretation der Ergebnisse und der Suche nach Verbesserungen helfen. Nicht immer sind die Ergebnisse eindeutig interpretierbar und die Verbesserungsvorschläge der Studierenden umsetzbar. Werden Ergebnisse jedoch nicht zurückgespiegelt, könnte der Eindruck entstehen, dass die abgegebene Bewertung und Meinung nicht berücksichtigt wird. Das kann wiederum zu einem Befragungsüberdruss und sinkender Teilnahmemotivation auf Seiten der Studierenden führen.

    Wie können die Rücklaufquoten bei Onlinebefragungen erhöht werden? Der Erhebungskontext hat einen großen Einfluss auf die Teilnahmebereitschaft der Studierenden. Mit der Einführung des Online-Instruments SET.UP wurden technische Möglichkeiten geschaffen, um Befragungen online in der Veranstaltung durchzuführen und somit geringen Rücklaufquoten entgegenzuwirken (u.a. ist der Zugang zu den Befragungen über einen QR-Code möglich). Im Zeitalter der Smartphones und Tablets nutzten bereits 2013 79% der Studierenden aktiv das Campus-WLAN, wie eine Studie[1] des ZfQ-Bereichs Lehre und Medien zeigte. Somit können auch Bedenken zur technischen Erreichbarkeit der Studierenden abgeschwächt werden.

    Welche Vorteile sind mit der Online-Evaluation verbunden?

    Durch die Evaluation in der Veranstaltung sind die Ergebnisse sofort online verfügbar und können im Anschluss an die Befragung mit den Studierenden besprochen werden. Bei der Papiervariante kann nicht garantiert werden, dass eine Besprechung in der Vorlesungszeit noch möglich ist. Die Fragebögen müssen erst per Hauspost an das ZfQ gesendet und ausgewertet werden. Diese Bearbeitungszeit entfällt bei der Onlineevaluation. Weiterhin können Studierenden, die zum Evaluationszeitpunkt nicht anwesend waren, dennoch an der Befragung teilnehmen. Die Meinung fernbleibender Studierenden ist für die Weiterentwicklung in der Lehre ebenfalls wichtig. Diese Möglichkeit besteht bei der Papiervariante nicht.

    Durch das SET.UP-Instrument können die Lehrenden den Fragebogen an ihre individuellen Lehrziele und -methoden anpassen und eigene Fragen mit aufnehmen. Somit werden die Studierenden nur zu relevanten Aspekten der Lehrveranstaltung befragt. Durch einen starren Papierfragebogen geht dieser Vorteil verloren und viele Aspekte der Lehre, finden dadurch keine Berücksichtigung in der Lehrveranstaltungsevaluation.

    Diskussionskultur fördern

    Auch alternative Verfahren zum SET.UP-Instrument können für die Lehrveranstaltungsevaluation angewendet werden. Nicht immer ist eine standardisierte Befragung der Studierenden sinnvoll. Insbesondere in kleineren Veranstaltungen bieten sich Feedbackgespräche und andere Evaluationsformen an. Die Ergebnisse aus alternativen Evaluationsverfahren können seit dem Sommersemester 2016 durch die Lehrenden selbst im Lehrenden-Bereich von PEP dokumentiert werden. Die Lehrveranstaltungsevaluation, egal in welcher Form, hat das Ziel, die Kommunikation zwischen Lehrenden und Studierenden zu fördern und eine Feedbackkultur anzustoßen von der sowohl Lehrende als auch Studierende profitieren, nämlich durch die Weiterentwicklung der Lehre.

    [1] Vgl. AG eLEARNING (2014): Auswertung der Befragung zum Mediennutzungsverhalten Studierender an der Universität Potsdam. Potsdamer Beiträge zum E-Learning (2). S.4.

     

    in: Aktuelles.