Pilotprojekt: Lernzielorientierung und Lehrveranstaltungsevaluation - SET.UP
Im Sommersemester 2014 startete das Team des Geschäftsbereichs Evaluation im Zentrum für Qualitätsentwicklung in Lehre und Studium (ZfQ) ein Pilotprojekt, in dem ein neukonzipiertes Befragungsinstrument der Lehrveranstaltungsevaluation erprobt wurde.
Ausgangssituation – Neukonzeption der Lehrveranstaltungsevaluation
Vor 15 Jahren wurde an der Universität Potsdam die Lehrevaluation auf Veranstaltungsebene eingeführt. Mit dem Ziel, den Diskurs über die Lehrqualität innerhalb der Hochschule zu unterstützen, entstand im Laufe der Zeit nicht nur ein ausdifferenziertes Konzept der studentischen Lehrveranstaltungsbefragung, auch wuchsen die inhaltlichen und methodischen Anforderungen an das Erhebungsinstrument. So steht zum einen die Forderung im Raum, auf Basis der Evaluationsergebnisse eine fundierte Vergleichsbasis über Fächergrenzen hinweg zu schaffen und zum anderen der Wunsch, detaillierte Informationen über die Lernbedingungen in den unterschiedlichen Veranstaltungen zu erhalten. Darüber hinaus besteht der Bedarf, eine stärkere Verknüpfung der Ergebnisse mit hochschuldidaktischen Weiterbildungsangeboten herzustellen. Gleichzeitig muss das Instrument einen praktikablen Einsatz ermöglichen.
Im Mittelpunkt der Neukonzeption standen ein erhöhter Nutzen für Lehrende und Studierende sowie eine stärkere wissenschaftliche Fundierung des Erhebungsinstruments. Den Auftakt der Neukonzeption bildete ein im November 2013 durchgeführter Workshop, auf dem inhaltliche und methodologische Aspekte des neuen Konzepts mit Praktikern der Universität Potsdam sowie internen und externen Expertinnen und Experten der Hochschul- und Wissenschaftsforschung diskutiert wurden.
Das Pilotprojekt verfolgt zwei Ziele: Zum einen werden die im Evaluationsprozess generierten Informationen (Ergebnisberichte) auf ihren Nutzen für die einzelnen Beteiligten untersucht. Zum anderen wird das neue Instrument der Lehrveranstaltungsevaluation anhand wissenschaftlicher Kriterien analysiert, um dessen Güte festzustellen. Durch die Teilnahme am Pilotprojekt wirken die Lehrenden und Studierenden am Prozess der Instrumentenentwicklung mit.
Erhöhung des Nutzens für Lehrende und Studierende
Das neue Konzept der Lehrveranstaltungsevaluation sieht vor, den Nutzen für die Lehrenden und Studierenden zu erhöhen. Durch die Ausrichtung auf Lernziele, die Möglichkeit zur Auswahl von Fragen und eine stärkere Verknüpfung mit didaktischen Ansätzen sollen Lehrende in die Lage versetzt werden, konkrete Verbesserungsmöglichkeiten für ihre Lehrveranstaltungen abzuleiten. Dadurch soll die Lehrqualität insgesamt erhöht werden. Stärken und Schwächen des neuen Verfahrens sowie die Plausibilität der Ergebnisse stehen im Mittelpunkt von Gesprächen, die mit den Teilnehmenden nach Beendigung des Pilots geführt werden sollen.Wissenschaftliche Fundierung der Erhebungsinstrumente
Soll eine vergleichende Bewertung der Lehrleistungen dauerhaft gewährleistet werden, ergeben sich nicht nur in Bezug auf die praktische Durchführung der Lehrveranstaltungsbefragung besondere Anforderungen. Neben einer hohen Akzeptanz unter den Akteuren müssen die eingesetzten Instrumente darüber hinaus zuverlässige und valide Ergebnisse erzeugen. Hierfür sind theoretische Überlegungen notwendig, die darauf abzielen, mögliche Einflussfaktoren der Lehrqualität in einem Modell zu beschreiben. Ziel des Pilotprojekts ist es, auf Basis von Studierendenurteilen das zugrundeliegende Modell zu überprüfen, um dessen statistische Güte einzuschätzen. Hierfür werden im Pilotprojekt Befragungen unter den Studierenden aller Fakultäten durchgeführt, auf deren Basis die empirische Belastbarkeit des Modells überprüft werden kann. Die Ergebnisse fließen im Anschluss in die weitere Skalenkonstruktion ein.- Dez.-Feb. 2012/13 Lehrendenbefragung zu den Stärken und Schwächen der Lehrevaluation
Zum Jahreswechsel 2013 wurden Lehrende im Rahmen einer Befragung um ein Meinungsbild zu den Stärken und Schwächen der gegenwärtigen Praxis der Lehrveranstaltungsevaluation gebeten. - Nov. 2013 Methodenworkshop Programm
Erste Überlegungen zur Neukonzeption und zum Erhebungsinstrument wurden in einem Workshop "Was misst die Lehrveranstaltungsevaluation an Hochschulen, und was nicht?" am ZfQ vorgestellt und mit Expertinnen und Experten aus den Bereichen Hochschulforschung und Evaluation sowie mit Angehörigen der Universität Potsdam diskutiert. - Mai 2014 Pretest des Fragebogens
An einer Studierendenstichprobe werden die Fragen des Erhebungsinstruments zu erst ohne Beteiligung der Lehrenden empirisch getestet. Es werden Kriterien wie Verständlichkeit der Fragen, die Übersichtlichkeit des Fragebogens und die Befragungsdauer überprüft.
- Juli 2014 Befragungen in den Lehrveranstaltungen
Die Teilnehmerinnen und Teilnehmer des Pilotprojekts werden im Vorfeld durch die Mitarbeiterinnen und Mitarbeiter des Geschäftsbereichs Evaluation über den Ablauf der Befragungen informiert. Im Anschluss begleiten die Mitarbeiterinnen und Mitarbeiter die Lehrenden in die Veranstaltungen, erläutern das Verfahren und verteilen die Fragebögen unter den Kursteilnehmern, bzw. schalten die Online-Fragebögen frei. Zeitgleich erhalten die Lehrenden einen Fragebogen, in dem unter anderem die Lehrziele erfasst werden. - Aug. 2014 Rückmeldung der Ergebnisse an die Lehrenden, die am Pilotprojekt teilgenommen haben
Sofern es gewünscht ist, werden den Lehrenden die Ergebnisse der Befragung präsentiert und der gesamte Prozess besprochen. Dabei werden Fragen zur Nutzbarkeit und Handhabbarkeit des neuen Konzepts (Fragebogen, Durchführung der Befragung, "Lesbarkeit" der Berichte, Nutzbarkeit der Ergebnisse) erötert. - Ab Sep. 2014 Auswertung des Pilotprojekts und Weiterentwicklung des Konzepts
Anhand der gewonnen Informationen wird das neue Konzept der Lehrveranstaltungsbefragung weiterentwickelt und für die Ausweitung auf die gesamte Hochschule vorbereitet.
- WiSe 2014 Universitätsweite Einführung
Im WiSe 2014 wurde das Pilotprojekt unter dem Namen SET.UP universitätsweit eingeführt und erfreut sich seitdem einer regen Nutzung. Die Lehrenden schätzen die Ausrichtung der Fragen an individuellen Lehrzielen und Lehrmethoden. Zusätzlich lassen sich eigene Fragen formulieren. Nach der Durchführung stehen verschiedene Ergebnisberichte zur Verfügung, etwa eine Folienpräsentation mit den wichtigsten Befunden zur Diskussion mit den Studierenden.
- SoSe 2015 Optimierung und Nutzungsauswertung
Zum SoSe 2015 wurde SET.UP, angeregt durch das Feedback von Lehrenden, um eine englische Version und Mittelwertsvergleiche ergänzt. Zusätzlich wird die Nutzung des Instruments Ende des SoSe 2015 nochmals analysiert, um dieses weiter zu optimieren.
| Projektverantwortliche: Melinda Erdmann
Aktueller Kontakt: evaluation@uni-potsdam.de |