Erste Große Evaluation

, , , , , ,

Wer schon einmal bei einer unserer Veranstaltungen dabei war, weiß, wie wichtig uns eine offene Feedbackkultur ist. Jede unserer Veranstaltungen – sowohl vor Ort als auch remote, sowohl intern als auch extern – beenden wir mit einem „Check-Out“, wobei explizit nach Kritik und Feedback jeder Art gefragt wird. Im besten Fall lassen wir dieses Feedback in unsere weitere Arbeit mit einfließen. Doch ist das genug?

In diesem Blogbeitrag berichte ich von der ersten Systematisierung unseres Feedbacks. Das erste Mal können wir viele Dinge, die wir bereits beobachteten, nun mit Daten belegen. Wir stellen aber auch überrascht fest, dass wir einige Antworten anders vorhergesagt hätten. Das ist das Gute an Zahlen und Fakten: sie bringen uns von der Subjektivität in die Objektivität.  

Unsere „Erste Große Evaluation“ (interne Bezeichnung) fand vom 06.12.2021 bis zum 31.01.2022 statt. Wir haben verschiedene Umfragen an momentane und ehemalige Teamstudierende und an Initiativen, die unsere Angebote wahrnehmen, verschickt. Nach Ausschluss leerer und ungültiger1 Datensätze, konnten wir 29 individuelle und anonyme Feedbacks näher betrachten und auswerten.

Zuerst werde ich von den Fragen speziell zum Teamstudium berichten. Anschließend von Fragen, die sowohl das Teamstudium als auch die Initiativen betreffen. Am Ende gibt es ein Fazit und einen Ausblick dazu, wie wir weiter mit der Systematisierung des Feedbacks vorgehen. Vielleicht hast auch Du schon einmal eines unserer Angebote genutzt? Dann freuen wir uns, wenn du über den Link am Ende dieses Beitrags, dein persönliches Feedback gibst.

Was sagen aktuell und ehemalig Engagierte über das Teamstudium? 

Kurz zusammengefasst lernen Studierende im Teamstudium der World Citizen School selbstorganisiert, wie sie studentische Initiativen als Coach, Redakteur*in, Forscher*in oder Moderator*in unterstützen können. Diese Unterstützung bildet die Teamstudierenden ganz nebenbei zu Führungskräften aus. In Begleitung erfahrener Lehrkräfte eignen sie sich Fähigkeiten an, die sie selbst festlegen. 

Im Fokus der Arbeit im Teamstudium stehen diese sechs „Kernkompetenzen“: Reflexion, Wissen, Kritisches Denken, Kreativität, Zusammenarbeit und Kommunikation. Diese basieren auf dem so genannten 4K-Modell des Lernens, welches entwickelt wurde, um Bildung im digitalen Zeitalter zukunftsfähig zu machen. Außerdem erweitern wir diese um reflection und content.

In unserer Umfrage wurden 13 aktuell und ehemalig Engagierte zum persönlichen Kompetenzzuwachs2 in den sechs Bereichen befragt. Auf einer Skala von 1 (Kein Zuwachs) bis 5 (Sehr großer Zuwachs) gab es den größten durchschnittlichen Zuwachs bei der Zusammenarbeit (4,31) und bei der Kommunikation (4,08). Dieses ist eines der Ergebnisse, welches sich sehr mit unseren Feedbackbeobachtungen vor der Umfrage deckt. Ein großer Erfolg liegt darin, dass der durchschnittliche Kompetenzzuwachs in allen Bereichen mit mindestens 3,46 [von 5] bewertet wurde.

Außerdem fragten wir in einer offenen Frage ab, welche weiteren Kompetenzen im Teamstudium gefördert wurden. Diese word cloud fasst die Antworten zusammen: 

Die Studierenden wurden außerdem dazu befragt, ob sie das Gefühl haben selbstständig arbeiten zu können, eigene Ideen einbringen zu können und mehr Verantwortung als sonst an der Universität zu übernehmen. Mit diesen Fragen wollen wir ermitteln, ob die World Citizen School ihre Mission erfüllt. Auf einer Skala von 1 (Überhaupt nicht) bis 5 (Sehr) wurde selbstständige Arbeit mit durchschnittlich 4,62 bewertet, Ideeneinbringung mit 4,31 und Verantwortungsübernahme mit 3,92. Anhand dieser hohen Werte können wir erkennen, dass wir mit unseren Angeboten an Teamstudierende unsere gewünschte Wirkung erzielen.

Die einzelnen Teams legen selbst persönliche und Teamziele für das Semester fest. Alle 13 Befragten gaben an mit ihrem Team im Großen und Ganzen die selbst gesetzten Ziele erreicht zu haben.

Das Social Research Team befasste sich im Studienjahr 2020/21 mit dem Thema Zugehörigkeit.  Zugehörigkeit ist für uns ein spannendes Thema, da es wichtig für eine funktionierende Zivilgesellschaft ist. Das Zugehörigkeitsgefühl sowohl in den Teams als auch in der gesamten Organisation ist uns ein Anliegen. Um das Zugehörigkeitsgefühl der aktuell und ehemalig engagierten Studierenden abzufragen, haben wir eine abgewandelte Version der Partisan Identity Scale von Bankert & Huddy (2019) verwendet. Dabei gaben die 13 Befragten an, „Oft“ Gedanken, Gefühle und Verhaltensweisen zu erleben, die im Zusammenhang mit einer hohen Zugehörigkeit zur World Citizen School stehen.

Auf einer Skala von 1 (kein Nutzen) bis 5 (Sehr hoher Nutzen) schätzten 13 Engagierte den persönlichen Nutzen, den diese aus der Mitarbeit im Teamstudium zogen, auf durchschnittlich 4,08 ein. Der gesellschaftliche Nutzen wurde auf 3,46 geschätzt. Es handelt sich dabei um zwei zufriedenstellend hohe Werte. Außerdem ist der Fokus der World Citizen School – als Bildungseinrichtung – auf den persönlichen Nutzen der Teilnehmenden zu erkennen.

Die Teamstudierenden nutzen für ihre Arbeit unter anderem die Social Innovation Education Toolbox. Diese besteht aus sogenannten Canvases – visuellen Vorlagen zur Entwicklung lernender, wertebasierter Projekte, Organisationen und Unternehmen.3 Auf Nachfrage nach dem Lieblingscanvas wurde der Basissatz “Vision – Mission” drei Mal und der Melody Canvas sowie der Learning Goals Planner je zwei Mal von den Studierenden genannt. Insgesamt wurde die Nützlichkeit der Toolbox von 124 momentan und ehemalig Engagierten auf einer Skala von 1 (Überhaupt nicht nützlich) bis 5 (Sehr nützlich) mit durchschnittlich 3,25 bewertet. Weitere Tools, die beim Teamstudium eine Rolle spielen sind Mural (ein digitales Whiteboard) und Basecamp (eine Projektmanagement-Plattform).  

Was wird über unsere Angebote gesagt?

Des Weiteren haben wir 13 Teamstudierende und 8 Personen aus Initiativen, die unsere Angebote wahrnehmen, zu vier Veranstaltungsformaten befragt, die regelmäßig mindestens einmal im Semester bei uns stattfinden: Soziale Marktplätze, Social Innovation Camp, Community Learning Sessions & Dies Digitalis. Die engagierten Studierenden gaben an, im Durchschnitt „Manchmal“ an drei der vier Veranstaltungsarten teilzunehmen: Soziale Marktplätze, Social Innovation Camp, Community Learning Sessions. Dabei wurde das Social Innovation Camp am häufigsten besucht. Der Dies Digitalis (ein Angebot für Initiativen) wurde mit „selten“ am wenigsten besucht. Außerdem gaben 8 Befragte aus den Initiativen an, die Sozialen Marktplätze und den Dies Digitalis im Durchschnitt „Manchmal“ zu besuchen, das Social Innovation Camp „Selten“ und die Community Learning Sessions „Nie“. Hier erkennen wir, dass Veranstaltungen, die der Rekrutierung von neuen Mitgliedern dienen, besser besucht sind. Dies entspricht dem aktuellen Bedarf fast aller Hochschulgruppen, die durch die Corona-Pandemie immer mehr Mitglieder verloren, die nicht durch neue Mitglieder ersetzt werden konnten.5 Die Antworten der Befragten variierten bei dieser Frage sehr. Je 4 Personen gaben an die Sozialen Marktplätze und das Social Innovation Camp „Immer“ zu besuchen und 5 Personen waren „Immer“ beim Dies Digitalis dabei.  Darüber hinaus beobachteten wir auch bereits, dass die Community Learning Sessions vor allem von Teammitgliedern und nicht von Vertretenden aus Initiativen besucht werden. Trotzdem haben wir uns entschieden und entscheiden uns auch weiterhin, das Angebot zum Community Learning allen Menschen aus unserer Community zu machen. Ohne großen Mehraufwand für uns, können wir hier einen potentiellen Mehrwert für unsere Mitgliedsinitiativen und andere interessierte Menschen bieten.

Eine weitere Frage, die sowohl engagierten Studierenden als auch Personen aus Initiativen gestellt wurde, bezieht sich auf den Umgang in der World Citizen School. Auf einer Skala von 1 (Überhaupt nicht zutreffend) bis 5 (Sehr zutreffend) wird der Umgang der World Citizen School fast ausschließlich als respektvoll (durchschnittlich 4,77) bewertet. Die Zuschreibungen wertschätzend und unterstützend erhielten je einen Score von 4,69. Gleichzeitig schätzte kaum jemand den Umgang als angespannt (1,69), konfliktreich (1,46) oder rivalisierend (1,15) ein. Die befragten Vertretenden der Initiativen, die die Angebote der World Citizen School wahrnehmen, wurden ebenfalls zum Umgang befragt. Sie empfanden ihn gleichermaßen wertschätzend, respektvoll und unterstützend, wobei diese drei Zuschreibungen je einen Score von 4,88 erreichten. Ähnlich niedrig wie bei den Engagierten sind auch die Werte für konfliktreich (1,63) und rivalisierend (1,25). Es freut uns sehr, dass die Zuschreibung angespannt denn niedrigsten möglichen Score von 1,00 erhielt. Die Aufrechterhaltung dieser phänomenalen Zahlen ist uns ein großes Anliegen.

Darüber hinaus wurde den 8 Vertretenden aus Initiativen ein paar weitere Fragen zum Umgang gestellt. Auf einer Skala von 1 (Überhaupt nicht zutreffend) bis 5 (Sehr zutreffend) bewerteten sie die Aussage „Die Zusammenarbeit war partnerschaftlich“ mit durchschnittlich 4,75. Mit einem Durchschnitt von 4,63 erhielten auch „Mit der Erreichbarkeit meiner Ansprechpartner*innen war ich zufrieden“ und „Die Zusammenarbeit war beteiligend“ eine sehr hohe Zustimmung. Diese Ergebnisse sind ebenfalls sehr erfreulich für uns, vor allem vor dem Hintergrund dessen, dass wir uns mit Partnerschaftlichkeit am Anfang dieses Semesters in Form einer intensiven internen Community Learning Session beschäftigten.

Eine weitere Frage beschäftigt sich mit der Erwartungserfüllung. Dies ist ein für uns ebenfalls wichtiges Maß, da wir so abklären können, ob unsere Kommunikation effektiv funktioniert und wir das versprechen, was wir später auch bieten. Von insgesamt 21 Engagierten, ehemalig Engagierten und Kunden der World Citizen School gaben 15 Personen an, dass ihre Erwartungen erfüllt wurden, 6 Personen, dass diese teilweise erfüllt wurden, und niemand gab an, dass die Erwartungen nicht erfüllt wurden. An dieser Stelle an riesiges Danke an das Social Reporting Team, welches dafür sorgt, dass Menschen wissen, wofür sie zu uns kommen können.

Die letzte Frage, von der ich heute berichten möchte, bezieht sich auf den Gesamteindruck, den die World Citizen School macht. Die aktuell und ehemalig Engagierten gaben dem Teamstudium durchschnittlich eine Schulnote von 1,92 (gut). Alle 13 Befragten gaben an, dass sie das Teamstudium weiterempfehlen würden. Alle Befragten aus der Gruppe der Initiativen, die die Angebote der World Citizen School beanspruchten, gaben an, dass sie dies wieder tun würden und, dass sie die World Citizen School Anderen empfehlen würden. Des Weiteren gaben sie auf einer Skala von 1 (Sehr unzufrieden) bis 5 (Sehr zufrieden) der insgesamten Leistung der World Citizen School eine durchschnittliche Bewertung von 4,71. Das heißt, dass sie durchschnittlich „Sehr zufrieden“ mit unseren Services waren.

Wie geht es jetzt weiter?

Sehr zufrieden sind auch wir mit diesen Ergebnissen, die es schaffen uns zu bestärken und zu motivieren, aber auch zum Nachdenken und Reflektieren anzuregen. Der Fragebogen wurde weiterentwickelt und gekürzt und startet hiermit offiziell in die zweite Runde. Ich freue mich schon sehr darauf die Ergebnisse aus unterschiedlichen Semestern zu vergleichen. Welche Trends gibt es im Engagement an der World Citizen School und an der Universität Tübingen allgemein? Wenn Du schon Mal ein Angebot der World Citizen School wahrgenommen hast, dann würden wir uns sehr über Deine Teilnehme an unserer neuen Evaluation freuen. Unter diesem Link kannst Du teilnehmen: https://www.soscisurvey.de/worldcitizenschool.

1 Ungültig ist ein Datensatz, wenn dieser die Testfrage (= eine Frage, die über Widersprüche herausfindet, ob die Fragentexte gelesen werden) nicht besteht.

2 Es handelt sich beim „Zuwachs“ um ein relatives Maß, welches keinerlei Aussage über das absolute Niveau in den Kompetenzbereichen macht. Das wurde aus Gründen der Vergleichbarkeit von Studierenden aus unterschiedlichen Studienabschnitten und Studiengängen so gewählt.

3 https://socialinnovation.education/lernangebote/social-innovation-education-toolbox/

4 Aufgrund der Freiwilligkeit aller Fragen schwankt die Beteiligung von Frage zu Frage.

5 Info von der Abteilung für Überfachliche Bildung und berufliche Orientierung an der Universität Tübingen.