Assessment und eine Studie zur Wirksamkeit von Peer Tutoring

Diese Woche fand wieder das Madison Area Writing Center Colloqium statt. Das Thema war  “Writing Center Assessment”, also die Begutachtung und Bewertung unserer Arbeit. Oder, um eine von vielen Definitionen zu nennen:  “Assessment is any effort to gather, analyze, and interpret evidence which describes institutional, departmental, divisional, or agency effectiveness. (Upcraft and Schuh 1996, 18).

Writing Center Assessment

Im Austausch wurde deutlich, dass das Thema Assessment zwiespältige Gefühle auslöst: zu oft beinhaltet es eine Bewertung von außen, von Leuten die von unserer Arbeit wenig wissen, und löst dann eine defensive Haltung aus. Oft wird Assessment auch mit großem bürokratischem Aufwand assoziiert. Andererseits muss Assessment keine endgültige Beurteilung sein, sondern kann nützliches Feedback geben und Qualität sichern. Allerdings ist es dafür wichtig, sich vorher zu überlegen, was man wissen will und wonach man guckt, damit man Daten sammeln kann, die zu Aussagen führen. Obwohl das eigentlich für alle Forschung gilt, ist es für Assessment besonders wichtig, weil letzteres immer für einen bestimmten Kontext stattfindet in dem es zu politischen bzw. meist finanziellen Konsequenzen führt. Neil Lerner hat in einem Essay über Writing Center Assessment zum Beispiel gezeigt, dass die meisten Schreibzentren nur ca. 10-15% der Studierenden einer Uni erreichen – eine Zahl, die die Verwaltung nicht glücklich machen wird, auch wenn für mehr gar keine Kapzität da ist. Wenn es aber die Mission der Uni sein sollte, besonders attraktiv für internationale Studierende zu sein, dann könnte es viel sinnvoller sein, im Jahresbericht aufzuführen, dass das Schreibzentrum zu 40% von internationalen Studierenden genutzt wird – was im Verhältnis von 20% internationalen Studierenden an der Uni eine sehr gute Zahl ist.

Studie zu einem Writing Fellows Programm

Textgrundlage für die weitere Diskussion war eine Studie, in der die Wirksamkeit eines Writing Fellow Programms gemessen werden sollte und die durch ihr sorgfältiges Design – darüber waren sich alle einig – über Assessment weit hinaus ging und eigentlich schon in die Kategorie “Forschung” gehört.

Die Fragestellung der beiden Autorinnen war, ob ein Writing Fellows Programm an ihrem College im Verlauf eines Semesters Studierenden nachweisbar hilft, bessere Schreiber zu werden. Im Writing Fellows Programm geben ausgebildete Peer Tutoren den Studierenden eines Seminars Feedback auf mehrere Texte, die sie in einem Semester schreiben. Die Peer Tutoren lesen die Texte, geben schriftliche Rückmeldungen vor allem im Hinblick Higher Order Concerns und den Schreibprozess. Die schriftlichen Rückmeldungen werden in einem mündlichen Gespräch diskutiert und die Studierenden überarbeiten ihre Texte, bevor sie sie zur Benotung bei den Lehrenden einreichen – genau wie hier an der UW Madison.
Die Autorinnen begründen die Notwendigkeit ihrer Studie damit, dass die wac-Bewegung schon länger Studien fordert, die über subjektive Erfahrungsberichte oder Selbsteinschätzungen der Studierenden hinaus gehen – wobei sie diese Berichte durchaus wertschätzen. Den Anlass für die Studie gab die Frage, ob es sinnvoll wäre, ein Writing Fellows Programm am College der Autorinnen zu etablieren oder ob die Energien lieber auf andere wac-Initiativen gelenkt werden sollten.

Forschungsdesign
Das Design der Studie wird in dem Artikel genau vorgestellt und seine Begrenzungen werden mit thematisiert. Untersucht wurden zwei Seminare, die obligatorisch für Studierende sind, die Englisch im Haupt- oder Nebenfach studieren. Die Seminarleiter stellten in beiden Seminaren im Laufe des Semesters die gleichen Schreibaufgaben: zwei kürzere Essays bei denen Literaturtheorien auf literarische Texte angewandt werden sollten und eine längere Arbeit, für die eigenständige Forschung nötig war. In einem der Seminare wurde mit Writing Fellows in der oben beschriebenen Art und Weise gearbeitet. In dem anderen Seminar gab es keine Writing Fellows. In beiden Seminaren bezog sich das Feedback der Lehrenden auf die zur Benotung abgegebenen Texte.
Die Studierenden wussten vorher nicht, dass in einem der Seminare mit Writing Fellows gearbeitet wurde. Sie schrieben sich für die Seminare ein, weil sie besser in den Stundenplan passten oder weil sie möglicherweise unterschiedliche Lehrende präferierten.
Die Studierenden, die sich damit einverstanden erklärten, dass ihre Texte im Rahmen einer Studie anonym bewertet werden, wurden in die Studie einbezogen. Nach Abschluss des Semesters wurden deren zur Benotung abgegebenen Texte (in der Reihenfolge ihres Entstehens) in Portfolios. Die Portfolios wurden anonymisiert. Es wurde ein Lesergremium zusammengestellt, dass aus einem anderen College rekrutiert wurde. Die Lesenden wussten nichts über den Aufbau der Studie, ihnen wurde nur gesagt, dass Texte aus zwei Seminaren verglichen werden sollten. Die Lesenden wurden zunächst geschult, indem sie gemeinsam Kriterien zur Bewertung von Texten brainstormten und diskutierten und diese probeweise und jeweils zu zweit an verschiedenen Essays testeten, die von der Aufgabenstellung denen in den Seminaren entsprachen. Als die Studienleiterinnen feststellen konnten, dass die Lesenden offenbar gemeinsame Kriterien und Bewertungsweisen entwickelt hatten, wurden diese gebeten, die Portfolios zu bewerten und zu kommentieren. Dabei sollten sie sowohl die Texte einzeln bewerten als auch die Entwicklung, die im Laufe der Zeit stattgefunden hat. Jeweils ein Portfolio wurde von zwei Leuten bewertet. Wenn es zu Abweichungen kam, wurden dritte, vierte oder sogar fünfte Lesende hinzu gezogen.

Ergebnisse
Die Ergebnisse der Studie lassen darauf schließen, dass es deutliche Unterschieden zwischen den beiden Gruppen gab. Die Portfolios der Testgruppe wurden statistisch signifikant besser bewertet und die Entwicklung der Schreibenden war signifikant besser als bei der Kontrollgruppe. Hinzu kommt, dass die Selbstaussagen der Studierenden der Testgruppe darauf schließen lassen, dass sie auch in ihrer Selbstwahrnehmung das Gefühl haben, ihre Schreibkompetenzen verbessert zu haben und metakognitive Kompetenzen hinsichtlich Schreibprozessen und disziplinärem Wissen erlangt zu haben.

Mein Fazit

Ich finde diese Studie aus verschiedenen Gründen sehr interessant. Zum einen natürlich, weil sie stützt, was wir in Schreibzentren täglich beobachten: Feedback durch geschulte Tutoren hilft Studierenden in ihrer Entwicklung als Schreiber und führt zu besseren Texten. Zum anderen finde ich das Design der Studie sehr überzeugend und anregend für weitere Untersuchungen. Natürlich sind die Aussagen nur begrenzt übertragbar auf andere Kontexte und natürlich kann es nie eine “objektive” Bewertung von Texten geben (mehrere Portfolios mussten von mehr als zwei Personen bewertet werden bis es zu einer Einigung kam). Dennoch zeigt die Studie, dass die Selbstaussagen der Studierenden hier mit der Wahrnehmung von Außenstehenden übereinstimmen. Darüner hinaus möchte ich den Artikeln all jenen empfehlen, die in unserem Fachgebiet nach einem Musterartikel zur Genre-Analyse für Publikationen von Forschungsergebnissen auf Englisch suchen: sehr gut gemacht!

Allerdings: Im Rahmen der alltäglichen Arbeit lässt sich so eine Studie nicht nebenbei als Assessment durchführen. Aber vielleicht ja in Zusammenarbeit mit einzelnen Lehrstühlen? Im Rahmen von Abschlussarbeiten? Ich finde es lohnt sich, darüber nachzudenken und die Statistiken, die wir führen, nicht nur als lästiges Übel anzusehen. Dass es Studierende gibt, die auf dieser Basis wertvolle Aussagen herausarbeiten können, zeigt ja auch unsere Abschlussarbeiten-Reihe.

Genannte Literatur:

Rossman Regaignon, D.; Bromley, P. (2011) ‘What Difference Do Writing Fellows Programs Make?’ The WAC Journal  22 41-63

Upcraft, M. L. and Schuh, J. H. (1996). Assessment in student affairs: A guide for practitioners. San Francisco: Jossey-Bass.

Lerner, N. (2003) ‘Writing Center Assesment. Searching for the ”Proof” of our Effectiveness. ‘ in. Pemberton/Kinkead: The center will hold – critical perspectives on writing center scholarship. Logan, Utah: Utah State Univ. Press, 58-73

Weitere Ressourcen:

Barbara E. Fassler Walvoord, Trudy W. Banta: Assessment clear and simple :a practical guide for institutions, departments, and general education (Google eBook)

Isabelle Thompson (2006): Writing Center Assessment: Why and a little How. In Writing Center Journal 26.1, 33-61

A Selected Bibliography on Empirical Writing Center Research

Research Podcasts des Writing Centers der UW Madison:

New Directions in Writing Center Assessment

Two Experts Talk Writing Center Assessment: A Conversation with Neal Lerner and Jason Mayland

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ photo

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

Follow

Erhalte jeden neuen Beitrag in deinen Posteingang.

Schließe dich 40 Followern an

%d Bloggern gefällt das: