 |
|
|
|
|
|
 |
 |
Neues aus der Welt der Wissenschaft |
|
|
|
|
|
|
Uni-Evaluation: Lernen von internationalen Modellen |
|
| | | In Österreich gibt es keine systematische Evaluation der Universitäten - im Gegensatz etwa zu Großbritannien und den Niederlanden. Von ihren Erfahrungen könnte Österreich lernen, meint der Politologe David Campbell in einem Gastbeitrag und schlägt vor, nicht nur die Forschung, sondern auch die Lehre zu evaluieren. |
|
|
|
|
|
|
Evaluation: Universitäre Leistung auf dem Prüfstand? |
|
| |
Von David Campbell
Warum soll universitäre Leistung evaluiert werden? Die "wissensbasierte" Gesellschaft impliziert, dass dem Wissen (knowledge) eine zunehmende Bedeutung sowohl für global wettbewerbsfähige Ökonomien als auch funktionierenden Demokratien zukommt.
Wissen verweist dabei immer auf einen Forschungs- und Bildungsast, sowie deren Verknüpfung im Kontext nationaler (transnationaler) Innovationssysteme. Durch ihre Fähigkeit, verschiedene Formen von Wissen zu produzieren und zu kombinieren, gewinnen Universitäten für entwickelte Innovationssysteme deutlich an Relevanz.
|
|
|
|
|
|
Standarddefinition universitärer Forschung |
|
| |
Um universitäre Leistung evaluieren zu können, ist es notwendig, Modelle darüber zu entwickeln, was universitäre Forschung, Lehre und Management sind beziehungsweise sein sollen.
Möchten wir uns im Folgenden auf die universitäre Forschung konzentrieren, so lautet eine Standarddefinition:
Universitäre Forschung = (Grundlagen-)Forschung von "hoher Qualität"
|
|
|
|
|
|
Universitäre Forschung wird evaluierbar |
|
| |
Wird das als Modell akzeptiert, so impliziert das ferner, dass universitäre Forschung auch evaluierbar ist, da definierbar. Die Radikalthese, dass sich universitäre Forschung prinzipiell einer Evaluation entziehen würde, würde letztlich auf das Postulat hinauslaufen, dass universitäre Forschung einer gehaltvollen Definition nicht zugänglich wäre (mit welchen Implikationen für die Legitimation von Universitäten?).
|
|
|
|
|
|
Universitäre Strukturen optimieren |
|
| |
Evaluationen von universitärer Forschung dienen vor allem auch dazu, Strukturen und Prozesse sowohl universitärer Forschung als auch der "Gesamtinstitution Universität" zu optimieren.
Strittig dabei ist die Frage, ob Evaluationsergebnisse auch Einfluss auf die öffentliche Finanzierung von Universitäten nehmen sollen oder ob sie primär den strategisch-institutionellen Lernprozessen von Universitäten, im Sinne fortgeschrittener Selbstorganisation, dienen sollen.
|
|
|
|
|
|
Perfekte Methode gibt es nicht |
|
| |
Ferner erhalten Evaluationen eine potenzielle Konkurrenz durch Rankings, die immer häufiger die öffentliche Aufmerksamkeit auf sich lenken, und zunehmend auch transnational und global vergleichen.
Grundsätzlich gilt, dass es die "perfekte Methode" beziehungsweise das "perfekte Modell" für die Evaluation von Universitäten sicherlich nicht gibt. Auch Evaluationen sind vielseitiger Kritik ausgesetzt und unterliegen Lernprozessen: Evolution von Evaluation oder - wie jemand einmal sagte - Evolution durch Evaluation?
|
|
|
|
|
|
Vergleich Großbritannien und Niederlande |
|
| |
Ein Blick über Österreichs Grenzen zeigt, dass in einigen europäischen Ländern universitäre Forschung bereits seit mehreren Jahren systematisch und flächendeckend evaluiert wird. Da es dabei häufig um die rückwirkende Bewertung von öffentlich grundfinanzierter universitärer Forschung geht, spricht man hier bevorzugt von umfassender institutioneller ex-post Evaluation.
Großbritannien und die Niederlande belegen dafür innovative (aber auch kontroversielle) Pionierpositionen, da deren Evaluationen universitärer Forschung das gesamte institutionelle Spektrum öffentlich finanzierter Universitäten abdecken und methodisch vor allem die "Peer Review" anwenden.
|
|
|
|
|
|
Großbritannien: "Research Assessment Exercises" |
|
| |
Die britischen ex-post Evaluationen heißen "Research Assessment Exercises" (RAEs). Bisher gab es fünf RAEs (1986, 1989, 1992, 1996 und 2001), für 2007-2008 ist der nächste Evaluationszyklus angesetzt.
Eine RAE erfasst alle britischen Universitäten: Die kleinsten institutionellen Einheiten sind die Universitätsinstitute, die jeweils einer wissenschaftlichen Disziplin zugeordnet werden. Für jede Disziplin ist ein eigenes Panel von Expertinnen und Experten zuständig.
|
|
|
|
|
|
Institute und Wissenschaftler müssen Bericht liefern |
|
| |
Bei der Research Assessment Exercise 2008 wird sich das disziplinäre Spektrum aus insgesamt 67 Einzeldisziplinen zusammensetzen. Im Zuge des Evaluationsprozederes muss jedes Universitätsinstitut an das zuständige Panel eine klar strukturierte Überblicksinformation liefern.
Außerdem müssen alle forschungsaktiven Wissenschaftlerinnen und Wissenschaftler ihre "vier (bis zu vier) besten" Publikationen eigener Wahl oder anderen Forschungs-Output, der öffentlich zugänglich ist (beispielsweise Datenbanken), dem Panel zur Verfügung stellen.
Diese "besten" Publikationen repräsentieren dabei die wichtigste Basis für das Evaluationsprozedere, und sollen "regressiven Quantifizierungen" einen gewissen Riegel vorschieben.
|
|
|
|
|
|
Niederlande: Evaluierung von Disziplinen |
|
| |
In den Niederlanden erfasst die ex-post Evaluation universitärer Forschung ebenfalls das gesamte institutionelle Spektrum, jedoch werden nicht alle Disziplinen auf einmal bewertet.
Der erste Evaluationszyklus erstreckte sich über die Jahre 1993-1999 und bezog sich auf insgesamt 27 Disziplinen, der zweite Evaluationszyklus wurde 1998-2004 durchgeführt. Dabei definieren nicht die Universitätsinstitute, sondern die Forschungsprogramme (Research Programs) die kleinsten institutionellen Einheiten für das Evaluationsprozedere.
|
|
|
|
|
|
Für jede Disziplin gibt es ein "Review Committee" |
|
| |
Ein Universitätsinstitut umfasst traditionell mehrere Forschungsprogramme, die aber zum Teil auch institutsübergreifend angelegt sind.
Alle Forschungsprogramme werden einer bestimmten Disziplin zugeordnet und für jede Disziplin wird ein eigenes "Review Committee" eingesetzt: Die Mehrheit der Evaluatorinnen und Evaluatoren pro Komitee soll dabei aus dem Ausland kommen, die primäre Arbeitssprache während des Evaluationsverfahrens ist Englisch.
|
|
|
|
|
|
Verschiedene Dimensionen der Bewertung |
|
| |
Betreffend die Ein- oder Mehrdimensionalität der Qualität universitärer Forschung sind durchaus unterschiedliche Konzepte denkbar. In Großbritannien wird im Rahmen der flächendeckenden ex-post Evaluation universitärer Forschung nur eine Qualitätsdimension verwendet, hingegen das niederländische Verfahren orientiert sich an vier verschiedenen Dimensionen: Qualität in einem "engeren" Sinn, Produktivität, Relevanz und Langfristigkeit ("viability").
Solch eine mehrdimensionale Abbildung der Qualität universitärer Forschung ermöglicht natürlich differenziertere Aussagen. In Fortführung dieser konzeptionellen Mehrdimensionalität könnte die "Effektivität" universitärer Forschung in Abhängigkeit von Qualität, Effizienz, Relevanz und Langfristigkeit dargestellt und moduliert werden.
|
|
Literaturhinweise
Campbell, David F. J. (2003). "The Evaluation of University Research in the United Kingdom and the Netherlands, Germany and Austria", 98-131, in: Philip Shapira / Stefan Kuhlmann (eds.): "Learning from Science and Technology Policy Evaluation: Experiences from the United States and Europe". Cheltenham: Edward Elgar.
Campbell, David F. J. / Wolfgang H. Güttel (2005). "Knowledge Production of Firms: Research Networks and the Scientification of Business R&D". International Journal of Technology Management 31 (1/2), 152-175. |
|
|
|
|
|
|
Ausblick für Österreichs Universitäten |
|
| |
Kann von diesem europäischen Vergleich für Österreich gelernt werden? Bisher gibt es in Österreich noch kein flächendeckendes System einer nationalen ex-post Evaluation universitärer Forschung.
Vieles spricht dafür, solch eines einzurichten, da die aussagekräftigsten Evaluationsvergleiche immer zwischen universitären Einrichtungen derselben Disziplin, aber an verschiedenen universitären Standorten, stattfinden.
Solch ein Gesamtsystem hätte für Österreichs Universitäten den größten Lerneffekt, und könnte gleichzeitig beitragen, die Vielzahl nicht-vergleichbarer Einzelevaluationen zu reduzieren.
|
|
|
|
|
|
Evaluierung als Argument für Budgetverhandlungen |
|
| |
Ausgehend von der Logik politischer Kommunikation hätten Österreichs Universitäten mit Einrichtung einer nationalen ex-post Forschungsevaluation auch gute Argumente in der Hand, sich für Aushandlungsprozesse mit öffentlichen Entscheidungsträgerinnen und Entscheidungsträgern in eine starke Position zu manövrieren, mit Forderungen nach einer Erhöhung öffentlicher Finanzierung oder von universitätsfreundlicheren Reformen des bestehenden Stiftungs- und Steuerrechts.
|
|
|
|
|
|
Ausweitung auf universitäre Lehre |
|
| |
Dabei stellt sich ferner die Frage, ein nationales Evaluationssystem nicht nur auf die Forschung zu beschränken, sondern auch auf die universitäre Lehre auszuweiten.
Österreichs Universitäten befinden sich gerade im sensiblen Prozess des Aushandelns von Leistungsverträgen mit dem Bildungsministerium. Würde eine Überprüfung dieser Leistungsverträge im Bereich von Forschung und Lehre - zu einem späteren Zeitpunkt - nicht auch Evaluation verlangen?
[31.5.05]
|
|
David F. J. Campbell ist Research Fellow an der Abteilung Hochschulforschung, Fakultät für Interdisziplinäre Forschung und Fortbildung (IFF), Universität Klagenfurt. |
|
|
 Zur IFF-Abteilung für Hochschulforschung |
|
|
|
01.01.2010 |
