Theorie und Praxis
|
|
TECHNIKFOLGENABSCHÄTZUNG Theorie und Praxis |
Steuerung und Erfolgskontrolle der staatlich finanzierten, rechtlich unabhängigen Großforschungszentren, heute Helmholtz-Zentren, waren schon in der Gründungsphase von Bedeutung. Verschiedene Verfahren der Erfolgskontrolle wurden dem jeweiligen Zeitgeist entsprechend angewandt. So lässt sich eine Entwicklungsgeschichte vom Nachweis der wirtschaftlichen Verwendung der staatlichen Zuwendungen für die Großforschungszentren bis hin zum wissenschaftsadäquaten Controlling der neuerdings eingeführten programmorientierten Förderung der Helmholtz-Gemeinschaft (HGF) verfolgen. Aus dem Erfolg der frühen Großforschung lässt sich die These ableiten, dass eine standardisierte Erfolgskontrolle nur ein Baustein für die Steuerung von Forschung sein kann, vorrangig bedarf es aber eines Grundvertrauens und Aufgabenkonsenses zwischen Zuwendungsgebern, Gesellschaft, Adressaten der Forschung und forschenden Zentren, wenn Erfolgskontrolle nicht zum formalisierten Disziplinierungsinstrument degradiert werden soll. In der typischerweise mittel- und langfristig angelegten Forschung der Helmholtz-Zentren, der Orientierung auf Vorsorgeaufgaben und dem Betrieb komplexer Großgeräte lässt sich Erfolg kaum in der industriegängigen Kennziffer "jährlicher Gewinn" messen. Die Verknüpfung von Erfolgsfaktoren ex post mit Programmstrategien ex ante kann bei richtiger Anwendung zu einem geeigneten Steuerungsinstrument werden. Dagegen zeigen negative Erfahrungen, dass beim Einsatz von Begutachtungsverfahren mit starren Finanzierungskonsequenzen der Anpassungsdruck an Erfolgskennziffern zum dominierenden Faktor der Forschungsleistung werden kann.
Ergebnisbewertung und Leistungskontrolle sind ein altes Thema in der Großforschung. Bereits in den 60er Jahren, in der Gründungsphase der Großforschung, formulierte Cartellieri in seiner bekannten Schrift "Die Großforschung und der Staat" (1963) alle Schlagworte, die uns dieser Tage in der renovierten Helmholtz-Gemeinschaft bewegen. Schon damals fielen die Stichworte "mangelnde Flexibilität", seinerzeit auf die staatlich geführten Forschungsinstitutionen (heute Bundesanstalten) gemünzt, "Anziehungskraft für Spitzenkräfte", "Personalaustausch" und eben auch "Kontrolle über die Verwendung öffentlicher Gelder". Letztere schien in der privatwirtschaftlichen Organisationsform der Großforschungseinrichtungen durch Aufsichtsräte, Jahresabschlussprüfungen und Bundesrechnungshof gesichert, ging es doch vorrangig um die wirtschaftliche Verwendung der staatlichen Zuwendungen. In dieser Frühzeit stand die Frage der Bewertung der Forschungsleistung und des wissenschaftlichen Erfolges noch nicht im Vordergrund, da ganz offenbar das gemeinsame und unbestrittene Grundverständnis der programmatischen Zielsetzung und forschungspolitischen Aufgabenstellung zwischen den wichtigen Partnern Staat, Wirtschaft und Wissenschaft eine gesicherte Vertrauensbasis hatte. Eine Überprüfung und laufende Kontrolle ihrer wissenschaftlichen Arbeit außerhalb der Community dürften die Gründungsväter der Großforschung vermutlich auch entrüstet von sich gewiesen haben.
"Erst interventionsresistente Umweltinadäquanz konstituiert Verselbständigung. Bevor sie attestiert wird, müssen also ernsthafte Versuche insbesondere politischer Akteure, die wahrgenommene Umweltinadäquanz des betreffenden Teilsystems durch entsprechende Steuerungsmaßnahmen zu beheben, fehlgeschlagen sein" (Rosewitz, Schimank 1988, S. 297). Dieses Ende der 80er Jahre unter anderem auch für die Großforschungseinrichtungen ausgesprochene Verdikt aus dem MPG-Institut für Gesellschaftsforschung riss ein über die Jahre gewachsenes Problem der Divergenz zwischen Globalsteuerung, Freiheit der Forschung, Forschungsfinanzierung und Nützlichkeit an. Wenngleich der Großforschungsinsider der holzschnittartigen soziologischen These nur schwer folgen kann, schien, insbesondere in den 80er Jahren, der Grundkonsens zur Aufgabenstellung mancher Helmholtz-Zentren zwischen den wichtigen Akteuren auseinander gedriftet zu sein (Hohn, Schimank 1990). Schlimmer noch, es waren unterschiedliche, zum Teil diffuse Erwartungshaltungen in den verschiedenen Interessensgruppierungen aus Politik, Wirtschaft und Gesellschaft zu konstatieren. Irgendwo dazwischen in nicht immer linearer Orientierung standen die Großforschungseinrichtungen mit Zuwendungsgebern, Aufsichtsräten, Vorständen, internen Mitbestimmungsgremien und nicht zuletzt der Ministerialbürokratie. War man in der Gründungsphase der Großforschung noch mit gemeinsamen Zielen gestartet, so hatte sich das Miteinander in den späten 80er Jahren spürbar polarisiert. Steuerung und Erfolgskontrolle rückten als Thema zunehmend in den Vordergrund und führten in den 90er Jahren die Großforschungseinrichtungen, jetzt zu Helmholtz-Zentren mutiert, in einem nicht einfachen Diskussionsprozess in die heutige programmorientierte Förderung der Helmholtz-Gemeinschaft.
Im Zuge der Konstituierung der Großforschungseinrichtungen nach heutigem Muster wurde mit den "Grundsätzen des Bundesministers für Bildung und Wissenschaft für die Erfolgskontrolle" (1972) und den sperrigen "Verfahrensgrundsätzen für das Berichts- und Informationssystem und für die Durchführung der Erfolgskontrolle in rechtlich selbständigen Forschungseinrichtungen" (1974) ein allgemeiner Rahmen zur "Vereinheitlichung, Vervollständigung und Formalisierung einer umfassenden Erfolgskontrolle" hergestellt. Betagte Großforschungsadministratoren werden sich noch mit Wehmut an das Frascati-Handbuch für "Die Messung wissenschaftlicher und technischer Tätigkeiten" (BMFT 1982) erinnern. Die wesentlichen Elemente dieser Erfolgskontrolle wie Forschungs- und Entwicklungs (FE-)Programm, FE-Ergebnisberichte, Soll/Ist-Vergleiche, Peer-Review-Verfahren und Beiräte sind heute noch in den Helmholtz-Zentren existent und etabliert. Dieses System zielte darauf hin, den Aufsichtsräten und Zuwendungsgebern als verantwortlichen Instanzen ein Instrumentarium für eine im Wesentlichen rückwärts gerichtete Erfolgskontrolle in den Zentren an die Hand zu geben. In einer Studie zur Überprüfung der eingeführten Erfolgskontrollsysteme (~ 1980) formulierte die Arbeitsgemeinschaft der Großforschungseinrichtungen (AGF; heute HGF) als wesentliche Ziele der Erfolgskontrolle: "...die eigene Überprüfung der FE-Planung, die Bezugsbasis für die Globalsteuerung durch die Zuwendungsgeber sowie den Nachweis der Leistungsfähigkeit der Großforschung in der Öffentlichkeit" (Baurmann 1980). Hier klingt bereits ein erweitertes Bewusstsein von Erfolgskontrolle in Richtung auf ein umfassenderes Bewertungs- und Steuerungsinstrument an. Ende der 80er Jahre wurde das etablierte Erfolgskontrollverfahren in den Großforschungseinrichtungen 14 Jahre nach seiner Einführung einer umfassenden Revision unterzogen. In einer BMFT-Vorlage von 1988 wird explizit formuliert, dass "Erfolgskontrolle nicht nur Erfolgskriterien und Bewertungsmechanismen umfassen soll, sondern künftig auch Grundlagen für eine einvernehmliche Festlegung von Zielsetzungen für die verschiedenen FE-Tätigkeiten der Zentren und damit eng zusammenhängend, die Erwartungshaltung deutlich machen, die Zuwendungsgeber mit der Vergabe öffentlicher Mittel an Großforschungseinrichtungen verbinden. Beides, Forschungsziele und Erwartungshaltungen, habe sowohl eine wissenschaftlich/technische Komponente als auch forschungspolitisch/öffentlichkeitsrelevante Aspekte ...". [1] Ergebnis dieser Diskussionsrunde in Aufsichtsräten von Helmholtz-Zentren war die Verabschiedung neuer Grundsätze als "Voraussetzungen für die Tätigkeit von Großforschungseinrichtungen und Kriterien für eine Erfolgskontrolle".
Offensichtlich war es aber nicht gelungen, dieses umfassende und detaillierte Steuerungs- und Bewertungssystem überzeugend zu verkaufen. Die Entfremdung zwischen den wichtigen Akteuren in Politik, Staat, Wirtschaft und Großforschung war wohl schon zu weit fortgeschritten, um den Ruf des "trägen Tankers" Großforschung grundsätzlich zu revidieren. Das gemeinsame Grundverständnis über Rolle und Aufgabenstellung existierte nicht mehr, kleinteilige Projektförderung mit ihrer programmatischen Flexibilität und instantanen Umsteuerungsmöglichkeit entsprach besser dem wachsenden Druck der Industrie nach Forschungsförderung (Daimler Benz 1994). Die große Renovierung musste also her, die Mitte der 90er Jahre von BMBF und Helmholtz-Gemeinschaft eingeleitet und zur Jahreswende 2002/2003 endgültig umgesetzt wurde. In diesem Prozess der Neudefinition war das Thema Erfolgskontrolle, nun in der modernen Erscheinungsform Controlling, ein wichtiges, wenn nicht sogar zentrales Thema. Bereits 1998 konstituierte sich ein von BMBF und HGF gebildeter Controlling-Ausschuss, aus dessen Mitte sogleich der durchaus gelungene Euphemismus "Wissenschaftsadäquates Controlling" geboren wurde. Dieser moderne Begriff sollte wohl gleichermaßen Erfolgskontrolle ex post und ex ante verbinden und dürfte mit dem Beiwort "wissenschaftsadäquat" von vorneherein auf aufkommende Vorbehalte aus der Wissenschaft gezielt haben.
Im Zuge der Konkretisierung der neuen programmgeförderten Helmholtz-Welt hat sich die Diskussion um das wissenschaftsadäquate Controlling zunehmend entwickelt und mündete zunächst, so etwa um das Jahr 2000, in die Vorstellung eines allumfassenden Balanced Score Card Systems, also die Verknüpfung von abstrakten Unternehmenszielen mit der operativen Ebene unter Einsatz von Steuerungs- und Controlling-Instrumenten. Die beteiligten professionellen Beratungsunternehmen mussten allerdings bald feststellen, dass sie sich im Bereich der Forschung mit einem solch umfassenden Steuerungssystem verstiegen hatten. Das wissenschaftsadäquate Controlling kam schließlich wieder in ziemlich konventioneller Form mit klassischen Bewertungsparametern zum Vorschein. Dennoch gibt es einige entscheidende Unterschiede zur bis dato geübten Erfolgskontrolle in den Helmholtz-Zentren.
Ein bekanntlich fundamentales Problem in der Steuerung von Wissenschaft, insbesondere wenn sie sich, wie in der Helmholtz-Gemeinschaft, im weitesten Sinne einem Nützlichkeitsaspekt verpflichtet fühlt, ist die Frage der programmatischen Schwerpunktsetzung und zukünftigen Entwicklung. Während sich die erkenntnisorientierte Forschung der Max-Planck-Gesellschaft durch den Anspruch an wissenschaftlicher Spitzenleistung definiert und die Fraunhofer-Gesellschaft an der Nachfrage der Industrie orientiert ist, bewegen sich die Helmholtz-Zentren im Kontinuum dieser beiden Pole und sollten mit ihren mittel- bis längerfristig ausgerichteten Forschungszielen Halt an der programmatischen Prioritätensetzung (Globalsteuerung) ihrer Zuwendungsgeber finden. Dieses Zusammenspiel war in der kerntechnischen Entwicklung und der Luft- und Raumfahrt lange Zeit stabil. Mit Entfremdung der einst gutwilligen Partner hatte sich über die Jahre eher ein Wechselspiel von wissenschaftlich-programmatischem Angebot der Helmholtz-Zentren und allen Spielarten von Akzeptanz, Duldung oder Ablehnung durch die Aufsichtsgremien und Zuwendungsgeber ergeben. Es gab also gerade keine "interventionsresistente Umweltinadäquanz" der Helmholtz-Zentren, sondern selbstreferenzielle Systeme mit komplexen Interaktionsmechanismen auf vielen Ebenen sind bei der Programmentwicklung der Zentren wirksam geworden. Diese oft diffusen Entscheidungsprozesse, die nicht selten zur Unzufriedenheit bei den beteiligten Partnern geführt haben, werden nun durch das wissenschaftsadäquate Controlling ersetzt, das Entscheidungstransparenz schaffen soll.
Etablierte, im Sinne durch-administrierter Controlling-Verfahren existieren seit den 90er Jahren insbesondere in Großbritannien, den Niederlanden und der Schweiz. [2] , [3] Diese wissenschaftlichen Controlling-Systeme zeichnen sich dadurch aus, dass die Ergebnisse von regelmäßig durchgeführten Evaluationen nicht nur zur Steuerung, sondern auch zur Verteilung der Finanzmittel nach dem Prinzip "die guten ins Töpfchen, die schlechten ins Kröpfchen" eingesetzt werden. Auch das wissenschaftsadäquate Controlling in der Helmholtz-Gemeinschaft hat sich dem Controlling-Modell mit der finalen Finanzierungskonsequenz, allerdings mit dämpfenden Leitplanken, angeschlossen. Ohne Zweifel lohnt es sich, einen Augenblick über die Konsequenzen dieses scheinbar logischen Abschlusses einer zunächst programmatisch und strategisch orientierten Begutachtung nachzudenken.
Erfolgskontrolle mit dem Peer-Review-Verfahren nach althergebrachtem Muster stützt sich weitgehend auf die qualitative Bewertung erzielter Forschungsergebnisse (ex post) und der daraus abgeleiteten Handlungsoptionen für die Zukunft (ex ante). Dementsprechend lobten Gutachten unseres Kulturkreises in der Regel das Beste und Gute und empfahlen dem Mittelmäßigen die Sanierung. Kritik war nur für den Insider zwischen den Zeilen zu finden. Der Begutachtete kann mit einer solchen Beurteilung gut umgehen, bestätigt sie doch in weiten Teilen den eingeschlagenen Weg und eröffnet Gestaltungsspielraum im Bereich der Kritikpunkte. Das neue wissenschaftsadäquate Controlling der Helmholtz-Gemeinschaft vergibt dagegen differenzierte Noten auf der Skala 1 (aussondern) bis 7 (internationale Spitze) nach den drei übergeordneten Kategorien wissenschaftliche Qualität, strategische Bedeutung im HGF-Kontext und Angemessenheit der eingesetzten Ressourcen. Nach dem Prinzip "das Beste muss das Gute verdrängen" hat Mittelmaß nun keine Überlebenschance mehr. Das scharfe Urteil am Ende eines mehrstufigen Verfahrens von der eigentlichen Gutachterkommission über den HGF-Senatsausschuss für die Evaluierung bis hin zum abschließenden Spruch des HGF-Senats und schließlich der endgültigen Finanzierungsentscheidung durch den Ausschuss der Zuwendungsgeber hat konkrete Konsequenzen auf die verfügbaren Forschungsmittel für die nächsten Jahre. Ein solches Verfahren erfordert in hohem Maße die Akzeptanz, Transparenz und insbesondere auch Rückkopplung von Entscheidern und Betroffenen in den verschiedenen Stadien des Evaluationsprozesses, wenn sich der Evaluierte nicht schließlich als Opfer einer bürokratisierten Evaluationsmaschinerie fühlen soll.
Das Modell des wissenschaftsadäquaten Controllings der Helmholtz-Gemeinschaft ist eher konservativ und weist gegenüber den in Europa etablierten Verfahren kaum Innovationen auf. Die inhaltlichen Kriterien von erbrachter Leistung und künftiger programmatischer Zielsetzung und Strategie werden durch ein konventionelles Zahlensystem klassisch wissenschaftlicher Input/Output-Faktoren unterfüttert. Der Evaluationsprozess, nach den Erfahrungen der ersten Runde, wurde mit großem Ernst und hoher Fairness aller Beteiligten durchgeführt. Insbesondere die Evaluatoren schienen sich ihrer verantwortungsvollen Aufgabe, programmatische und finanzielle Entscheidungen von großer Tragweite zu treffen, voll bewusst zu sein. Eine zunehmend schwindende Transparenz und Rückkopplung auf den höheren Ebenen des Entscheidungsprozesses bis hin zur finalen Finanzentscheidung sind allerdings Defizite, die nicht vertrauensbildend wirken. 21 22
Das wissenschaftsadäquate Controlling der Helmholtz-Gemeinschaft mit den fünfjährigen Evaluationsintervallen könnte sich durchaus zu einem nützlichen Werkzeug der Programmsteuerung entwickeln, wenn es nicht als Disziplinierungsinstrument missbraucht, sondern vor allem als ein kontinuierliches Gestaltungsmittel von allen Beteiligten verstanden und benutzt wird (Heid 2000). Das Kontinuum der Programmentwicklung müsste sich zwischen den Evaluationsintervallen einstellen. Ist das System erst einmal eingeschwungen, könnten die Evaluationen in positivem Sinne der Korrektur und Modifikation von Entwicklungen dienen. Die wesentlichen Prozesse werden dann bei der Programmabstimmung und -optimierung der Beteiligten untereinander und in einem über Zentrengrenzen hinweg gut abgestimmten wissenschaftlichen Arbeiten stattfinden.
Die derzeitige Stimmungslage lässt allerdings noch schwerlich erkennen, ob bei allem guten Willen das Ziel erreicht werden kann. Schlechte internationale Erfahrungen liegen schon vor (Rip 1997). Beim fachfernen Entscheider steigt die Neigung, statt schwierig zu beurteilenden Inhalten den harten Zahlen den Vorrang zu geben. Damit wird der Anpassungsdruck groß, die Leistungsnorm im Fünfjahresplan der Förderperiode zu Lasten der wissenschaftlichen Qualität zu erbringen. Das System züchtet dann den "Funktionärsprofessor, der sich nicht durch wissenschaftliche Erfolge hervortut, sondern sich durch den Eifer für Kontrollsysteme seine Stellung schafft. Das heißt, dass seine Evaluationsbefähigung bestätigt wird. Für ihn ist die Evaluation eine Wissenschaftsdisziplin" (Erche 2002). Ähnliche Entwicklungen sind bereits in Großbritannien zu beobachten. Im Evaluationsverfahren des Higher Education Funding Council of England (HEFCE) erreichten im Jahr 1996 43 % der bewerteten Institute die höchste Note. Im Jahr 2001 lagen bereits 64 % an der Spitze. Dies könnte je nach Betrachtungsweise als Erfolg des Evaluationssystems, sprich Verbesserung der Forschungsleistung, oder aber auch als erfolgreiche Anpassungsleistung an das System gewertet werden (Lange 1997).
Das wissenschaftsadäquate Controlling in der Helmholtz-Gemeinschaft löst vermutlich nicht ein grundlegendes Problem, nämlich den notwendigen Konsens und das partnerschaftliche Entwickeln gemeinsamer Strategien zwischen Helmholtz-Gemeinschaft, Staat, Gesellschaft und Wirtschaft herzustellen. In dieser Beziehungskiste ist noch einige vertrauensbildende Arbeit zu leisten, damit das an sich gut angelegte wissenschaftsadäquate Controlling nicht zur schulmeisterlichen Schnüffelei einer "zahlengeilen Klientel" (Weingart 1991) nach dem schlechten Kennwert degeneriert.
[1] BMFT-Tischvorlage zur 48. Aufsichtsratssitzung des Kernforschungszentrums Karlsruhe vom 8. April 1988.
[2] 1996 Research Assessment Exercise - Criteria for Assessment, November 1995, HEFCE - Higher Education Funding Council for England, Bristol
[3] Quality Assessment of Research, Protocol 1994, VSNU - Vereniging van Samenwerkende Nederlandse Universiteiten, Utrecht/The Netherlands.
Baurmann, K.W., 1980:
Erfahrungsbericht über Erfolgskontrolle in den Großforschungseinrichtungen. Jülich: Forschungszentrum Jülich
BMFT - Bundesministerium für Forschung und Technologie (Hrsg.), 1982:
Die Messung wissenschaftlicher und technischer Tätigkeiten - Allgemeine Richtlinien für statistische Übersichten in Forschung und experimenteller Entwicklung. "Frascati-Handbuch". Neuauflage 1980, Bonn
Cartellieri, W., 1963:
Die Großforschung und der Staat. Sonderdruck aus Heft 4 der Schriftenreihe "Forschung und Bildung" des Bundesministers für wissenschaftliche Forschung. Heidelberg
Daimler Benz, 1994:
Gutachten zur Zusammenarbeit GFE/Industrie - Identifikation und Bewertung der thematischen Ansatzpunkte für eine engere Kooperation der Industrie mit der KFA Jülich und dem KfK Karlsruhe ("Weule-Gutachten"). Stuttgart, Mai
Erche, B., 2002:
Evaluation der Evaluation und so weiter - Universitätssysteme im Stress. Neue Zürcher Zeitung, Nr. 24, 30.1.2002, Feuilleton
Heid, H., 2000:
Die Messbarkeit menschlichen Handelns, Evaluation - ein Begriff und dessen Bedeutung. Neue Zürcher Zeitung, Nr. 216, 16./17.9.2000
Hohn, H.-W.; Schimank, U., 1990:
Konflikte und Gleichgewichte im Forschungssystem - Akteurkonstellationen und Entwicklungspfade in der staatlich finanzierten außeruniversitären Forschung. Frankfurt a.M.: Campus Verlag
Lange, H.-R., 1997:
Die Praxis leistungsorientierter Forschungsfinanzierung in Großbritannien. Eine Fallstudie am Fachbereich Physik der Universität St. Andrews. In: Wissenschaftsmanagement 3, Mai/Juni
Rip, A., 1997:
Higher Forms of Nonsense in the Future of the Peer Review System. Nederlandse Organisatie voor Wetenschappelijk Onderzoek, Den Haag/Nederland, September
Rosewitz, B.; Schimank, U., 1988:
Verselbständigung und politische Steuerbarkeit gesellschaftlicher Teilsysteme. In: Mayntz, R. et al. (Hrsg.): Differenzierung und Verselbständigung - Zur Entwicklung gesellschaftlicher Teilsysteme. Frankfurt, New York: Campus Verlag, S. 295-329
Weingart, P., 1991:
Wissenschaftsindikatoren als soziale Konstruktion und ihre Realität. In: Weingart et al. (Hrsg.): Indikatoren der Wissenschaft und Technik - Theorie, Methoden, Anwendungen. Frankfurt, New York: Campus Verlag
Dr. Henning Möller
Leiter der Stabsabteilung Planung, Außenbeziehungen und Erfolgskontrolle
Forschungszentrum Karlsruhe GmbH
in der Helmholtz-Gemeinschaft
Postfach 3640
76021 Karlsruhe
E-Mail:
henning.moeller@pae.fzk.de
Internet:
http://www.fzk.de
Ingrid von Berg