D+C Newsletter

Liebe Besucher,

kennen Sie unseren Newsletter? Er hält Sie über unsere Veröffentlichungen auf dem Laufenden. Wenn Sie sich registrieren, bekommen Sie ihn jeden Monat zugesendet.

Herzlichen Dank,
die Redaktion

Registrieren

- keine -

Indizes

Erweiterte Perspektive

von Emily Calaminus
Graffiti in Buenos Aires: democracy indicators are often biased in systematical, methodological, cultural and ideological ways

Graffiti in Buenos Aires: democracy indicators are often biased in systematical, methodological, cultural and ideological ways

In den letzten zwanzig Jahren ist die Messung von Demokratie und Governance für die Entwicklungszusammenarbeit enorm wichtig geworden. Problematisch ist dabei die bisweilen verengte Perspektive, die durch die Dominanz weniger prominenter Indikatoren entsteht. Wichtig wäre es, das Blickfeld zu erweitern und zugleich genauer hinzuschauen: auf Details der existierenden Indikatoren, auf regionale Verfahren und die Einschätzungen von Bürgern, nicht nur auf die von Experten. [ Von Emily Calaminus ]

Inzwischen existieren hunderte von Ansätzen, um komplexe, dynamische, multidimensionale Phänomene wie Demokratie, Governance, Freiheit und Korruption in Rankings oder Ratings darzustellen. Die Messung von Demokratie verliert dabei zugunsten des vorherrschenden Labels „Governance“ und seiner Unterkategorien an Bedeutung oder wird – wie in der Sprache des UNDP – unter dem Begriff „Democratic Governance“ zusammengefasst.

Indikatoren werden von unterschiedlichen Akteuren herausgegeben – von internationalen Organisationen (wie Weltbank), NROs (z.B. Freedom House), Stiftungen (wie der Bertelsmann Stiftung), aber auch von einzelnen Wissenschaftlern und akademischen Instituten (etwa Jaggers und Gurr). Doch trotz der vielen frei zugänglichen Indizes werden nur einige wenige breit rezipiert und angewendet; die Aufmerksamkeit konzentriert sich auf bekannte Namen und folgt den Regeln politischer Kommunikation.

Konzeptionelle Herausforderungen

Obwohl es in vielen Entwicklungsländern an Basisdaten fehlt, gibt es ein (Über-)Angebot an Governance- und Demokratie-Indikatoren, die mitunter alle Staaten dieser Welt einschließen. Indikatoren in diesem Bereich basieren jedoch nicht auf objektiv erhebbaren Daten, sondern beziehen viele in Zahlen übersetzte Expertenmeinungen und wenige Haushaltsbefragungen und Studien ein. Derartige Ansätze sind konzeptionell herausfordernd. Länderübergreifende Vergleiche durch Ratings oder Rankings sichtbar zu machen ist wegen der vielschichtigen und multidimensionalen Natur ihrer Erhebungsgegenstände schwierig.

Staaten unterscheiden sich in ihren Ausgangsbedingungen, in eigenem Wollen und fremdem Wirken. Sie alle aus einer einzigen Perspektive heraus in ein Ranking zwischen die Pole Gewaltherrschaft und Demokratie oder gute und schlechte Regierungsführung zu zwingen setzt die Bereitschaft zu starker Vereinfachung, zu einem radikalen Verzicht auf Differenzierung voraus. Hochkomplexe, vieldimensionale Gegenstände werden auf eine Linie zwischen einem gegensätzlichen Begriffspaar gezwängt, deren Skalierung oft nur grobe Differenzierungen zulässt. Komplexe Phänomene werden auf ihre Kernelemente reduziert – das kann mitunter „vermessen“ erscheinen.

Dem Endprodukt eines konkreten Index fehlen in Bezug auf die zugrunde liegende Definition tatsächlich oft Eindeutigkeit, Ausgereiftheit und Transparenz. Viele Ansätze versuchen die Klippen zu umschiffen, indem sie sehr allgemeine Definitionen nutzen. Oder aber sie sehen – werden mehrere Studien zu einer größeren zusammengefasst – die einfließenden Konzepte als legitime Definitionen an, die ein unvollkommenes Gesamtbild ergeben.

Methodisch angreifbar

Demokratie- und Governance-Indikatoren setzen inhaltlich auf verschiedenen Ebenen an, die bei der Operationalisierung oft vermischt werden. Sie untersuchen die rechtliche, De-jure-Ebene ihres Gegenstandes, konzentrieren sich auf die Prozess- und Defacto-Ebene oder beschäftigen sich mit bestimmten Politikergebnissen. Dabei sind Prozesse – etwa das freie und vor allem faire Ablaufen von Wahlen – naturgemäß schwieriger zu beurteilen als rechtliche Verfasstheiten.

Betrachtet man die methodische Ausgestaltung von Indikatoren, so wird deutlich, dass Demokratie, Governance und Freiheit oft als Catch-all-Begriffe dienen. Denn zusammengesetzte Indikatoren werden in Einzeldimensionen wie Rechtsstaatlichkeit, Wahlen, politische Stabilität, Accountability etc. aufgeteilt. Diese desaggregierte Ebene ist die eigentliche Indikatorenebene – statt von Demokratiemessung sollte man also besser von Indikatoren zu Wahlen, Rechtsstaatlichkeit oder politischer Stabilität sprechen.

Im Zusammenhang mit Validität und Reliabilität tauchen regelmäßig Schwierigkeiten auf: Die Indikatoren sind nicht intertemporal vergleichbar, da zu verschiedenen Zeitpunkten verschiedene Methodologien eingesetzt werden. Bei Ländervergleichen mangelt es an Robustheit, weil unterschiedliche Quellen bzw. Experten herangezogen wurden. Inkonsistente, komplizierte Aggregationsmechanismen verzerren die Wertungen. Oft wird den Ansätzen ein systematisches, methodisches, kulturelles oder ideologisches Bias vorgeworfen.

Dennoch hat sich einiges verbessert. Zur höheren Transparenz und einfacheren Anwendung hat – bei allen verbleibenden Schwierigkeiten – vor allem das Internet beigetragen. Alle wichtigen Indizes stellen inzwischen neben den Datenbasen an Indikatoren, Länder-Ratings und -Rankings auch desaggregierte Einzeldaten sowie Informationen zu Urheberschaft, Definitionen, Methodologie und Quellen ins Netz.

Wenige Indikatoren etabliert

In der Entwicklungszusammenarbeit neigen selbst Anwender, die sich auskennen, dazu, sich auf einige wenige Governance- und Demokratie-Indikatoren zu beschränken. Mit gutem Grund, denn oft setzen sich weiterentwickelte und verbesserte Ansätze durch: Durch die hohe Rezeption findet ein breiter, informeller Peer-review-Prozess statt, aufgrund dessen Indikatoren verbessert werden. Transparenz, Zugang und Nachvollziehbarkeit nehmen durch öffentliche Kritik zu. Der Wettstreit der Indikatoren untereinander erhöht den Anreiz, Verfahren jährlich durchzuführen.

Zu den häufig genutzten Indikatoren gehören etwa die Ratings der Studie „Freedom in the World“. Seit 1972 erfasst die US-amerikanische Non-Profit-Organisation Freedom House jährlich den Stand von Freiheit in zuletzt 194 souveränen Staaten und Territorien. Die Freiheits-Ratings, die in die beiden Indizes „politische Rechte“ (political rights) und „bürgerliche Rechte“ (civil rights) unterteilt sind und Länderwertungen auf eine Skala von 1 (beste) bis 7 (schlechteste) übertragen, werden oft auch als Demokratie- oder Governance-Indikatoren genutzt. Raymond Gastil, der maßgebliche Begründer der jährlichen Studie, befasste sich dabei von Anfang an weniger mit institutionellen und gesetzlichen Arrangements als mit effektiven Handlungen und Prozessen.

Neben den Freiheits-Indizes gibt es eine davon unabhängige, gesonderte Einteilung in elektorale Demokratien. So soll dargestellt werden, dass ein Land zwar formal als Demokratie gelten, faktisch aber sogar unfrei sein kann.

Freedom House wurde wiederholt ein kulturelles, US-amerikanisches Bias vorgeworfen. Die Organisation beauftragt für die Ratings eigene Experten, deren Wertungen in der Vergangenheit oft nicht transparent zustande kamen. Indem die Ergebnisse von Unterkategorien regelmäßig veröffentlicht werden, konnten die Vorwürfe nur teilweise entkräftet werden.

Transparency International und Weltbank

Seit 1995 gibt die Nichtregierungsorganisation Transparency International (TI) jährlich unter großem Medien­interesse den Corruption Perceptions Index (CPI) heraus. Hier gibt es kein „Labeling“-Problem. Denn auch wenn er diesbezüglich regelmäßig missverstanden wird, trägt der CPI den Gegenstand seiner Messung schon im Namen: die subjektiven Wahrnehmungen von Korruption. Hierzu fasst der CPI Studien zur durch inländische und ausländische Experten wahrgenommenen Korruption in einem Land in einem überregionalen Rating auf einer Skala von 0 bis 10 (am wenigsten korrupt) zusammen.

Die Verlässlichkeit des jeweiligen Länder-Ratings wird durch das Bestimmen eines Konfidenzintervalls und Veröffentlichung der Anzahl verwendeter Quellen sichtbar gemacht. Der CPI hat permanent seine Methodologie und die Anzahl der berücksichtigten Studien und der bewerteten Länder verändert. Er taugt daher kaum zum intertemporalen Vergleich.

Das World Bank Institute gibt seit 1996 alle zwei Jahre und seit 2002 jährlich die Worldwide Governance Indicators für derzeit 212 Länder heraus. Diese haben im Bereich der EZ – im Fahrwasser der Paradigmen von Good Governance und Konditionalität – höchste Bedeutung erlangt und bestimmen den aktuellen Standard von Governance-Indikatoren.

Governance wird konzeptionell in sechs Dimensionen unterteilt:
– „Voice and Accountability“,
– „Political Stability and Absence of Violence/Terrorism”,
– „Government Effectiveness”,
– „Regulatory Quality”,
– „Rule of Law” sowie
– „Control of Corruption”.

Wie beim CPI gehen aus den Worldwide Governance Indicators überregionale, zusammengesetzte Indikatoren hervor, in denen 33 Datenquellen von 30 Organisationen zusammengefasst werden. Auch wenn die konzeptionelle Basis durch die vielen verwendeten Quellen schwach theoretisiert ist, widerstehen die Autoren der Versuchung, alle sechs Dimensionen zu einem Gesamtindex „Governance“ zu aggregieren – sie belassen die Ergebnisse auf der Ebene der Einzeldimensionen.

Die Auswahl der Quellen und ihre Aggregationsmechanismen sind konstituierend für die Wertung. Hier werden vor allem privatwirtschaftlich orientierte Studien genutzt und die Wahrnehmungen von Geschäftsleuten stark einbezogen. Das gilt auch für den CPI. Die Vergleichbarkeit über Zeit und Länder hinweg ist eingeschränkt. Das wird ersichtlich, wenn die Konfidenzintervalle der einzelnen Wertungen überlappen.

Faustregeln

Die gestiegene Prominenz dieser Messungen in der Entwicklungspolitik führt zu vielen Missverständnissen, was Reichweite und Leistung von Demokratie- und Governance-Indikatoren angeht. Entsprechend oft werden sie überstrapaziert.

Unter Berücksichtigung einiger Faustregeln lassen sich die unterschiedlichen Schwächen der Indikatoren aber abmildern und stichhaltige Momentaufnahmen destillieren. Die konzeptionelle Anlage und Definition des Erhebungsgegenstandes gibt Aufschluss über Inhalte, Ziele und Tendenzen eines Indikators jenseits des Labelings und sollte stärker beachtet werden.

Je weiter man von hier aus auf desaggregierte Ebenen kommt, desto mehr differenziert sich das Ganze in Einzelfaktoren. Intertemporale Vergleiche sind grundsätzlich mit Vorsicht zu genießen; für Ländervergleiche sind Anzahl und Art der Quellen wichtige Zusatzinformationen.

Bei ein und derselben Fragestellung können gerade Widersprüche zwischen verschiedenen Indikatoren wichtige Informationen liefern. Hier sollten nicht nur die etablierten, oft untereinander korrelierten Ansätze beachtet werden, sondern auch methodisch anders angelegte und regionale Messungen.

Zum Beispiel Lateinamerika

Anhand von Beispielen aus Lateinamerika lassen sich drei Entwicklungen aufzeigen, welche die Dominanz einzelner Indikatoren auffangen und für vielseitigeren Zugriff sorgen. Zum Ersten sind dies perzeptionsbasierte Studien, die auf Befragungen basieren und damit die subjektiven Wahrnehmungen von Bürgern zu einem bestimmten Thema widerspiegeln. In die Governance-Indikatoren der Weltbank und den CPI von Transparency International fließen solche Umfragen auch ein – aber eben nur zu einem geringen Anteil.

Statt ausschließlich internationale, komplex zusammengesetzte Indikatoren heranzuziehen, lohnt sich der Blick auf regional angelegte Befragungen wie das Latinobarómetro oder das Latin American Public Opinion Project (LAPOP). Das Latinobarómetro schreibt sich in die weltweite Initiative des Global Barometer Survey Networks ein und lässt durch lokale Meinungsforschungsinstitute jedes Jahr mehr als 20 000 Interviews in 18 lateinamerikanischen Ländern durchführen. Die Studie gibt Aufschluss über die Zufriedenheit der Bevölkerung mit ihrem politischen und wirtschaftlichen System. Oft weichen diese substantiell von geläufigen Expertenmeinungen ab.

Ein zweiter, qualitativ angelegter Ansatz ist die Praxis der „Democracy Assessments“, die das IDEA (International Institute for Democracy and Electoral Assistance) und das britische Forschungsinstitut Democratic Audit entwickelt haben. Dieses Instrument erlaubt eine tiefgehende, vertikale und horizontale Politik-Ebenen umfassende Beurteilung der Demokratiesituation eines Landes – ohne dabei den Anspruch zu haben, temporal oder länderübergreifend vergleichbar zu sein. Daher werden die Untersuchungsergebnisse auch nicht quantifiziert. Inländische Expertenteams beschreiben Gradbestimmungen von Demokratie ausschließlich qualitativ, anhand eines Frameworks.

Viele kleinere Initiativen evaluieren zudem ausschließlich das eigene nationale oder regionale Demokratie- oder Governance-Niveau – und dies auch in Zeit­reihenverfahren. In Lateinamerika gehören dazu teils wenig bekannte Verfahren, wie etwa der Índice de Desarrollo Democrático, der Índice de Participación Ciudadana oder der Electoral Democracy Index. Dabei kommen immer auch die altbekannten Probleme auf – etwa die digitale Verfügbarkeit der Daten, die Transparenz von Methodologien oder die stringente Durchführung über einen längeren Zeitraum hinweg.

Trotzdem können regionale Indizes wertvolle Primärdaten liefern und etablierte Verfahren ergänzen. Vor allem aber schlagen sie den Weg zur Verwirklichung eines zentralen Konzeptes der Entwicklungszusammenarbeit ein: den einer größeren Ownership bei Governance- und Demokratie-Indikatoren. Auch die deutsche Entwicklungszusammenarbeit hat dieses Potential erkannt: Seit 2003 bietet InWEnt jährlich einen Workshop zur Messung von Demokratie, Governance und Menschenrechten an, in dem Akteure aus Ent­wick­lungsländern die Möglichkeiten der Bewertung von politischen und rechtlichen Systemen kennen­lernen.

Informierter Umgang mit Indikatoren

Demokratie- und Governance-Indikatoren haben der Entwicklungszusammenarbeit ein Mehr an Informationen und Standardisierung gebracht. Zugleich wurden auch kritische Fragen nach den Möglichkeiten von Ländervergleichen auf Basis von Rankings und Ratings aufgeworfen. Governance- und Demokratie-Indikatoren sollten daher als das benutzt werden, was sie sind: Momentaufnahmen, Schnappschüsse mittels Expertenmeinungen von oft sehr unterschiedlich konzipierten Phänomenen.

Die Messungen nehmen ihre Gegenstände aus unterschiedlichen Perspektiven in den Blick. Kulturelles Bias, methodische Unebenheiten oder die Dominanz weniger Verfahren sollten dabei nicht überbewertet werden. Problematisch wird es, wenn Einfärbungen – die zwangsläufig auftreten – nicht transparent gemacht werden, Methodologien undurchsichtig bleiben und wenn Nutzer keine zusätzlichen Informationen hinzuziehen.

Es sollte auch nicht vergessen werden, dass Indikatoren nur ein einzelnes Instrument, ein Bewertungsmaßstab unter vielen sind und nie den Anspruch alleiniger Deutungshoheit erheben können. Jeder Rezipient sollte sich fragen, welche zusätzlichen Möglichkeiten er hat, sich seinem Untersuchungsgegenstand zu nähern. Verlassen wir uns allein auf Indikatoren, nehmen wir hin, dass Nichtwissen entsteht über das, was nicht messbar ist.