add oa indicators de

Author: doerners

rankings.qmd

@@ -330,6 +330,24 @@ Disziplinäre Unterschiede zwischen dem traditionellen Leiden Ranking 2024 und d
 
 ### Open-Access-Indikatoren
 
+Innerhalb der evaluativen Bibliometrie konzentrieren sich sogenannte Produktivitätsindikatoren auf die Auszählung von Publikationsvolumina, um die Produktivität von Einzelpersonen, Institutionen oder Ländern zu quantifizieren [@Gauch2023]. Open-Access-Indikatoren lassen sich in diesem Zusammenhang als eine Form von Produktivitätsindikatoren verstehen, da sie meist die Anzahl an Open-Access-Publikationen auszählen und daraus ein approximierendes Maß für die Produktivität von Forschenden, Institutionen oder Ländern im Bereich Open Access generieren. 
+
+Aus einer guten bibliometrischen Praxis heraus, wie sie etwa im Leiden Manifest [@Hicks2015] umrissen ist, erfordert die Auswahl der im Kontext von Rankings verwendeten Indikatoren sorgfältige Überlegungen bezüglich deren Eignung für den Vergleich von Institutionen. Ein Vergleich zwischen Einrichtungen aus unterschiedlichen regionalen Kontexten oder mit unterschiedlicher Anzahl an Forschenden und Publikationsvolumina kann problematisch sein, wenn die Indikatoren lediglich absolute Anzahlen an Publikationen darstellen, da die spezifischen Bedingungen und Herausforderungen jeder Einrichtung nicht berücksichtigt werden. Um eine bessere Vergleichbarkeit zwischen Einrichtungen zu schaffen, finden daher bei der Indikatorenkonstruktion verschiedene Formen der Normalisierung Anwendung [@Gauch2023]. Eine Form der Normalisierung in Bezug auf Open-Access-Indikatoren kann sein, die absolute Anzahl der Open-Access-Publikationen einer Einrichtung ins Verhältnis zu setzen zur absoluten Anzahl aller Publikationen einer Einrichtung im untersuchten Zeitraum.
+
+Neben einzelnen Indikatoren, werden auch sogenannte zusammengesetze Indikatoren (*composite indicators*) für einige Rankings verwendet, die als Rangliste angelegt sind. Diese Indikatoren werden aus gewichteten Aggregaten von einzelnen Indikatoren generiert [@Glaenzel2009;@Johnes2018]. Die Idee hinter zusammengesetzten Indikatoren besteht darin, komplexe Phänomene wissenschaftlicher Aktivitäten durch die Kombination und Verdichtung verschiedener Indikatoren zu einem einzigen, umfassenden Maß abzubilden. Durch diese Art der Linearisierung in eine einzelne Metrik, die sich sortieren lässt, ermöglichen zusammengesetze Indikatoren eine einfachere Vergleichbarkeit zwischen Einrichtungen, Personen oder Ländern [@quick_notes]. Dennoch gehen gewisse Problematiken mit zusammengesetzten Indikatoren einher, eine gute Übersicht findet sich bei @Forthmann2024. Zu den Problematiken und Kritikpunkten gehören beispielsweise, dass die Auswahl der Gewichtung einzelner Komponenten bei zusammengesetzen Indikatoren oft undurchsichtig und teils willkürlich erfolgt. Dabei haben die Gewichte der Einzelkomponenten einen beachtlichen Einfluss auf das resultierende Ranking [@Glaenzel2009;@Forthmann2024]. Ferner wird auch kritisiert, dass es oft an hinreichender Transparenz bezüglich der Indikatorenkonstruktion mangelt, was die Interpretation der Rankings erschweren kann [@Forthmann2024].
+
+Beide Versionen des Leiden Rankings bieten im Kern zwei Arten von Open-Access-Indikatoren: 1) Indikatoren, die das Gesamtpublikationsvolumen an Open-Access-Publikationen einer Hochschule über einen vier-Jahreszeitraum ausweisen und 2) Indikatoren, die den Anteil des Open-Access-Publikationsvolumens am Gesamtpublikationsvolumen einer Hochschule über einen vier-Jahreszeitraum ausweisen. Beide Indikatoren werden einmal insgesamt für die Open-Access-Publikationen ausgewiesen und zusätzlich noch einmal separat für die gängigen Open-Access-Statustypen (gold, hybrid, grün, bronze, sowie für das traditionelle Leiden Ranking unknown). Neben den Open-Access-Indikatoren wird auch das Gesamtpublikationsvolumen pro Einrichtung angegeben. Auch wenn ein Vergleich zwischen Einrichtungen anhand absoluter Anzahlen Limitationen hat, so kann es doch sinnvoll sein, absolute Zahlen auszuweisen, um die Transparenz und Nachvollziehbarkeit der Indikatoren zu verbessern. Die Angabe der absoluten Anzahlen ermöglicht es den Einrichtungen, die Anteilswerte zu überprüfen und deren Genauigkeit zu beurteilen. 
+
+Ähnlich wie die beiden Leiden Rankings, weist auch das COKI OA Dashboard sowohl absolute Anzahlen als auch relative Anteile in Bezug auf das Open-Access-Publikationsvolumen einer Einrichtung aus. Die im COKI OA Dashboard ausgewiesenen Indikatoren unterscheiden sich im Umfang zwischen der institutionellen Übersichtsseite und den Detailseiten der einzelnen Institutionen. Die Übersichtsseite, die einem Vergleich aller im COKI OA Dashboard repräsentierten Einrichtungen dient, weist dabei folgende Indikatoren für den Publikationszeitraum 2000--2024 aus: 1) den prozentualen Anteil an Open Access Veröffentlichungen, 2) ein gestapeltes Balkendiagramm welche die prozentualen Anteile an Artikeln visualisiert, die über den Verlag, andere Platformen, beides oder gar nicht im Open Access zugänglich sind. Das Balkendiagramm weist jedoch die jeweiligen Prozente nicht aus, 3) die Gesamtanzahl der Veröffentlichungen einer Einrichtung und 4) die Gesamtanzahl an Open Access Veröffentlichungen einer Einrichtung. Die Detailseiten der einzelnen Institutionen enthalten weitere spezifische Indikatoren, die eine detailliertere Übersicht des Open-Access-Publizierens einer Einrichtung ermöglichen. Insbesondere sind auf der Detailseite auch die Prozentangaben für das gestapelte Balkendiagramm angegeben und es werden unter anderem auch zeitliche Verläufe dargestellt. Auffällig ist, dass es eine Diskrepanz zwischen der Übersichtsseite und der Detailseite einer Einrichtung bezogen auf die absoluten Anzahlen für das Publikationsvolumen insgesamt und das Open-Access-Publikationsvolumen gibt. Auf der Übersichstsseite werden die exakten Werte angegeben, während auf der Detailsseite gerundete Werte dargestellt werden. Zudem handelt es sich bei dem Wert des prozentualen Open-Access-Anteils auf beiden Seiten um einen gerundeten Wert. Während die Angabe absoluter Zahlen, ähnlich zu den Leiden Rankings, für eine bessere Überprüfbarkeit der Indikatoren sorgt, ist die Darstellung gerundeter Werte weniger exakt.
+
+Das SCImago Institutions Ranking verwendet einen zusammengesetzten Indikator, der verschiedene Indikatoren aus den drei Bereichen *Research*, *Innovation* und *Societal* aggregiert. Die *Research*-Dimension geht mit 50% Gewicht in den zusammengesetzen Indikator ein und ist gegenüber den beiden anderen Dimension mit 30% (*Innovation*) und 20% (*Societal*) Gewichtung demnach deutlich stärker fokussiert. Der Open-Access-Indikator ist im SCImago Institutions Ranking Teil der *Research*-Dimension und geht mit einem Gewicht von 2% in diese ein. Er gehört damit zu den am wenigsten stark gewichteten Indikatoren innerhalb der *Research*-Dimension und des zusammengesetzen Indikators insgesamt. Der Open-Access-Indikator gibt den prozentualen Anteil der Publikationen an, die in Open-Access-Zeitschriften veröffentlicht oder in Unpaywall indexiert sind [@SIR_method]. Das SCImago Institutions Ranking weist aber weder den Open-Access-Indikator noch die von den Einrichtungen erreichte Gesamtpunktzahl aus, sondern gibt lediglich den resultierenden Rang an.
+
+Ähnlich wie das SCImago Institutions Ranking verwendet auch das QS Sustainability Ranking einen zusammengesetzten Indikator. Das QS Sustainability Ranking aggregiert dazu verschiedene Indikatoren aus den Bereichen *Environmental Impact*, *Social Impact*, und *Governance*. Die *Governance*-Dimension geht mit 10% Gewicht in den zusammengesetzen Indikator ein und ist damit im Gegensatz zur den Gewichtungn der beiden anderen Dimensionen mit jeweils 45 % deutlich weniger stark fokussiert. Der Open-Access-Indikator ist im QS Sustainability Ranking Teil der *Governance*-Dimension und geht mit einem Gewicht von 1% in diese ein. Alle Indikatoren innerhalb der *Governance*-Dimension haben das gleiche Gewicht zugewiesen, werden also gleichwertig für die Dimension berücksichtigt. Der Open-Access-Indikator gibt den Anteil der gesamten Forschungsergebnisse einer Einrichtung an, die laut Unpaywall als Open Access verfügbar sind [@QS_governance]. Bei der Indikatorenkonstruktion wird zwischen verschiedenen Open-Access-Statustypen (gold, hybrid, grün) und Feldern unterschieden, denen unterschiedliche Gewichtungen zugewiesen sind. Der finale Open-Access-Indikator wird anhand der einzelnen Werte pro Feld aggregiert und auf einen Wertebereich zwischen 0 und 100 skaliert [@QS_governance]. Der Datensatz QS Sustainability Ranking weist zusätzlich zur Gesamtpunktzahl für jede Dimension gesondert die erreichte Punktzahl aus. Die Gesamtpunktzahl wird dabei nur bis zum Rang 902 angegeben.
+
+Insgesamt ist erkennbar, dass sich die fünf Rankingsysteme teilweise stark in der Verwendung von Open-Access-Indikatoren unterscheiden, auch wenn alle beschriebenen Open-Access-Indikatoren die Produktivität von Einrichtungen in Bezug auf Open Access messen und darstellen. Unterschiede und Herausforderungen für die Vergleichbarkeit der Rankingergebnisse ergeben sich beispielsweise aus der Berücksichtigung verschiedener Open-Access-Statustypen (gold, hybrid, grün, etc.) zur Klassifikation von Open-Access-Publikationen. Hierbei ergibt sich auch eine Pfadabhängigkeit zu der verwendeten Datenquelle, anhand derer die Open-Access-Publikationen identifiziert werden. Beide Versionen des Leiden Ranking verwenden OpenAlex als Datenquelle zur Identifikation von Open-Access-Publikationen und weisen ferner die Open-Access-indikatoren gesondert für alle Open-Access-Statustypen aus. Das QS Sustainability Ranking hingegen stützt sich auf Unpaywall als Datenquelle, scheint jedoch nur zwischen goldenen, hybriden und grünen Open-Access-Publikationen zu unterscheiden [@QS_governance]. Das SCImago Institutions Ranking verwendet Unpaywall als Datenquelle, scheint jedoch keine Open-Access-Statustypen zu unterscheiden [@SIR_method]. Das COKI OA Dashboard verwendet ebenfalls Unpaywall als Datenquelle zur Identifikation von Open-Access-Publikationen, weist aber im vergleich zu den anderen Ranking nicht die typischen Open-Access-Statustypen mit ihren Farben aus. Vielmehr werden im COKI OA Dashboard goldene, hybride und bronze Publikationen zu der Kategorie *Publisher Open* zusammengefasst. Diese Unterschiede erschweren die Vergleichbarkeit zwischen den Rankingsystemen in Bezug auf Open Access. 
+
+Durch die differenziertere Darstellung der Indikatoren verlangen beide Versionen des Leiden Ranking sowie das COKI OA Dashboard  von den Nutzenden eine gesonderte Betrachtung der einzelnen Dimensionen, um eine umfassende Bewertung der Einrichtungen vornehmen zu können. Dies geht mit einer höheren Komplexität bei der Interpretation der Ergebnisse einher. Das SCImago Institutions Ranking und das QS SUstainability Ranking vereinfachen diese Komplexität durch die verwendeten zusammengesetzen Indikatoren. Allerdings erweisen sich die zusammengesetzen Indikatoren als weniger geeignet für das Open-Access-Monitoring und die Bewertung von Open-Access-Aktivitäten, da die spezifischen auf Open Access bezogenen Werte nicht direkt aus den zusammengesetzten Indikatoren abgeleitet werden können. Darüber hinaus spielen Open-Access-Indikatoren beim SCImago Institutions Ranking und dem QS Sustainability Ranking eine deutlich untergeordnete Rolle, da sie jeweils nur einen geringen Anteil an der Gesamtwertung ausmachen.
+
 ### Überschneidung von Institutionen
 
 ```{r}