Evaluierung von Rankingverfahren für bibliothekarische Informationssysteme

1 Einleitung

Das menschliche Such- und Informationsverhalten ist heutzutage stark durch die Websuche und insbesondere durch Websuchmaschinen wie Google beeinflusst. So werden bei der Nutzung von Websuchmaschinen die obersten Positionen der ersten Trefferliste, die als Ergebnis auf eine Suchanfrage angezeigt wird (z. B. Barry & Lardner, 2011; Jansen & Spink, 2006; Pan u. a., 2007; Schultheiß, Sünkler, & Lewandowski, 2018), präferiert und in der Regel recht kurze Suchanfragen eingegeben (Höchstötter & Koch, 2008). Auch bei bibliothekarischen Informationssystemen zeigt sich das gleiche Such- und Browsing-Verhalten (Hennies & Dressler, 2006). Um die Erwartungen an das Informationssuchverhalten zu erfüllen, sollten Bibliothekskataloge sich eher wie Suchmaschinen „anfühlen“ (Connaway & Dickey, 2010), insbesondere durch eine Sortierung der Suchergebnisse nach Qualität bzw. Relevanz (Lewandowski, 2010). Moderne bibliothekarische Informationssysteme, sogenannte Discovery Systeme, verwenden zwar Rankingalgorithmen, beschränken sich aber oft auf Text-Matching und die Gewichtung einzelner Felder aus den Metadaten (so wird z. B. das Vorkommen eines Suchworts im Titel höher gewichtet als das Vorkommen des Suchwortes im Abstract). Die Möglichkeiten, die Rankingfunktionen für bibliothekarische Informationssysteme theoretisch bieten, wurden lange nicht ausgenutzt. Einige Discovery Systeme begannen, zusätzliche Parameter in das Ranking zu integrieren (siehe z. B. Blenkle, Ellis, Haake, & Zillmann, 2015; Langenstein & Maylein, 2009). Jedoch fehlten bisher ein gezielter Überblick über potenzielle Rankingfaktoren sowie deren systematische Evaluierung.

Vor diesem Hintergrund war das Ziel des hier vorgestellten DFG-Forschungsprojekts LibRank^[1] die Entwicklung und systematische Evaluierung von neuartigen Rankingverfahren für bibliothekarische Informationssysteme aufbauend auf Erkenntnissen aus dem Bereich der Websuche. Dafür wurden zunächst auf den Bibliothekskontext übertragbare Relevanzfaktoren für Rankingalgorithmen identifiziert (Abschnitt 2) und in ein Relevanzmodell eingebettet (Abschnitt 3). Zur Erforschung der Rankingverfahren wurden diese in eine häufig genutzte Suchanwendung, das Fachportal EconBiz^[2] des Leibniz-Informationszentrums Wirtschaft (ZBW), in einer Testumgebung integriert und mithilfe des Relevance Assessment Tools und menschlicher Jurorinnen und Juroren evaluiert (Abschnitt 4.1). Die Analyse der erhobenen Daten deutet darauf hin, dass nicht ein einzelner Rankingalgorithmus für alle Suchanfragen Ergebnisse in der gleichen Qualität bieten kann (Abschnitt 4.2). Der Beitrag diskutiert die Ergebnisse (Abschnitt 5) und schließt mit einem Fazit ab (Abschnitt 6).

2 Rankingfaktoren für bibliothekarische Informationssysteme

Die Sortierung der Suchergebnisse in einem Informationssystem, also das Ranking, will für eine informationssuchende Person die bestmögliche Rangfolge der Treffer generieren. Diese werden aus Sicht des Systems als relevant für die Suchanfrage bewertet (nach dem best-match-Ansatz) und auf Basis eines Rankingalgorithmus in absteigender Reihenfolge angezeigt. Dies bedeutet, je höher der Relevanzgrad (score), desto relevanter das Ergebnis und umso höher wird es gerankt. Für das Ranking in Websuchmaschinen wird eine Vielzahl unterschiedlicher Faktoren und Signale herangezogen. Diese lassen sich in Hinblick auf die dahinterliegenden Konzepte wenigen Gruppen zuordnen, die sich prinzipiell auch auf den Kontext (wissenschaftlicher) bibliothekarischer Informationssysteme übertragen lassen (Behnert & Lewandowski, 2015). Abbildung 1 zeigt fünf Gruppen, die neben den textstatistischen Verfahren als Basis in das Ranking mit einfließen: Popularität, Aktualität, Standort und Verfügbarkeit, Dokumenteigenschaften und Nutzerhintergrund (für eine tiefer gehende Darstellung der einzelnen Relevanzfaktoren verweisen wir auf Behnert & Lewandowski, 2015).

Insbesondere Faktoren der Gruppe Popularität, die auf dem Prinzip der „Weisheit der Vielen“ (Surowiecki, 2005) beruhen, spielen im Ranking von Websuchmaschinen eine wichtige Rolle, da sie beispielsweise Klick- und Nutzungshäufigkeiten berücksichtigen (Lewandowski, 2018, S. 102ff.). Kommerzielle Anbieter wissenschaftlicher Informationssysteme wie Google Scholar integrieren ebenfalls Popularitätsfaktoren in ihr Ranking, z. B. die Zitationszahl eines Artikels (Beel & Gipp, 2009). Im Kontext von Bibliotheken lassen sich unter anderem Ausleih- und Downloadzahlen dieser Gruppe zuordnen. Aktualität ist in traditionellen Bibliothekskatalogen der Standard, nach dem Ergebnisse in einer Trefferliste sortiert werden (absteigend nach Erscheinungsjahr). Die Kombination von Aktualität insbesondere mit Popularitätsfaktoren bietet großes Potenzial, denn so können Eigenschaften des Werkes mit Nutzungscharakteristika zusammen betrachtet werden.

Die Berücksichtigung des Standorts und der Verfügbarkeit liegt vor allem vor dem Hintergrund zunehmend elektronischer, lizenzierter Bestände nahe. Denn es ist anzunehmen, dass Personen, die sich physisch nicht in der Bibliothek befinden, sofort zugängliche, also freie oder von der Institution lizenzierte, Dokumente gegenüber gedruckten Materialien bevorzugen. Eigenschaften des Dokumentes wie Sprache oder Format können ebenfalls als Rankingfaktoren betrachtet werden, da selbst ein höchst relevantes Dokument nicht als solches beurteilt wird, wenn Suchende die Sprache nicht verstehen. In diesem Zusammenhang sind Informationen zum Hintergrund der informationssuchenden Person von großer Bedeutung.

Abbildung 1

Gruppen von Rankingfaktoren. Quelle: Behnert & Lewandowski (2015, S. 389).

3 Relevanzmodell

Zur Bewertung der Relevanz eines Dokumentes müssen die einzelnen Faktoren in einem Relevanzmodell zusammengeführt werden. Im einfachsten Fall könnten diese direkt in ein lineares Modell integriert werden. Dabei ergeben sich jedoch u. a. folgende Probleme:

1. Es gibt keine gemeinsame Skala, um die verschiedenen Faktoren miteinander vergleichen zu können. Beispielsweise ist eine direkte Abwägung von Ausleihdaten mit Downloadzahlen nicht ohne weiteres möglich.

2. Die Rohdaten enthalten systematische Verzerrungen. So weist beispielsweise die Häufigkeitsverteilung der Zitationen eine Abhängigkeit vom Alter der Werke auf (Zitationsobsoleszenz).

Unser Ansatz zur Abmilderung dieser Probleme basiert auf einer Methode aus der Szientometrie – der Methode der Characteristic Scores and Scales (CSS) von Glänzel & Schubert (1988). Die CSS-Methode wurde ursprünglich entwickelt, um in Zitationsverteilungen Klassen von Artikeln zu finden, die als „wenig zitiert“, „einigermaßen zitiert“, „bemerkenswert zitiert“ oder „hervorragend zitiert“ interpretiert werden können. Die Bestimmung der Klassen basiert dabei im Wesentlichen auf der Häufigkeitsverteilung der Zitationen.

Wir haben diese Methode auf die einzelnen Popularitätsfaktoren angewendet. Die Faktoren können dann innerhalb der einzelnen Klassen miteinander verglichen werden. Dabei ergeben sich plausible Äquivalenzen zwischen den Faktoren. Beispielsweise lässt sich daraus entnehmen, welche Anzahl von Downloads als gleichwertig mit der Anzahl an Zitationen angesehen werden kann. Diese Äquivalenzen sind aufgrund der Nichtlinearität der CSS-Methode ebenfalls nicht-linear.

Anschließend wurde definiert, wie die verschiedenen Klassen gegeneinander gewichtet werden sollen. Diese Klassengewichtung hat gegenüber eher technischen Parametern anderer Transformationen (z. B. Robertson, 2010) den Vorteil, dass sie für Fachexpertinnen und Fachexperten intuitiver anpassbar sein sollte. Im Folgenden haben wir ein lineares Schema verwendet (Gewicht der i-ten Klasse proportional zu i). Denkbar wäre aber auch ein exponentielles Schema (Gewicht der i-ten Klasse proportional zu aⁱ), damit wäre es schwieriger, Faktoren aus höheren Klassen durch Faktoren niedrigerer Klassen auszugleichen.

Dieses Vorgehen wurde ebenfalls benutzt, um systematische Effekte wie Zitationsobsoleszenz in den Daten zu reduzieren, und um verschiedene Datenbestände für einen einzelnen Faktor zusammenzuführen, wie beispielsweise Nutzungsdaten aus unterschiedlichen Systemen (Plassmeier, Borst, Behnert, & Lewandowski, 2015).

Da die thematische Relevanz eine zentrale Rolle bei der Relevanzbewertung spielt, wurde die Textstatistik-Komponente nicht in das lineare Modell integriert, sondern über den sogenannten priorisierten Aggregationsoperator mit den anderen Faktoren gekoppelt (da Costa Pereira u. a., 2012). Die Idee hinter dem priorisierten Aggregationsoperator ist, eine Kompensation geringer thematischer Relevanz durch andere Rankingfaktoren, wie sie im linearen Modell möglich wäre, zu vermeiden^[3]. Eine Abwandlung dieses Modells wurde ebenfalls im OpenSearch Track im Rahmen von TREC getestet (Schaer & Tavakolpoursaleh, 2016; Tavakolpoursaleh, Neumann, & Schaer, 2017).

4 Evaluierung der Rankingverfahren im EconBiz-Testsystem mit dem Relevance Assessment Tool

4.1 Methodik

Für das Design und die Durchführung der Testläufe wurde die von der HAW Hamburg entwickelte, web-basierte Software Relevance Assessment Tool (RAT)^[4] verwendet. Mithilfe des RAT wurden bereits zahlreiche Studien^[5] zur teil-automatisierten Evaluierung von Suchsystemen mithilfe menschlicher Juroren durchgeführt, auf deren Basis ein Framework zur Evaluierung entstand.

4.1.1 Anreicherung des Testsystems

Für den überwiegenden Anteil der Faktoren musste das Testsystem mit Daten aus externen Quellen angereichert werden, wodurch der Datenbestand teilweise eine starke Heterogenität aufwies (Behnert & Borst, 2015). Die Auswahl der Rankingfaktoren richtete sich vordergründig nach der Verfügbarkeit der notwendigen Datenquellen. Folgende Quellen wurden genutzt:

1. Daten für nutzungsbasierte Faktoren, z. B. Anzahl der Views und Downloads, stammten aus der Web-Tracking-Komponente^[6] von EconBiz und Daten aus RePEc^[7] von LogEc^[8] (Nutzungsverhalten; Popularität);

2. Ausleihdaten, Informationen zu lokalen Exemplaren und den Beständen von anderen Bibliotheken wurden aus dem Bibliothekssystem des GBV abgerufen (Nutzungsverhalten, Erwerbungsverhalten; Popularität);

3. für Daten zu Impact-Faktoren wurden die Daten von SCImago Journal Rank^[9] integriert (Popularität);

4. Zitationsdaten stammten von CitEc^[10] und CrossRef^[11] (Popularität);

5. der Journal Ranking Guide (JRG)^[12]offerierte Daten über den Begutachtungsprozess von Zeitschriften (Peer Review, Autorität; Popularität);

6. anhand des Datensets von OCLC LOD Works^[13] wurde die Anzahl an Auflagen eines Werkes bestimmt (Erwerbungsverhalten bzw. Nachfrage; Popularität).

Das Testsystem wurde mit diesen Daten angereichert und die Daten entsprechend den Ausführungen in Abschnitt 3 zum Relevanzmodell aufbereitet. Ein Großteil wurde für Faktoren der Gruppe Popularität genutzt. Informationen zum Nutzerhintergrund wurden nicht verwendet.

Tabelle 1 gibt einen Überblick über die evaluierten Rankingfaktoren im Rahmen von insgesamt drei Testläufen. Ein Textstatistik-Ranking, basierend auf der tf-idfImplementierung von Solr mit heuristisch bestimmten Feldgewichtungen, und das EconBiz-Ranking (das Textstatistik-Ranking mit heuristischen, multiplikativen Boosts für Aktualität und frei verfügbare Dokumente) dienten jeweils als Baselines. Für ein Ranking (R23) wurden die Gewichtungsparameter für die einzelnen Faktoren über einen Learning-to-Rank Ansatz bestimmt. Dabei wurden die Parameter anhand der Relevanzbewertungen aus dem zweiten Testlauf durch direkte Optimierung der Kennzahl nDCG^[14] über ein einfaches gradienten-freies Verfahren gefunden (Coordinate Ascent; Busa-Fekete, Szarvas, Élteto, & Kégl, 2012). Dieses Modell wurde im dritten Testlauf evaluiert. Für die übrigen Rankings wurden die Gewichtungsparameter für die einzelnen Faktoren heuristisch festgelegt.

Tabelle 1:

Übersicht der Rankingfaktoren in den drei Evaluierungsläufen.

R#	Evaluierungslauf 1	R#	Evaluierungslauf 2	R#	Evaluierungslauf 3
R1	Textstatistik (Baseline)	R11	Textstatistik (Baseline)	R21	Textstatistik (Baseline)
R2	EconBiz-Ranking (Baseline)	R12	EconBiz-Ranking (Baseline)	R22	EconBiz-Ranking (Baseline)
R3	Alle Faktoren	R13	Alle Faktoren	R23	Gelernte Variante
R4	Nur Popularitätsfaktoren	R14	Nur Popularitätsfaktoren	R24	Nur Popularitätsfaktoren
R5	Nur Aktualität	R15	Nur Aktualität	R25	Nur Aktualität
R6	Nur Verfügbarkeit	R16	Nur Verfügbarkeit	R26	Nur Verfügbarkeit
R7	Nur Dokumenteigenschaften	R17	Nur Dokumenteigenschaften	R27	Nur Dokumenteigenschaften
R8	Nutzungshäufigkeit + Erscheinungsdatum	R18	Nutzungshäufigkeit + Erscheinungsdatum	R28	Verfügbarkeit + Erscheinungsdatum + Nutzungshäufigkeit + Zitationen
R9	Nutzungshäufigkeit + Zitationen	R19	Nutzungshäufigkeit + Zitationen	R29	Verfügbarkeit + Erscheinungsdatum + Nutzungshäufigkeit + Zitationen
R10	Zitationen + Erscheinungsdatum	R20	Zitationen + Erscheinungsdatum	R30	Verfügbarkeit + Erscheinungsdatum + Nutzungshäufigkeit + Zitationen

Anmerkung: Die unterstrichenen Faktoren in den Rankings R28, R29, R30 wurden jeweils am höchsten bzw. höher gewichtet. In allen drei Evaluierungsläufen bestand ein Ranking aus rein textstatistischen Verfahren (R1, R11, R21) und aus dem EconBiz-Ranking (R2, R12, R22), das als Baseline diente. Rankings in kursiver Schrift bestanden aus einzelnen Faktoren aus unterschiedlichen Kategorien. So setzte sich R8 aus dem Popularitätsfaktor Nutzungshäufigkeit und dem Aktualitätsfaktor Erscheinungsdatum zusammen (ein weiterer Aktualitätsfaktor Zugangsdatum wurde nicht berücksichtigt).

4.1.2 Design der Evaluierung

Für die ausgewählten Rankingverfahren wurden für jede Suchanfrage die jeweils ersten 20 Treffer extrahiert und aus diesen ein Pool an Dokumenten gebildet, der den Jurorinnen und Juroren zur Relevanzbewertung vorgelegt wurde (s. Abb. 2 a). Wenn ein Suchergebnis von mehr als einem Ranking unter den ersten 20 Treffern erzeugt wurde, wurden die Dubletten entfernt (s. Abb. 2 b). Das Design der Evaluierung beruht auf den Methoden zur Evaluierung von Websuchmaschinen bzw. Information-Retrieval-Systemen. Diese wurden auf den Kontext bibliothekarischer Informationssysteme übertragen (Behnert & Lewandowski, 2017). Die folgenden vier Kernbereiche bilden das Evaluierungsframework ab^[15]:

– Suchanfragen (Darstellung, Arten, Quellen, Anzahl der Anfragen)

– Juroren (Auswahl und Anzahl der Juroren, auch im Hinblick auf Nutzermodelle)

– Suchergebnisse (Auswahl der Trefferelemente, Bewertungsablauf mit dem RAT)

– Testdurchführung (systematisches Vorgehen bei der Faktorenauswahl)

Den Jurorinnen und Juroren wurden die Suchergebnisse zu realen informationsorientierten Suchanfragen^[16] zur subjektiven Relevanzbewertung vorgelegt. Abbildung 3 zeigt eine mit dem RAT zu bearbeitende Aufgabe, die aus einer Suchanfrage und einer kurzen Beschreibung eines dahinter liegenden Informationsbedürfnisses bestand. Das jeweilige Suchergebnis wurde sowohl mithilfe eines Schiebereglers auf einer visuellen Analogskala (zur Bewertung der graduellen Relevanz) als auch mittels binärer Entscheidung (relevant oder nicht relevant) bewertet, um analysieren zu können, ab welchem Relevanzgrad für Nutzerinnen und Nutzer ein Dokument eine gewisse Relevanz besitzt.

Abbildung 2a

Schematische Darstellung der Dokumentenpoolbildung für die Relevanzbewertung im RAT durch Juroren.

Abbildung 2b

Exemplarische Dublettenbereinigung im RAT.

Abbildung 3

Beispiel einer Aufgabenansicht im Relevance Assessment Tool im Rahmen der drei Evaluierungsläufe.

4.2 Ergebnisse

Insgesamt wurden mithilfe des RAT in drei Testläufen 555 Suchaufgaben (Tasks) bearbeitet. So lagen schließlich 35.158 bewertete Dokumente vor. Die Daten wurden bereinigt und einer Plausibilitätsprüfung unterzogen, somit konnten Relevanzbewertungen aus 311 Tasks in die Auswertung einbezogen werden. Tabelle 2 gibt einen Überblick über die Eckdaten der Evaluierungsläufe.

Tabelle 2:

Übersicht über die drei Evaluierungsläufe.

Testlauf	Anzahl Juroren	Jurorengruppe	Anzahl Tasks gesamt	Anzahl Tasks pro Juror	Anzahl bearb. Tasks	Anzahl Tasks in Analyse	Anzahl bew. Dokumente
#1	4	Fachreferenten (ZBW)	120	30	83	41	3.470
#2	8		120	15	109	108	8.114
#3	45	Studierende	450	(var.)	363	162	23.574
Insg.	57	n.n.	690	n.n.	555	311	35.158

Abbildung 4

Durchschnittliche Performance der Rankingverfahren in den drei Testläufen. Die Fehlerbalken repräsentieren die simultanen 95 Prozent Konfidenzintervalle. Performance der Baselines: Textstatistik (gepunktet), EconBiz (gestrichelt).

In Abbildung 4 werden die mittlere Performance der getesteten Rankings mittels nDCG@10 und Precision@10 für die drei Testläufe sowie die simultanen 95 Prozent Konfidenzintervalle dargestellt. Die Unterschiede wurden Sakai (2014) folgend mittels Tukeys HSD-Test auf statistische Signifikanz getestet.

Insgesamt konnte für keines der getesteten Rankings eine einheitliche Verbesserung gegenüber den Baseline-Rankings gemessen werden. Im ersten Lauf erzielte stattdessen die EconBiz-Baseline die beste Performance, im dritten Lauf die Textstatistik-Baseline. Statistisch signifikante Verbesserungen gegenüber einer Baseline konnte nur Aktualität (R5) im Vergleich zur Textstatistik-Baseline (R1) in Lauf 1 erzielen. Das gelernte Ranking (R23) erzielte in Lauf 3 die zweitbeste Performance und weist statistisch signifikante Verbesserungen gegenüber den Rankings R24, R26, R27 und R30 auf.

Im Vergleich zu der Textstatistik-Baseline enthalten die Top-10 Listen der getesteten Rankings im Mittel zwei bis fünf gemeinsame Dokumente. Die Varianz über die Suchaufgaben ist dabei groß. Somit gibt es einen deutlichen Effekt der Rankings auf die jeweils zehn besten Suchergebnisse, wobei dieser für einige Rankingverfahren sowie bei einigen Suchaufgaben weniger prägnant ausfällt. Bei den Testläufen zwei und drei ist die Tendenz beobachtbar, dass die mittlere Performance geringer ausfällt, wenn die Anzahl der gemeinsamen Dokumente abnimmt.

5 Diskussion

Die Ergebnisse folgen dem typischen Muster von Evaluierungsstudien (W. E. Webber, 2010): Es kann eine hohe Varianz über die Tasks (Informationsbedürfnisse) beobachtet werden^[17]. Für einige Informationsbedürfnisse erreichen demnach alle Rankings eine gute Performance, während für andere keines der Rankings eine gute Performance erreicht. Die hohe Varianz über die Performance der Rankings pro Task unterliegt ebenfalls großen Schwankungen zwischen den Aufgaben, wohingegen die Varianz der mittleren Performance der Modelle relativ klein ist. Da die Performance-Werte pro Task mit einer Reihe von Fehlern behaftet sind (z. B. durch inkonsistente Bewertungen oder Reihungseffekte), kann nicht verlässlich daraus geschlossen werden, dass ein bestimmtes Ranking für bestimmte Aufgaben bessere Ergebnisse liefert.

Das in absoluten Zahlen hohe Performanceniveau ist auffällig, aber kein verlässlicher Indikator für die Qualität eines Systems (Webber, Moffat, & Zobel, 2008). Es ist vielmehr ein Artefakt der Testkollektion und vor allem auf einen hohen Anteil als relevant bewerteter Dokumente zurückzuführen. Dies deutet entweder auf inhärent einfache Tasks oder eher wohlwollende Bewertungen hin. Carterette & Soboroff (2010) zeigten, dass wohlwollende Bewertungen zu einer reduzierten Varianz zwischen den Systemen führen. Strengere Relevanzbewertungen könnten demzufolge zu stärker ausgeprägten Unterschieden zwischen den Rankings führen.

Bei dem hohen Performanceniveau stellt sich außerdem die Frage, in welcher Größenordnung die Performance gesteigert werden kann. Metrikov et al. (2012) zeigen, dass allein aufgrund der Varianz der Bewertungen zwischen verschiedenen Jurorinnen und Juroren die maximal erreichbare Performance bereits deutlich reduziert wird. Diese obere Schranke wird durch Unsicherheiten in den einzelnen Relevanzbewertungen sowie sogenannte Multi-Intent-Suchanfragen^[18] weiter abgesenkt.

Für Multi-Intent-Suchanfragen mag ein Ranking nach Popularität implizit die Generierung von diversifizierten Ergebnislisten, die relevante Dokumente für verschiedene Informationsbedürfnisse enthalten, begünstigen. Dies kann jedoch auf der Grundlage von Relevanzbewertungen für spezifische Informationsbedürfnisse, wie sie den Jurorinnen und Juroren in den Testläufen vorgelegt wurden, nicht detektiert werden.

Da die Ergebnislisten teilweise dieselben Dokumente wie die Top-10 Treffer der Textstatistik-Baseline enthalten, könnte der Effekt der Textstatistik-Komponente im priorisierten Aggregationsoperator zu stark ausfallen. Dies mag an einer zu geringen „Kompatibilität“ der Textstatistik-Score-Verteilung mit der Verteilung der anderen Faktoren liegen. Für die Kopplung dieser Verteilungen ist es daher möglicherweise hilfreich, auch die Textstatistik-Scores zu normalisieren (Nottelmann & Fuhr, 2003). Die Verwendung eines exponentiellen Gewichtungsschemas für die CSS-Transformation könnte den Effekt der anderen Faktoren ebenfalls verstärken (s. Abschnitt 3).

Letztlich hat auch die Qualität der Daten für die Faktoren einen Einfluss auf die Effektivität der Rankings. Die Daten stammen überwiegend aus externen Systemen, die in der Regel nur Teilkollektionen von EconBiz abdecken, wodurch zwangsweise Lücken und Fehler auftreten. Eine Verbesserung lässt sich durch den weiteren Ausbau offener Datenbanken durch Projekte wie die „Initiative for Open Citation (I4OC)“ oder „Linked Open Citation Database (LOC-DB)“ erwarten.

6 Fazit

Faktoren für das Relevanzranking in bibliothekarischen Informationssystemen können in Anlehnung an das Ranking in Websuchmaschinen theoretisch weit über textstatistische Verfahren hinausgehen. So können insbesondere Popularitätsindikatoren wie Zitations- und Nutzungshäufigkeiten in Verbindung mit Aktualität in das Ranking einfließen. Ausgewählte Rankingfaktoren wurden in eine EconBiz-basierte Testumgebung implementiert und mithilfe des Relevance Assessment Tools und Relevanzbewertungen durch menschliche Jurorinnen und Juroren evaluiert. Insgesamt konnte für keines der getesteten Rankings eine einheitliche Verbesserung gegenüber den Baseline-Rankings gemessen werden. Das bedeutet, gegenüber den klassischen textstatistischen Verfahren wurde kein „erfolgreicheres“ Rankingmodell gefunden, das für alle Suchanfragen bzw. Informationsbedürfnisse die relevantesten Ergebnisse auf den oberen Trefferpositionen anzeigen kann. Insbesondere die hohe Varianz über die Suchaufgaben deutet darauf hin, dass eine Adaptierung des Rankings auf individuelle Nutzer bzw. Nutzungskontexte, notwendig sein könnte, um erfolgreichere Rankingmodelle zu erstellen und eine höhere Performance zu erzielen.

Obwohl sich die rein textstatistischen Verfahren als kompetitiv erwiesen haben, ist eine Offenlegung der Rankingverfahren weiterhin wünschenswert. Insbesondere im Kontext wissenschaftlicher Informationssysteme besteht ein explizites Interesse an der Transparenz und „Wissenschaftlichkeit“ der Rankingmechanismen sowie an Alternativen zu denen kommerzieller Anbieter. Vor diesem Hintergrund regen wir an, dass interessierte Einrichtungen mit ihrem eigenen Datenbestand und anpassbaren Relevanzfaktoren Tests durchführen sowie die Bearbeitung weiterer Forschungsfragen verfolgen. Ein im Rahmen des LibRank-Projektes entwickelter Demonstrator^[19] wurde bereitgestellt, um die Auswirkungen von beliebigen Kombinationen der Faktoren interaktiv evaluieren zu können. Die Testkollektion^[20] (inkl. 690 realer Suchanfragen und 35.158 Relevanzbewertungen) steht zudem im GESIS-Datorium für die Nachnutzung zur Verfügung.

Förderhinweis

Die hier vorgestellten Erkenntnisse sind das Ergebnis des Forschungsprojektes LibRank: Neue Formen der Relevanz-Sortierung in bibliothekarischen Informationssystemen, das von März 2014 bis Februar 2016 von der Deutschen Forschungsgemeinschaft (Projektnummer 246011126) gefördert wurde.