Zusammenfassung
In diesem Beitrag wird ein Nutzermodell für Relevanzbewertungen in akademischen Informationssystemen unter Berücksichtigung von Popularitätsdaten vorgestellt. Das Modell stellt erstmals eine systematische Darstellung der Einflussgrößen von Relevanzbewertungen vor und nimmt eine explizite Unterscheidung zwischen Relevanzmerkmalen, Relevanzkriterien und Relevanzfaktoren vor. Der Fokus liegt auf Suchergebnissen, die neben den üblichen Elementen wie Titel und Beschreibung auch Popularitätsdaten enthalten, wie zum Beispiel Zitations- oder Downloadzahlen zu einem Werk.
Abstract
This paper presents a preliminary user model for relevance assessments in academic information systems taking into account popularity data. The model aims at a systematic representation of relevance clues, relevance criteria and relevance factors as influencing variables of relevance assessments. The focus is on search results that contain not only the usual elements such as title and description but also popularity data such as a work’s citation or download numbers.
Résumé
Cet article présente un modèle utilisateur pour l’évaluation de la pertinence dans les systèmes d’information académiques, en tenant compte des données relatives à la popularité. Le modèle vise une première présentation systématique des facteurs d’influence d’évaluations de pertinence et établit une distinction explicite entre les indicateur de pertinence, les critères de pertinence et les facteurs de pertinence. L’accent est mis sur les résultats de recherche, qui, à côté des éléments habituels tels que le titre et la description, contiennent également des données sur la popularité, telles que les citations ou les nombres de téléchargements d’une œuvre.
1 Einleitung
Im Rahmen des ebenfalls in diesem Heft vorgestellten Forschungsprojekts LibRank wurden Faktoren für das Relevanzranking in bibliothekarischen Informationssystemen mithilfe von Relevanzbewertungen menschlicher Juroren evaluiert.[1] Als potentiell wichtiger Rankingfaktor galt es Popularitätsdaten, wie die Anzahl der Klicks auf ein Suchergebnis oder die Anzahl der Downloads eines Volltextdokuments, auf ihre tatsächliche Bedeutung für das Ranking zu überprüfen. Die Auswertung der Evaluierungen im LibRank-Projekt zeigte eine große Varianz bei der Bewertung der Suchergebnisse durch die Jurorinnen und Juroren. Diese Beobachtung zog die grundsätzliche Frage nach sich, anhand welcher Kriterien Suchergebnisse bewertet werden. Hier setzt das Forschungsprojekt Relevance Clues an. Ziel ist es, die Kriterien zu untersuchen, die Informationssuchende in akademischen Informationssystemen[2] den Bewertungen von Suchergebnissen zugrunde legen.
Wichtige empirische Studien zu Relevanzkriterien wurden in den 1990er Jahren durchgeführt (C. L. Barry, 1994; Bateman, 1998; Park, 1993; Schamber, 1991; Wang & Soergel, 1998). Die Ergebnisse bilden bis heute das Fundament unseres Verständnisses der Kriterien bei der Relevanzbewertung bzw. der Auswahl von Suchergebnissen. Jedoch hat sich vor allem die Darstellung von Suchergebnissen und Suchergebnisseiten seit den 1990er Jahren stark verändert. So werden in Suchergebnispräsentationen wissenschaftlicher Informationssysteme heutzutage neben den traditionellen Metadaten zusätzliche Informationen über ein Werk aufgeführt. Wissenschaftliche Suchmaschinen wie Google Scholar haben die Anzahl der Zitierungen, Online-Datenbanken wie die ACM Digital Library zudem die Anzahl der Downloads, in die Suchergebnisdarstellung integriert (s. Abb. 1). Die Suchergebnisse als Untersuchungsgegenstand der Studien aus den 1990er Jahren zu Relevanzkriterien enthielten keine Daten dieser Art. Auch aus diesem Grund lassen sich die Erkenntnisse dieser Studien nicht vollständig auf das Bewertungsverhalten in heutigen Informationssystemen übertragen. Bisher fehlt die empirische Überprüfung, wie Popularitätsdaten tatsächlich von informationssuchenden Personen während der Interaktion mit dem Informationssystem genutzt werden.
Das Forschungsprojekt Relevance Clues möchte diese Lücke schließen. In diesem Rahmen wird ein Nutzermodell zur Relevanzbewertung von Suchergebnissen in akademischen Informationssystemen unter Berücksichtigung von Popularitätsdaten entwickelt. Das Modell trägt einerseits zu einem besseren Verständnis der unterschiedlichen Akteure und Aspekte der Relevanzbewertung bei; andererseits können die Ergebnisse auf der Basis experimentell erhobener empirischer Daten zur Relevanzbewertung mithilfe des Modells besser eingeordnet und bewertet werden.
Dieser Beitrag stellt das vorläufige Nutzermodell vor, das zwischen Relevanzmerkmalen, Relevanzkriterien und Relevanzfaktoren explizit unterscheidet und somit erstmalig eine systematische Darstellung der Einflussgrößen auf den Prozess der Relevanzbewertung von Suchergebnissen anbietet.
Der Beitrag gliedert sich wie folgt: Zunächst gibt Abschnitt 2 einen kurzen Überblick über Relevanz als Kernkonzept der Informationswissenschaft und erläutert die Definition von Relevanz im Rahmen des vorliegenden Beitrags. Anschließend wird in Abschnitt 3 auf die Unterscheidung von Relevanzbewertungen hinsichtlich der Informationsobjektpräsentation hingewiesen. Abschnitt 4 beleuchtet das Nutzermodell und dessen drei Hauptbestandteile Relevanzmerkmale, Relevanzkriterien und Relevanzfaktoren. Abschließend werden in Abschnitt 5 die bisherigen Erkenntnisse zusammengefasst.
Screenshot eines Suchergebnisses in Google Scholar (oben) und in der ACM Digital Library (unten) unter Einbindung von Popularitätsdaten (blauer Rahmen).
2 Zum Relevanzkonzept in der Informationswissenschaft
Relevanz als informationswissenschaftliches Kernkonzept wird seit Jahrzehnten erforscht (Mizzaro, 1997; Saracevic, 2016). Generell lässt sich Relevanz definieren als Beziehung zwischen zwei Entitäten (Mizzaro, 1997). Eine Entität befindet sich auf der Seite der informationssuchenden Person und ihrem Informationsbedürfnis, -problem bzw. ihrer Suchanfrage; die andere Entität lässt sich der Seite des Informationssystems und seiner produzierten Ergebnisse zuordnen, d. h. das Suchergebnis als Surrogat des Dokuments hin zu der/den tatsächlichen Information(en) im Dokument (s. Abb. 2). Nach Mizzaro bestehen immer mehrere Relevanzbeziehungen und es gilt, die Beziehung zwischen den Entitäten explizit zu benennen, um Missverständnissen vorzubeugen.
Relevanz gilt als dynamisches, multidimensionales Konzept mit unterschiedlichen Erscheinungsformen (Typen). Die verschiedenen Formen und damit einhergehende Begriffe verdeutlichen die Vielfältigkeit, mit der Relevanz informationswissenschaftlich zu durchdringen versucht wird. Neben der systembasierten (auch objektiven) Relevanz werden thematische Relevanz, kognitive bzw. psychologische Relevanz, situative Relevanz sowie emotionale Relevanz unterschieden und unter dem Begriff nutzerbasierte Relevanz zusammengefasst. Traditionell wird also zwischen der systembasierten und der nutzerbasierten Relevanz unterschieden (Belkin, 2015; Borlund, 2003; Cosijn, 2010; Cosijn & Ingwersen, 2000; Ingwersen & Järvelin, 2005; Saracevic, 1997, 2007, 2016). Obwohl systembasierte Relevanz in aller Regel auf textstatistischen Verfahren beruht, werden heutzutage Nutzerinformationen in die Erstellung der Suchergebnissets für das Relevanzranking miteinbezogen. Die vermeintlich objektive Relevanz geht daher über einen reinen Abgleich der Suchbegriffe mit dem Index des Systems (text matching) hinaus. Thematische Relevanz (topicality) wird in der Literatur oft mit objektiver Relevanz gleichgesetzt. Jedoch ist die Bewertung von thematischer Relevanz immer verbunden mit der Kenntnis der das Thema repräsentierenden Begriffe und der dahinterliegenden Konzepte (Hjørland & Christensen, 2002); sie erfordert deshalb einen komplexen kognitiven Prozess (Huang & Soergel, 2013) und gehört daher zur nutzerbasierten Relevanz.
Relevanzbeziehungen zwischen Entitäten nach Mizzaro (eigene, vereinfachte Darstellung).
Die Berücksichtigung kognitiver Prozesse bei der interaktiven Informationssuche findet sich im Konzept der psychologischen Relevanz (Harter, 1992) wieder und geht einher mit dem Cognitive Viewpoint sowie Belkins Konzept des Anomalous State of Knowledge (ASK) (Belkin, 1980). Die kognitiven Strukturen der informationssuchenden Person verändern sich während der Interaktion mit dem Informationssystem, d. h. der individuelle Wissensstand ist während des Suchprozesses dynamisch. Er ist abhängig von der eigenen kognitiven Wahrnehmung im Zusammenhang mit der Interpretation des Informationsbedürfnisses im jeweiligen Kontext. Psychologische Relevanz beschreibt demnach die dynamischen Eigenschaften von situativer Relevanz (Borlund, 2003). Bei der affektiven oder emotionalen Relevanz ist dies zwar auch der Fall, jedoch treten hier die Emotionen der Person im Suchprozess in den Vordergrund (Saracevic, 2016, S. 22).
Das in Abschnitt 4 vorgestellte Modell betrachtet Relevanz eindeutig aus der nutzerbasierten Perspektive, wobei dies bereits durch die Fragestellung bezüglich subjektiver Relevanzkriterien vorgegeben ist. Die dem Modell zugrundeliegende Definition von Relevanz vereint situative und psychologische Aspekte, denn situative Relevanz kennzeichnet Relevanzbeziehungen in dem Kontext, in dem sich die informationssuchende Person zum Zeitpunkt ihres Informationsbedürfnisses und der Eingabe ihrer formulierten Suchanfrage befindet. Diese Form der Relevanz kann auch als aufgaben- oder zielorientierte Relevanz gesehen werden (Borlund, 2003), deren Definition Hjørland & Christensen (2002) bieten: „Something (A) is relevant to a task (T) if it increases the likelihood of accomplishing the goal (G), which is implied by T“ (S. 964). In diesem Sinne ist die Relevanzbewertung immer die subjektive Bewertung der Relevanzbeziehung durch den Menschen im Verhältnis zu seinem Informationsbedürfnis, das sich aus einem Problem bzw. einer Aufgabe heraus ergibt (Cosijn, 2010).
3 Relevanzbewertungen von Surrogaten und Volltexten
Auf dem Gebiet der Entscheidungspsychologie definierte Hogarth (1987) zwei Arten von Bewertungen: Predictive judgements und evaluative judgements. Rieh (2002) überträgt dies auf den Bewertungsprozess bei der Websuche: Als predictive judgement bezeichnet sie die Bewertung der Trefferbeschreibung in der Suchergebnisliste, d. h. die Surrogatbewertung; davon unterscheidet sie das evaluative judgement, das auf der Bewertung des Dokumenteninhalts (Webseite) basiert und auch als Volltextbewertung bezeichnet werden kann. Die Einteilung von Relevanzbewertungen nach der Art der Informationsobjektsrepräsentation, also vor und nach dem Zugang zum Volltext, ist wichtig für das Verständnis der den Bewertungen zugrundeliegenden Relevanzkriterien sowie der betreffenden Relevanzbeziehung (im vorliegenden Beitrag die Beziehung zwischen Informationsproblem bzw. Informationsbedürfnis und Surrogat). Nicht alle Studien zu Relevanzkriterien unterscheiden explizit zwischen Relevanzbewertungen auf Basis der Suchergebnisse in Form von Surrogaten und auf der Basis von Volltextdokumenten. Die von Barry & Schamber (1998) identifizierten zehn allgemeinen Kriterien sind nicht direkt auf Surrogatbewertungen anwendbar, da ihren Untersuchungen sowohl Suchergebnisse als auch Inhalte (Webseiten) von Studienteilnehmenden bewertet wurden.
Eine Unterteilung von Relevanzkriterien in Bewertungen vor und nach dem Volltextzugang findet sich hingegen bei Vakkari & Hakala (2000), Wang & Soergel (1998) und Wang & White (1999). Dabei erfolgt die Volltextbewertung nicht unmittelbar nach dem Zugriff auf den Volltext, sondern wird in einer späteren Phase des gesamten Informationssuchprozesses bzw. Forschungsprozesses vorgenommen. Die Ergebnisse früherer Studien zu Relevanzkriterien mit Surrogatbewertungen (z. B. Barry, 1998; Tang & Solomon, 2001; Wang & Soergel, 1998) deuten darauf hin, dass Titel und Abstracts die meisten Relevanzmerkmale liefern (Saracevic, 2016, S. 58); sie stellen für die Relevanzbewertung die wichtigsten Elemente dar und weisen auf thematische Relevanz hin. Diese Studien untersuchten jedoch Relevanzkriterien und Merkmale, basierend auf Suchergebnissen, die zu dem damaligen Zeitpunkt keine Popularitätsdaten enthielten.
Studien zu Relevanzkriterien über einen längeren Zeitraum fasst Saracevic (2016) unter dem Stichwort relevance dynamics zusammen. Den Ergebnissen zufolge sind die einzelnen Kriterien innerhalb des Informationssuchprozesses mehr oder weniger die gleichen; diese werden jedoch von der suchenden Person im Verlauf des Prozesses unterschiedlich gewichtet (Saracevic, 2016, S. 59).
Für den gesamten Prozess der Relevanzbewertung spielen neben den eigentlichen Relevanzkriterien viele weitere Aspekte eine Rolle. Der Forschungsüberblick hat gezeigt, dass es keine einheitliche Terminologie für diese unterschiedlichen Aspekte gibt. Die drei Begriffe Kriterien (criteria), Faktoren (factors) und Merkmale (clues oder auch cues) werden immer wieder als Einflussgrößen genannt. Oft fehlt jedoch eine Diskussion über die Abgrenzung der jeweiligen Konzepte (s. z. B. Schamber, 1994), die eine eindeutige Definition eines Kriteriums, Faktors und Merkmals erlaubt. So lassen sich häufig Überschneidungen hinsichtlich Relevanzkriterien und Relevanzfaktoren identifizieren (Aktualität ist ein bekanntes Beispiel) und zugleich eine direkte Beziehung zwischen den Elementen eines Surrogats und Kriterien ableiten. Ein möglicher Grund für das bisherige Fehlen einer klaren Definition könnten die beiden unterschiedlichen Perspektiven (nutzerbasiert und systembasiert) auf das Relevanzkonzept sein.
Im nachfolgenden Abschnitt wird ein Nutzermodell zur Relevanzbewertung von Suchergebnissen in akademischen Informationssystemen vorgestellt. Das Modell bietet erstmalig eine strukturierte, ganzheitliche Sicht auf Merkmale, Kriterien und Faktoren im Prozess der Relevanzbewertung von Surrogaten. Gleichzeitig ist es ein Vorschlag, wie man zu einer klareren definitorischen Abgrenzung der bisher nicht trennscharf unterschiedenen Begriffe Merkmal, Kriterium und Faktor gelangen könnte.
4 Ein Nutzermodell zur Relevanzbewertung von Surrogaten in akademischen Informationssystemen
Zwei einflussreiche Modelle, die den Relevanzbewertungsprozess aus der nutzerbasierten Perspektive visualisieren und gleichzeitig Kriterien und Faktoren berücksichtigen, sind (a) das Dokumentenauswahlmodell für akademische Nutzer in der Agrarökonomie (Wang & Soergel, 1998) und (b) das Modell der Beurteilung von Informationsqualität und kognitiver Autorität (Rieh, 2002). Beide Modelle wurden auf der Grundlage empirischer Erkenntnisse entwickelt. Wang & Soergel (1998) untersuchten die kognitiven Prozesse und Dokumentelemente, also potenzielle Relevanzmerkmale in einem Suchergebnis, die Informationssuchende in ihrer Entscheidungsfindung betreffen. Riehs Modell hingegen konzentriert sich auf Informationsqualität und kognitive Autorität als die beiden kritischen Größen, die das Suchverhalten im Web maßgeblich beeinflussen. Auch wenn in den Studien zusätzliche Daten wie beispielsweise Popularitätsdaten kein Bestandteil der zu beurteilenden Suchergebnisse waren, sind diese Modelle eine wesentliche Inspirationsquelle für ein Nutzermodell zur Relevanzbewertung von Surrogaten.
Das Modell (s. Abb. 3) unterscheidet systematisch zwischen (1) Relevanzmerkmalen, (2) Relevanzkriterien und (3) Relevanzfaktoren als die Bewertung beeinflussende Elemente: Das von dem Informationssystem erzeugte Ergebnis zu einer Suchanfrage innerhalb einer Suchergebnisseite (SERP) ist das Surrogat eines Dokumentes (im Webkontext auch Snippet). Die Elemente eines Surrogats werden visuell wahrgenommen und kognitiv verarbeitet – sie dienen als Merkmale für Relevanz. Anhand dieser Merkmale werden Relevanzkriterien gebildet, nach denen Menschen die Relevanz eines Suchergebnisses gemäß ihrem Informationsbedürfnis beurteilen. Relevanzmerkmale können als operationalisierte Relevanzkriterien angesehen werden, zum Beispiel beruht das Kriterium Aktualität auf dem Element Publikationsdatum. Dabei gilt thematische Relevanz als das wichtigste Kriterium, das zugleich die Basis für die Relevanzbewertung bildet. Die menschliche Wahrnehmung und Verarbeitung der Relevanzmerkmale und die Bildung von Relevanzkriterien und deren Gewichtung (Priorisierung) im Prozess der Relevanzbewertung werden durch unterschiedliche Faktoren beeinflusst.
In den folgenden Abschnitten werden die drei Bausteine Relevanzmerkmale, Relevanzkriterien und Relevanzfaktoren, die in ihrem Zusammenspiel das Modell bilden, kurz erläutert.
Vorläufiges Nutzermodell über die Relevanzbewertung von Suchergebnissen in akademischen Informationssystemen (eigene Darstellung).
4.1 Relevanzmerkmale
Das Nutzermodell (s. Abb. 3) teilt Relevanzmerkmale in die beiden Kategorien Stetige und Dynamische Merkmale. Stetige Merkmale sind die Elemente des Surrogats, die unveränderlich sind, also unabhängig von der Suchanfrage und dem System. Zu ihnen zählen zum einen die formalen Metadaten (Titel, Autor, Publikationsdatum, die Quelle im Sinne von Zeitschrift oder Serie bzw. Konferenzbericht, der Verlag bzw. Verleger), zum anderen die (dem jeweiligen Dokument entnommenen) inhaltlichen Metadaten (Abstract, Schlagworte bzw. Deskriptoren). Dynamische Metadaten sind die Elemente im Surrogat, die sich verändern können. Zu unterscheiden ist zwischen nutzerabhängigen und nutzerunabhängigen Merkmalen. Der Zugriff auf das vollständige Dokument ist abhängig vom Standort der Person, da der physische oder virtuelle Standort bzw. die Zugehörigkeit zu einer Institution und damit die Lizenzierungen bzw. der Bestand entscheiden, ob der Link zum Volltext vorhanden ist. Zudem ist die Hervorhebung der mit der Suchanfrage übereinstimmenden Begriffe im Surrogat abhängig von der suchenden Person, da zu einer Anfrage das Snippet entsprechend generiert wird. Demgegenüber stehen die im Modell als nutzerunabhängig bezeichneten Merkmale, deren Werte sich im Laufe der Zeit ändern können: die Zitationszahl des Werks oder des Autors, der h-Index (Impact) des Autors, die Anzahl der Downloads von elektronischen Dokumenten bzw. die Anzahl der Ausleihen gedruckter Werke im Kontext wissenschaftlicher Bibliotheken. Die Anzahl der Merkmale variiert je nach Art des Suchsystems und des Dokuments. Es ist allerdings davon auszugehen, dass Titel, Autor(en), Publikationsdatum und hervorgehobene Suchbegriffe bzw. das Snippet das Minimalset in der Ergebnispräsentation darstellen. Dieses Minimalset verlangt eine erste Bewertung, um gegebenenfalls weitere Merkmale, z. B. das Abstract, in einer umfangreicheren Darstellung des Surrogats (Volltrefferanzeige) zu integrieren. Fällt die Bewertung eines Suchergebnisses nicht negativ aus, führt diese schließlich zum Volltext-Dokument.
4.2 Relevanzkriterien
Diverse Kriterien, die über die thematische Relevanz hinausgehen, beeinflussen Menschen generell bei der Relevanzbewertung, einschließlich Validität, Aktualität, Verfügbarkeit und Tiefe (z. B. Barry & Schamber, 1998; Tang & Solomon, 2001). Im Hinblick auf die Dynamik des Webs und sein exponentielles Wachstum sind Glaubwürdigkeit und Qualität wichtige Kriterien, um Informationen, die von Websuchmaschinen abgerufen werden, zu filtern und zu beurteilen (Rieh & Belkin, 1998). Insbesondere Glaubwürdigkeit kann unter dem Aspekt der kognitiven Autorität (Wilson, 1983) betrachtet werden. Eine Person ist nicht nur Experte oder Expertin, sondern eine kognitive Autorität, wenn ihre Aussagen von anderen als Wahrheit akzeptiert werden und sie die Gedanken und das Handeln anderer Menschen beeinflusst. Die Beurteilung der kognitiven Autorität ist sehr subjektiv und basiert auf dem gegenwärtigen Ruf und den Leistungen eines Menschen (Rieh, 2009). Im wissenschaftlichen Kontext können demnach Informationen über die Wirkung eines Autors Informationssuchende bei der Beurteilung der Autorität unterstützen.
Das hier vorgestellte Nutzermodell (s. Abb. 3) bezieht das Konzept der kognitiven Autorität mit ein: kognitive Autorität bildet im Zusammenspiel mit Popularität die vermutete Qualität als eines von vier Hauptkriterien für die Surrogatbewertung. Autorität und Popularität stellen zugleich Kriterien für Glaubwürdigkeit und Vertrauenswürdigkeit dar. Neben der Qualität sind thematische Relevanz, Aktualität und Verfügbarkeit weitere Hauptkriterien, wobei thematische Relevanz das Basiskriterium darstellt.
Das Konzept der Popularität beruht auf dem Prinzip der Weisheit der Vielen (Surowiecki, 2005) und umfasst im Modell die Relevanzkriterien Zitierhäufigkeit und Nutzungshäufigkeit. Elemente als Anhaltspunkte für die Zitierhäufigkeit sind die Anzahl der zitierenden Werke oder die Anzahl der Zitate des Autors. Die Nutzungshäufigkeit wird als Anzahl der Downloads operationalisiert. Darüber hinaus kann argumentiert werden, dass die Konzepte der kognitiven Autorität und Popularität miteinander verbunden sind, da beispielsweise die Informationen darüber, wie oft ein Autor zitiert wurde, mit beiden Konzepten im Zusammenhang stehen.
4.3 Relevanzfaktoren
Im Modell sind Relevanzfaktoren in drei Kategorien dargestellt: (a) systembasierte Faktoren beeinflussen die Darstellung der Suchergebnisse, (b) nutzerbasierte Faktoren verändern sich in der Regel nicht kurzfristig, (c) situationsbasierte Faktoren sind abhängig von der jeweiligen Situation der Person. Sowohl nutzerbasierte als auch situationsbasierte Faktoren beziehen sich auf Informationssuchende, sie zählen zum Nutzerkontext und entsprechen der situativen und psychologischen Erscheinungsform von Relevanz. Eine ähnliche, weniger differenzierte Einteilung der Faktoren nimmt Saracevic (2016) vor, indem er die Faktoren gruppiert in diejenigen, die die Juroren und Jurorinnen aufweisen und solche, die sich auf Relevanzbewertungen beziehen. Die Faktoren letzterer Gruppe entsprechen den im Modell dargestellten system- bzw. situationsbasierten Faktoren.
Die systembasierten Faktoren wirken sich auf die Suchergebnispräsentation aus: Der Ranking-Algorithmus bestimmt die Treffersortierung; diverse Studien zeigen, dass Suchende die Ergebnisse der ersten Positionen bzw. der ersten Suchergebnisseite bevorzugen und dem Ranking von Websuchmaschinen weitgehend vertrauen (C. Barry & Lardner, 2011; Pan u. a., 2007; Schultheiß, Sünkler, & Lewandowski, 2018). Zudem ist die Reihenfolge der Treffer ein bedeutender Faktor, denn die Relevanzbewertung ist abhängig von den Dokumenten, die zuvor bereits gesehen und bewertet wurden, wie Studien zum Order Effect zeigen (s. z. B. Shokouhi, White, & Yilmaz, 2015; Xu & Wang, 2008). Die Ergebnispräsentation wirkt sich ebenfalls auf die Bewertung von Ergebnissen aus. So zeigte beispielsweise die Studie von Kammerer & Gerjets (2014), dass die Vertrauenswürdigkeit von Informationsquellen höher bewertet wird, wenn die Darstellung der Suchergebnisse nicht als Liste, sondern in einem Raster-Interface mit 3x3 Ergebnissen erfolgt.
Nutzerbasierte Faktoren sind der suchenden Person eigen, d. h. sie verändern sich nicht kurzfristig und sind unabhängig von der jeweiligen Suchsituation: Der soziokulturelle Kontext eines Menschen prägt zum Beispiel seine Einstellungen gegenüber Autoritäten (Hofstede, Hofstede, & Minkov, 2017), was insbesondere für das Relevanzkriterium Autor-Impact weitere Forschungsfragen aufwirft. Auch die Persönlichkeit hat Einfluss auf das Informationsverhalten (Heinström, 2003), das Suchverhalten (Heinström, 2005) und die Anwendung von Relevanzkriterien (Sims, 2002). Dass der Wissensstand eines Menschen einen besonderen Stellenwert bei der Informationssuche einnimmt, wurde bereits im Zusammenhang mit kognitiver Relevanz und dem ASK-Konzept deutlich. Aber nicht nur Wissen über Suche allgemein, auch fachspezifisches Wissen und die Vorgaben hinsichtlich des Publikations- und Zitierverhaltens innerhalb der eigenen wissenschaftlichen Community[3] sind als Faktoren bei der Relevanzbewertung zu nennen.
Situationsbasierte Faktoren sind von der jeweiligen Suchsituation abhängig. So können hier Zeitdruck bzw. eine Zeitvorgabe und der Standort der Person beeinflussende Faktoren sein. Wie oben erwähnt, erfolgt die Relevanzbewertung immer in Hinblick auf das Informationsbedürfnis. Daher sind Komplexität und Schwierigkeitsgrad der Suchaufgabe von besonderer Bedeutung (s. z. B. Byström & Hansen, 2005; Hjørland & Christensen, 2002). Bei der Beantwortung der Suchaufgabe und der Befriedigung des Informationsbedürfnisses bestehen zudem gewisse Erwartungen über die (relevanten) Ergebnisse in Form von mentalen Modellen und Heuristiken.
Für eine definitorische Abgrenzung der Begriffe lässt das Modell folgende Schlussfolgerungen zu: Die Elemente eines Surrogats sind die potenziellen Relevanzmerkmale. Sie sind die Ausgangsbasis im Prozess der Relevanzbewertung von Suchergebnissen. Diese Merkmale stellen operationalisierte Relevanzkriterien dar, die Informationssuchende bei der Bewertung von Suchergebnissen bewusst oder unbewusst bilden, gewichten und ihrer Relevanzentscheidung zugrunde legen. Als Relevanzfaktoren werden die Einflüsse bezeichnet, die einerseits auf die Art der Suchergebnispräsentation einwirken (systembasierte Faktoren) und andererseits die Wahrnehmung und kognitive Verarbeitung der Relevanzmerkmale beeinflussen (systembasierte, nutzerbasierte und situationsbasierte Faktoren). Sowohl Merkmale, als auch Kriterien und Faktoren sind Aspekte, die sich auf das Ergebnis der Bewertung, d. h. wie relevant die Person das Suchergebnis erachtet, auswirken.
5 Zusammenfassung und Ausblick
Relevanz ist ein komplexes Phänomen, zu dem es keine einheitliche, standardisierte Definition gibt. Dem in diesem Beitrag vorgestellten Modell zur Relevanzbewertung liegt eine aufgaben- bzw. zielorientierte Definition von Relevanz zugrunde, die die Relevanzbeziehung zwischen dem persönlichen Informationsbedürfnis (Problem) und einem Suchergebnis (Dokumentsurrogat) für die Lösung des Informationsproblems kennzeichnet. Die Relevanzbewertung von Surrogaten unterliegt diversen Einflussgrößen, die als Relevanzmerkmale, Relevanzkriterien und Relevanzfaktoren unterschieden werden können. Das Nutzermodell zur Relevanzbewertung von Suchergebnissen in akademischen Informationssystemen stellt erstmalig systematisch Merkmale, Kriterien und Faktoren als Aspekte dar, die den Prozess der Relevanzbewertung beeinflussen. Zudem berücksichtigt das Modell zusätzliche Daten wie Zitations- und Downloadzahlen (Popularitätsdaten), die akademische Informationssysteme heutzutage in die Präsentation der Suchergebnisse integrieren. Bisherige empirische Studien zu Relevanzkriterien im akademischen Kontext beruhen auf der Bewertung von Suchergebnissen, die zum damaligen Zeitpunkt keine zusätzlichen Popularitätsdaten enthielten. Das Projekt Relevance Clues möchte diese Forschungslücke schließen und in einer experimentellen Nutzerstudie konkret den Einfluss von Popularitätsdaten (die Anzahl der Zitationen jeweils auf Werk- und Autorenebene, der Autoren-Impact sowie die Anzahl der Downloads) auf die Relevanzbewertung von Suchergebnissen im akademischen Kontext untersuchen.
Förderhinweis
Das Forschungsprojekt Relevance Clues wird im Rahmen einer dreijährigen Promotionsförderung durch die Hochschule für Angewandte Wissenschaften Hamburg (HAW Hamburg) in Kooperation mit der Universität Hildesheim realisiert.
About the author
Christiane Behnert ist seit März 2014 Wissenschaftliche Mitarbeiterin am Department Information der Hochschule für Angewandte Wissenschaften Hamburg (HAW Hamburg) und beschäftigt sich seitdem mit dem Thema Relevanz. Seit August 2016 arbeitet sie im Rahmen einer dreijährigen Promotionsförderung in Kooperation mit der Universität Hildesheim an ihrer Dissertation zu subjektiven Kriterien bei der Relevanzbewertung in akademischen Informationssystemen. Christiane Behnert absolvierte an der Fachhochschule Potsdam ein Studium als Diplom-Bibliothekarin und kehrte nach zweijähriger Tätigkeit an der Universitätsbibliothek Greifswald im Bereich Digitalisierung für ein Masterstudium an die FH Potsdam zurück, das sie 2013 erfolgreich beendete.
Literatur
Barry, C. L. (1994). User-defined relevance criteria: An exploratory study. Journal of the American Society for Information Science, 45(3), 149–159. https://doi.org/10.1002/(SICI)1097-4571(199404)45:3<149::AID-ASI5>3.0.CO;2-J.10.1002/(SICI)1097-4571(199404)45:3<149::AID-ASI5>3.0.CO;2-JSearch in Google Scholar
Barry, C. L. (1998). Document representations and clues to document relevance. Journal of the American Society for Information Science, 49(14), 1293–1303. https://doi.org/10.1002/(SICI)1097-4571(1998)49:14<1293::AID-ASI7>3.0.CO;2-E.10.1002/(SICI)1097-4571(1998)49:14<1293::AID-ASI7>3.0.CO;2-ESearch in Google Scholar
Barry, C. L., & Schamber, L. (1998). Users’ criteria for relevance evaluation: A cross-situational comparison. Information Processing & Management, 34(2–3), 219–236. https://doi.org/10.1016/S0306-4573(97)00078-2.10.1016/S0306-4573(97)00078-2Search in Google Scholar
Barry, C., & Lardner, M. (2011). A study of first click behaviour and user interaction on the Google SERP. In J. Pokorny, V. Repa, K. Richta, W. Wojtkowski, H. Linger, C. Barry, & M. Lang (Hrsg.), Information Systems Development (S. 89–99). New York, NY: Springer New York. https://doi.org/10.1007/978-1-4419-9790-6_7.10.1007/978-1-4419-9790-6Search in Google Scholar
Bateman, J. (1998). Changes in Relevance Criteria: A Longitudinal Study. In R. Larson, K. Petersen, & C. M. Preston (Hrsg.), Proceedings of the 61st ASIS Annual Meeting (S. 23–32). Information Today.Search in Google Scholar
Belkin, N. J. (1980). Anomalous states of knowledge as a basis for information retrieval. Canadian Journal of Information Science, 5, 133–143.Search in Google Scholar
Belkin, N. J. (2015). People, interacting with information. ACM SIGIR Forum, 49(2), 13–27. https://doi.org/10.1145/2888422.2888424.10.1145/2888422.2888424Search in Google Scholar
Borlund, P. (2003). The concept of relevance in IR. Journal of the American Society for Information Science and Technology, 54(10), 913–925. https://doi.org/10.1002/asi.10286.10.1002/asi.10286Search in Google Scholar
Byström, K., & Hansen, P. (2005). Conceptual framework for tasks in information studies. Journal of the American Society for Information Science and Technology, 56(10), 1050–1061. https://doi.org/10.1002/asi.20197.10.1002/asi.20197Search in Google Scholar
Cosijn, E. (2010). Relevance Judgments and Measurements. In Encyclopedia of Library and Information Sciences, Third Edition (S. 4512–4519). CRC Press.Search in Google Scholar
Cosijn, E., & Ingwersen, P. (2000). Dimensions of relevance. Information Processing & Management, 36(4), 533–550. https://doi.org/10.1016/S0306-4573(99)00072-2.10.1016/S0306-4573(99)00072-2Search in Google Scholar
Harter, S. P. (1992). Psychological relevance and information science. Journal of the American Society for Information Science, 43(9), 602–615. https://doi.org/10.1002/(SICI)1097-4571(199210)43:9<602::AID-ASI3>3.0.CO;2-Q.10.1002/(SICI)1097-4571(199210)43:9<602::AID-ASI3>3.0.CO;2-QSearch in Google Scholar
Heinström, J. (2003). Five personality dimensions and their influence on information behaviour. Information Research-an International Electronic Journal, 9(1), 165. http://www.informationr.net/ir/9-1/paper165.html [1.12.2018].Search in Google Scholar
Heinström, J. (2005). Fast surfing, broad scanning and deep diving: The influence of personality and study approach on students’ information-seeking behavior. Journal of Documentation, 61(2), 228–247. https://doi.org/10.1108/00220410510585205.10.1108/00220410510585205Search in Google Scholar
Hjørland, B., & Christensen, F. S. (2002). Work tasks and socio-cognitive relevance: A specific example. Journal of the American Society for Information Science and Technology, 53(11), 960–965. https://doi.org/10.1002/asi.10132.10.1002/asi.10132Search in Google Scholar
Hofstede, G., Hofstede, G. J., & Minkov, M. (2017). Lokales Denken, globales Handeln: Interkulturelle Zusammenarbeit und globales Management (6. Aufl.). München: dtv.Search in Google Scholar
Hogarth, R. M. (1987). Judgment and choice: The psychology of decision (2nd Ed.). Chichester [u. a.]: Wiley.Search in Google Scholar
Huang, X., & Soergel, D. (2013). Relevance: An improved framework for explicating the notion. Journal of the American Society for Information Science and Technology, 64(1), 18–35. https://doi.org/10.1002/asi.22811.10.1002/asi.22811Search in Google Scholar
Ingwersen, P., & Järvelin, K. (2005). The turn: Integration of information seeking and retrieval in context (Bd. 18). Berlin; Heidelberg: Springer. https://doi.org/10.1007/1-4020-3851-8.10.1007/1-4020-3851-8Search in Google Scholar
Kammerer, Y., & Gerjets, P. (2014). The role of search result position and source trustworthiness in the selection of web search results when using a list or a grid interface. International Journal of Human-Computer Interaction, 30(3), 177–191. https://doi.org/10.1080/10447318.2013.846790.10.1080/10447318.2013.846790Search in Google Scholar
Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information Science, 48(9), 810–832. https://doi.org/10.1002/(SICI)1097-4571(199709)48:9<810::AID-ASI6>3.0.CO;2-U.10.1002/(SICI)1097-4571(199709)48:9<810::AID-ASI6>3.0.CO;2-USearch in Google Scholar
Pan, B., Hembrooke, H., Joachims, T., Lorigo, L., Gay, G., & Granka, L. (2007). In Google we trust: Users’ decisions on rank, position, and relevance. Journal of Computer-Mediated Communication, 12(3), 801–823. https://doi.org/10.1111/j.1083-6101.2007.00351.x.10.1111/j.1083-6101.2007.00351.xSearch in Google Scholar
Park, T. K. (1993). The nature of relevance in Information Retrieval: An empirical study. The Library Quarterly, 63(3), 318–351.10.1086/602592Search in Google Scholar
Rieh, S. Y. (2002). Judgment of information quality and cognitive authority in the Web. Journal of the American Society for Information Science and Technology, 53(2), 145–161. https://doi.org/10.1002/asi.10017.10.1002/asi.10017Search in Google Scholar
Rieh, S. Y. (2009). Credibility and cognitive authority of information. In Encyclopedia of Library and Information Sciences (Third ed., S. 1337–1344). CRC Press. Search in Google Scholar
Rieh, S. Y., & Belkin, N. J. (1998). Understanding judgment of information quality and cognitive authority in the WWW. In Proceedings of the 61st ASIS Annual Meeting (S. 279–289).Search in Google Scholar
Saracevic, T. (1997). The stratified model of information retrieval interaction: Extension and applications. In Proceedings of the American Society for Information Science and Technology (Bd. 34, S. 313–327).Search in Google Scholar
Saracevic, T. (2007). Relevance: A review of the literature and a framework for thinking on the notion in information science. Part III: Behavior and effects of relevance. Journal of the American Society for Information Science and Technology, 58(13), 2126–2144. https://doi.org/10.1002/asi.20681.10.1002/asi.20681Search in Google Scholar
Saracevic, T. (2016). The Notion of relevance in information science: Everybody knows what relevance is. But, what is it really? (G. Marchionini, Hrsg.), Synthesis Lectures on Information Concepts, Retrieval, and Services (Bd. 8). Morgan & Claypool. https://doi.org/10.2200/S00723ED1V01Y201607ICR050.10.2200/S00723ED1V01Y201607ICR050Search in Google Scholar
Schamber, L. (1991). User’s criteria for evaluation in a multimedia environment. In Proceedings of the 54th ASIS Annual Meeting (S. 126–133).Search in Google Scholar
Schamber, L. (1994). Relevance and information behavior. Annual Review of Information Science and Technology (ARIST), 29, 3–48.Search in Google Scholar
Schultheiß, S., Sünkler, S., & Lewandowski, D. (2018). We still trust in Google, but less than 10 years ago: An eye-tracking study. Information Research, 23(3), paper 799. Abgerufen von http://www.informationr.net/ir/23-3/paper799.html.Search in Google Scholar
Shokouhi, M., White, R., & Yilmaz, E. (2015). Anchoring and Adjustment in Relevance Estimation. In Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval – SIGIR ’15 (S. 963–966). New York, New York, USA: ACM Press. https://doi.org/10.1145/2766462.2767841.10.1145/2766462.2767841Search in Google Scholar
Sims, D. B. (2002). The effect of personality type on the use of relevance criteria for purposes of selecting information sources. University of North Texas. http://digital.library.unt.edu/ark:/67531/metadc3313/m2/1/high_res_d/dissertation.pdf [1.12.2018].Search in Google Scholar
Surowiecki, J. (2005). Die Weisheit der Vielen: warum Gruppen klüger sind als Einzelne und wie wir das kollektive Wissen für unser wirtschaftliches, soziales und politisches Handeln nützen können (1. Aufl.). München: Bertelsmann.Search in Google Scholar
Tang, R., & Solomon, P. (2001). Use of relevance criteria across stages of document evaluation: On the complementarity of experimental and naturalistic studies. Journal of the American Society for Information Science and Technology, 52(8), 676–685. https://doi.org/10.1002/asi.1116.10.1002/asi.1116Search in Google Scholar
Vakkari, P., & Hakala, N. (2000). Changes in relevance criteria and problem stages in task performance. Journal of Documentation, 56(5), 540–562. https://doi.org/10.1108/EUM0000000007127.10.1108/EUM0000000007127Search in Google Scholar
Wang, P., & Soergel, D. (1998). A cognitive model of document use during a research project. Study I. Document selection. Journal of the American Society for Information Science, 49(2), 115–133. https://doi.org/10.1002/(SICI)1097-4571(1998)49:2<115::AID-ASI3>3.0.CO;2-1.10.1002/(SICI)1097-4571(1998)49:2<115::AID-ASI3>3.0.CO;2-1Search in Google Scholar
Wang, P., & White, M. D. (1999). A cognitive model of document use during a research project. Study II. Decisions at the reading and citing stages. Journal of the American Society for Information Science, 50(2), 98–114. https://doi.org/10.1002/(SICI)1097-4571(1999)50:2<98::AID-ASI2>3.0.CO;2-L.10.1002/(SICI)1097-4571(1999)50:2<98::AID-ASI2>3.0.CO;2-LSearch in Google Scholar
Wilson, P. (1983). Second-hand knowledge: An inquiry into cognitive authority. Westport, Conn.; London, UK: Greenwood Press.Search in Google Scholar
Xu, Y., & Wang, D. (2008). Order effect in relevance judgment. Journal of the American Society for Information Science and Technology, 59(8), 1264–1275. https://doi.org/10.1002/asi.20826.10.1002/asi.20826Search in Google Scholar
© 2019 Walter de Gruyter GmbH, Berlin/Boston
