Skip to content
Publicly Available Published by De Gruyter Saur February 12, 2019

Anzeigenkennzeichnung auf Suchergebnisseiten

Empirische Ergebnisse und Implikationen für die Forschung

Advertisement identification on search engine result pages
Repérage des annonces sur les pages de résultats de recherche
Empirical results and implications for research
Résultats empiriques et implications pour la recherche
  • Dirk Lewandowski

    Dirk Lewandowski ist Professor für Information Research & Information Retrieval an der Hochschule für Angewandte Wissenschaften Hamburg. Seine Forschungsinteressen sind Web Information Retrieval, Qualitätsfaktoren von Suchmaschinen, das Rechercheverhalten der Suchmaschinen-Nutzer sowie die gesellschaftlichen Auswirkungen des Umgangs mit den Web-Suchmaschinen. Weitere Informationen unter www.searchstudies.org/dirk

    EMAIL logo
    , Sebastian Sünkler

    Sebastian Sünkler ist wissenschaftlicher Mitarbeiter und Promovierender an der Hochschule für Angewandte Wissenschaften Hamburg. Er ist Teil der Forschungsgruppe Search Studies und hat dort von Beginn an an der Entwicklung des Relevance Assessment mitgewirkt. In den letzten Jahren hat er in dem Projekt AAPVL gearbeitet, in dem eine Software zur automatisierten Kontrolle des Lebensmittelmarktes entwickelt wurde. Seine Forschungsinteressen sind die Evaluierung von Suchmaschinen und dialogbasierten intelligenten Assistenten. Weitere Informationen unter www.searchstudies.org/sebastian

    and Friederike Hanisch

    Friederike Hanisch hat Bibliotheks- und Informationsmanagement an der Hochschule für Angewandte Wissenschaften Hamburg studiert und arbeitet dort seit 2010 als wissenschaftliche Mitarbeiterin in den Bereichen Suchmaschinen, Usability und Accessibility. www.searchstudies.org/friederike

Zusammenfassung

In diesem Aufsatz stellen wir eine repräsentative Multimethodenstudie (bestehend aus Umfrage, aufgabenbasierter Nutzerstudie und OnlineExperiment) zum Wissen und Verhalten der deutschen Internetnutzer bezüglich der Anzeigen auf Google-Suchergebnisseiten vor. Die Ergebnisse zeigen, dass die überwiegende Mehrzahl der Nutzenden nicht hinreichend in der Lage ist, Werbung von organischen Ergebnissen zu unterscheiden. Die aufgabenbasierte Studie zeigt, dass lediglich 1,3 Prozent der Teilnehmenden alle Anzeigen und organischen Ergebnisse richtig markieren konnten. 9,6 Prozent haben ausschließlich korrekte Markierungen vorgenommen, dabei aber keine Vollständigkeit erreicht. Aus den Ergebnissen der Umfrage geht hervor, dass es viele Unklarheiten gibt über das Geschäftsmodell von Google und die Art und Weise, wie Suchmaschinenwerbung funktioniert. Die Ergebnisse des Online-Experiments zeigen, dass Nutzende, die die Unterscheidung zwischen Anzeigen und organischen Ergebnissen nicht verstehen, etwa doppelt so häufig auf Anzeigen klicken wie diejenigen, die diese Unterscheidung verstehen. Implikationen für die Forschung ergeben sich in den Bereichen Wiederholungsstudien bzw. Monitoring der Anzeigendarstellung, vertiefende Laborstudien, Modelle des Informationsverhaltens, Informationskompetenz und Entwicklung fairer Suchmaschinen.

Abstract

In this paper we present a representative multi-method study (consisting of survey, task-based user study, and online experiment) of the knowledge and behaviour of German Internet users regarding Google ads. The results presented show that the overwhelming majority of users are not well able to distinguish advertisements from organic results on Google’s search engine results pages. The task-based study showed that merely 1.3 percent of participants were able to mark all areas correctly. We also found that another 9.6 percent of participants had all their identifications correct but did not mark all results they were required to mark. From the survey, we found that there is a high degree of uncertainty about Google’s business model and the way search engine advertising works among users. Results from the online experiment show that users with little knowledge of the distinction between ads and organic results click on advertisements approximately twice as often than users with a correct understanding.Implications for research include incentive for replication studies and monitoring of advertisement presentation, in-depth laboratory studies, models of information behaviour, information literacy and the development of fair search engines.

Résumé

Dans cet article, nous présentons une étude représentative faisant appel à plusieurs méthodes (comprenant une enquête, une étude basée sur les tâches qu’exécutent les utilisateurs et une expérience en ligne) sur les connaissances et le comportement des utilisateurs Internet allemands en ce qui concerne les annonces sur les pages de résultats de recherche Google. Les résultats montrent que la grande majorité des utilisateurs sont incapables de distinguer la publicité des résultats organiques. L'étude basée sur les tâches montre que seulement 1,3% des participants ont été capables d’indiquer correctement toutes les annonces et tous les résultats organiques. 9,6 % n’ont fourni que des indications correctes, mais n'ont pas été complets. Il ressort des résultats de l'enquête qu'il existe une grande confusion quant au modèle économique de Google et quant à la manière dont fonctionne la publicité dans les moteurs de recherche. Les résultats de l'expérience en ligne montrent que les utilisateurs qui ne comprennent pas la distinction entre les annonces et les résultats organiques cliquent environ deux fois plus sur les annonces que les utilisateurs qui comprennent cette distinction. Les possibilités de recherche future se trouvent dans les domaines des études de reproductibilité ou du monitoring de l'affichage des annonces, dans les études approfondies en laboratoire, dans l’élaboration modèles de comportement en matière d'information, dans le champ de la maîtrise de l'information et celui du développement de moteurs de recherche dont l’équité serait garantie.

Einleitung

Ein Kartellverfahren der Europäischen Kommission hat sich mit der Darstellung der Suchergebnisse bei Google beschäftigt; es ging um die Bevorzugung des Google-eigenen Dienstes Google Shopping gegenüber konkurrierenden Vergleichsportalen. Am Ende wurde eine Kartellstrafe von 2,42 Milliarden Euro verhängt (European Commission, 2017). Wichtiger noch als die hohe Strafe ist allerdings die Auflage, dass Google eine faire Ergebnisdarstellung liefern muss. Eine solche würde unserer Ansicht neben den Shoppingergebnissen auch weitere Bereiche betreffen, nicht zuletzt die Werbung, die mittlerweile in verschiedener Form auf den Google-Suchergebnisseiten zu sehen ist (vgl. Lewandowski, 2016).

Suchmaschinenwerbung ist das zentrale Geschäftsmodell aller Web-Suchmaschinenanbieter. Beispielsweise erzielte Alphabet Inc. (Googles Muttergesellschaft) 2016 einen Gesamtumsatz von 90,27 Milliarden US-Dollar (Alphabet Inc., 2017), davon 88,9 Prozent durch den Verkauf von Anzeigen. Diese Einnahmen können weiter aufgeteilt werden in AdWords (seit 2018: Google Anzeigen), also Anzeigen, die als Antwort auf eine Suchanfrage auf Suchergebnisseiten angezeigt werden, und AdSense-Anzeigen, die auf Basis des Textes von Inhalteanbietern auf deren Webseiten generiert werden. Rund 80 Prozent der Werbeeinnahmen von Alphabet werden mit suchbasierten Anzeigen erzielt. Es ist daher offensichtlich, dass diese Form der Werbung das ökonomische Rückgrat von Google/Alphabet bildet. Das Unternehmen hat daher ein großes Interesse daran, dass Anzeigen angeklickt werden. So könnten Suchmaschinenanbieter versucht sein, die Grenze zwischen Werbung und organischen Ergebnissen zu verwischen, damit mehr Anzeigen angeklickt und damit die Einnahmen erhöht werden.

Abbildung 1 zeigt zwei Ergebnisse für dieselbe Suchanfrage und dieselbe Website, wobei eines eine Anzeige und eines ein organisches Ergebnis ist. Man sieht, dass die Ergebnisdarstellung sehr ähnlich ist und dass der Hauptunterschied in der Beschriftung mit dem Wort „Anzeige“ besteht.

Abbildung 1 Ergebnisbeschreibung ("Snippet") einer Anzeige vs. eines organischen Ergebnisses.
Abbildung 1

Ergebnisbeschreibung ("Snippet") einer Anzeige vs. eines organischen Ergebnisses.

Andere Suchmaschinenbetreiber (z. B. Microsoft, aber auch „alternative“ Suchmaschinen wie Duck Duck Go oder MetaGer) kennzeichnen Anzeigen auf ähnliche Weise wie Google. Aufgrund des überwältigenden Marktanteils von Google in Deutschland und den meisten europäischen Ländern von etwa 90 Prozent in der Desktop-Suche (Statcounter, 2018) betrachten wir im weiteren Verlauf allerdings nur diese Suchmaschine.

Der Erfolg der kontextbasierten Werbung in Suchmaschinen lässt sich durch fünf Faktoren erklären:

  1. Die Werbung wird dann angezeigt, wenn Suchende durch eine Suchanfrage ihr Interesse „offenbart“ haben.

  2. Durch die Abrechnung nach Klicks (anstatt nach Impressions) kann der Erfolg der Werbung durch den einzelnen Werbetreibenden exakt gemessen werden.

  3. Die Werbung stört kaum, weil sie textbasiert und im Gegensatz zur Bannerwerbung wenig aufdringlich ist.

  4. Durch die Versteigerung[1] entstehen transparente Klickpreise, die sich nach der tatsächlichen Konkurrenz zu einer Suchanfrage richten.

  5. Die Selbstbuchung erlaubt auch Kleinstunternehmen, eigenständig Werbung zu schalten, selbst wenn nur geringe Budgets vorhanden sind. (Lewandowski, 2018, S. 159 f.)

Kontextbezogene Werbung bietet somit Vorteile sowohl für Inserenten als auch Suchmaschinennutzende. Für letztere ist kontextbezogene Werbung im Vergleich zu anderen Werbeformen zumeist weniger störend – auch deshalb, weil sie nur bei vermutetem Interesse angezeigt wird. Weiterhin ist es aufgrund der Bindung an die Suchanfrage wahrscheinlicher, dass die Anzeige für Nutzende im aktuellen Kontext relevant ist. Der größte Vorteil für die Werbetreibenden liegt in der genauen Kontrolle der Auslieferung ihrer Werbung.

Da die Anzeigen zur Suchanfrage passen, können sie als eine Form von Suchergebnissen betrachtet werden. Das kommt auch in der englischen Bezeichnung „sponsored link“ zum Ausdruck. Gerade deswegen stellt sich die Frage, ob Nutzende organische Ergebnisse und Anzeigen auseinanderhalten können, d. h. ob sie in ihrer Trefferevaluation tatsächlich von zwei Ergebnistypen ausgehen, oder ob sie die beiden Typen vermischen.

In diesem Aufsatz stellen wir eine repräsentative Multimethodenstudie zu Wissen und Verhalten der deutschen Internetnutzenden zu Google-Anzeigen vor. Da die Ergebnisse bereits ausführlich in zwei englischsprachigen Aufsätzen dargestellt wurden (Lewandowski, 2017; Lewandowski, Kerkmann, Rümmele, & Sünkler, 2018), legen wir den Schwerpunkt in diesem Beitrag neben der Darstellung der wichtigsten Ergebnisse auf die Implikationen für die (informationswissenschaftliche) Forschung.

Für die folgenden Ausführungen sind die Begriffe organisches Suchergebnis, Anzeige und Universal Search zentral. Diese definieren wir wie folgt (Lewandowski, 2018, S. 313ff.):

  1. Ein organisches Suchergebnis ist ein „aus dem Web-Index automatisch generiertes Suchergebnis. Das Ranking der organischen Ergebnisse erfolgt für alle Dokumente zu gleichen Bedingungen, d. h. jedes Dokument, das in den Web-Index der Suchmaschine aufgenommen wurde, hat potentiell die gleiche Chance, als Ergebnis zu einer Suchanfrage angezeigt zu werden.“

  2. Eine (Text-)Anzeige ist eine „Anzeige auf der Ergebnisseite einer Suchmaschine, die als Antwort auf eine Suchanfrage ausgegeben wird und in ihrer Darstellung einem organischen Suchergebnis ähnelt“.

  3. Bei der Universal Search handelt es sich um die „Anreicherung der Suchergebnisse aus dem Web-Index um Ergebnisse aus speziellen Kollektionen und deren gemeinsame Darstellung auf einer Suchergebnisseite.“ Kollektionen, die im Rahmen der Universal Search eingebunden werden, sind beispielsweise Nachrichten, Bilder und Videos.

Stand der Forschung

In diesem Abschnitt gehen wir nur auf die wichtigsten Forschungsergebnisse ein, die für die im weiteren dargestellte Studie relevant sind. Eine ausführliche Literaturschau zum Thema findet sich in Lewandowski, Kerkmann, Rümmele & Sünkler (2018).

Zur Darstellung von Anzeigen auf Suchergebnisseiten ergab eine frühe Studie von Nicholson et al. (2006), dass nur 40 Prozent der Ergebnisse auf dem ersten Bildschirm (d. h. dem für den Suchenden sichtbaren Bereich ohne Herunterscrollen) organische Ergebnisse waren. Diese Quote stieg auf 67 Prozent, wenn man die gesamte erste Ergebnisseite betrachtet. Die Aussagekraft der Studie ist jedoch beschränkt durch die geringe Anzahl der verwendeten Suchanfragen und die Tatsache, dass nur eine einzige (eher geringe) Bildschirmauflösung berücksichtigt wurde.

Eine weitere frühe Studie Fallows (2005) ergab, dass nur 38 Prozent der Suchmaschinennutzenden in den USA die Unterscheidung zwischen organischen und bezahlten Ergebnissen kannten. Seitdem hat sich die Situation zweifellos geändert, unter anderem durch die Richtlinien der U. S. Federal Trade Commission zur Offenlegung von Suchmaschinenanzeigen (Sullivan, 2013a). Allerdings ist die Unterscheidung zwischen den beiden Ergebnistypen nach wie vor ein Problem, nicht nur in allgemeinen Web-Suchmaschinen, sondern auch in vielen Spezialsuchmaschinen (Sullivan, 2013b). Einige Branchenstudien legen nahe, dass die Kennzeichnung von Anzeigen nicht eindeutig genug ist, damit sie von Suchenden tatsächlich erkannt wird (Bundesverband Digitale Wirtschaft, 2009; Charlton, 2013; Wall, 2012).

Darüber hinaus zeigen Studien, dass die Platzierung und Kennzeichnung von Anzeigen das Blickverhalten und das Auswahlverhalten der Nutzenden beeinflusst (Liu, Liu, Zhang & Ma, 2014). Auch führen verschiedene Varianten der Kennzeichnung von Anzeigen zu unterschiedlichen Wahrnehmungen, ob ein Ergebnis als Anzeige erkannt wird oder nicht (Edelman & Gilchrist, 2012). Diese Ergebnisse stammen jedoch entweder aus Studien mit einer geringen Teilnehmerzahl oder mit nicht repräsentativen Stichproben von Suchmaschinennutzenden. Experimentelle Studien, die verschiedene Formen der Kennzeichnung testen und Rückschlüsse auf die tatsächlichen Auswirkungen dieser Formen ziehen können, sind durch die verwendete Stichprobe eingeschränkt, d. h. sie haben nur eine geringe externe Validität, da unklar ist, inwieweit aus der Stichprobe auf die Population geschlossen werden kann (z. B. Edelman & Gilchrist, 2012).

Empirische Untersuchung zum Wissen über Google-Anzeigen

In diesem Abschnitt werden die Methodik sowie die zentralen Ergebnisse einer groß angelegten Studie zum Verständnis der Unterscheidung zwischen Anzeigen und organischen Suchergebnissen auf Googles Suchergebnisseiten beschrieben. Eine ausführliche Darstellung aller Ergebnisse findet sich in Lewandowski, Kerkmann, Rümmele & Sünkler (2018) und Lewandowski (2017).

Die Studie besteht aus drei Teilen:

  1. Umfrage: Zuerst stellten wir den Teilnehmenden Fragen zum Wissen über Werbung in Suchmaschinen, über Google und seinem Geschäftsmodell. Dazu wurden auch Fragen nach Selbstauskünften zur Recherchekompetenz gestellt.

  2. Aufgabenbasierte Studie: In diesem Studienteil mussten fünf Aufgaben bearbeitet werden, in denen auf Google-Suchergebnisseiten jeweils alle Werbetreffer bzw. alle organischen Ergebnisse markiert werden mussten.

  3. Experiment: Hier wurden zwei Gruppen gebildet. Die Zuweisung erfolgte zufällig. Die Teilnehmenden wurde gebeten, auf einer Google-Suchergebnisseite mindestens ein relevantes Ergebnis zu einer Suchaufgabe auszuwählen. Der Unterschied zwischen den Gruppen bestand darin, dass auf der Suchergebnisseite der einen Gruppe die beiden ersten Treffer als Werbung markiert waren, während die Ergebnisse selbst für beide Gruppen gleich waren. Mit diesem Vorgehen konnten wir feststellen, ob die Werbekennzeichnung die Trefferauswahl beeinflusst.

Datenerhebung

Wir haben die Daten anhand einer repräsentativen Stichprobe der deutschen Online-Bevölkerung im Januar 2013 erhoben. Die Stichprobe wurde nach den Kriterien der AGOF (Arbeitgemeinschaft Online-Forschung, 2018) erstellt und bestand aus 1.000 Personen. Die AGOF stellt eine standardisierte und weithin anerkannte Online-Reichweitenwährung zur Verfügung, um den Erfolg von Marketinginstrumenten zu messen. Diese Online-Reichweitenwährung basiert auf einem Drei-Säulen-Modell für Data Mining und Profiling durch elektronische Messung von Seitenaufrufen und Page Impressions, durch Vor-Ort-Befragungen zu deskriptiven soziodemografischen Werten und durch repräsentative Telefonbefragungen. Die Population umfasst Internetnutzende ab einem Alter von zehn Jahren.

Ergebnisse

Befragung

Im Umfrageteil der Studie fragten wir die Teilnehmenden nach ihrem Wissen über das Geschäftsmodell von Google. Ziel war es herauszufinden, ob sie verstehen, wie Suchmaschinen generell bzw. Google im Besonderen Geld verdienen und ob sie wissen, dass das Geschäftsmodell der Suchmaschinen auf Werbung basiert.

Die Fragen waren wie folgt:

  1. Haben Sie in den letzten drei Monaten die Suchmaschine Google verwendet? [AUSSCHLUSSFRAGE]

  2. Wie schätzen Sie Ihre Fähigkeiten ein, bei Google zu recherchieren? Bitte geben Sie sich eine Schulnote.

  3. Suchmaschinen sind kommerzielle Internetdienste und müssen daher Geld verdienen. Bitte beschreiben Sie in Ihren eigenen Worten, wie sich die Suchmaschine Google finanziert.

  4. Kann man Google dafür bezahlen, sein Unternehmen bzw. Produkt auf eine Suchanfrage hin bevorzugt auf der Suchergebnisseite zu platzieren?

Die folgenden Fragen wurden denen gestellt, die Frage 4 mit „Ja“ beantwortet hatten:

  1. Sind die bezahlten Anzeigen auf der Google-Ergebnisseite von unbezahlten Suchergebnissen zu unterscheiden? [FILTERFRAGE]

  2. Wie unterscheiden Sie die bezahlten Anzeigen von den unbezahlten Suchergebnissen? Bitte beschreiben Sie in Ihren eigenen Worten die zentralen Unterschiede. [OFFENE FRAGE]

Alle Befragten hatten Google in den letzten drei Monaten genutzt, deshalb wurde niemand von der weiteren Befragung ausgeschlossen. Bei der Frage nach den Recherchefähigkeiten mit Google ergibt sich ein eindeutiges Bild: Der Großteil (90,8 %) bewerten ihre Recherchekompetenz als sehr gut oder gut (deutsche Schulnoten). Es gab nur wenige, die ihre Kompetenz mit vier oder schlechter benoteten. Dies bestätigt frühere Erkenntnisse, nach denen sich Nutzende bei der Verwendung von Suchmaschinen sicher fühlen und davon überzeugt sind, dass ihre Fähigkeiten ausreichen, um sie effektiv zu nutzen (s. Purcell, Brenner & Raine, 2012).

Als nächstes haben wir die Teilnehmenden gebeten, in ihren eigenen Worten zu beschreiben, wie Google seine Einnahmen generiert. Dies war eine offene Frage; die Antworten wurden durch die Forschenden klassifiziert. 81 Prozent führten Werbung korrekt als Einnahmenquelle von Google an. Allerdings nannten nur 60,6 Prozent Werbung als einzige Einnahmequelle von Google und 20,4 Prozent andere, falsche Einnahmequellen. 9,5 Prozent gaben eine völlig falsche Antwort, und weitere 9,5 Prozent wussten gar nicht, wie Google seine Einnahmen generiert.

Auf die Frage nach der Möglichkeit, Google dafür zu bezahlen, Unternehmen bzw. Produkte auf eine Suchanfrage hin bevorzugt auf den Suchergebnisseiten zu platzieren, gaben 73,3 Prozent richtig an, dass dies möglich ist. 6,4 Prozent glaubten nicht, dass dies möglich sei; 20,3 Prozent wussten es nicht. In einer früheren repräsentativen deutschen Studie mit der gleichen Frage, antworteten nur 64 Prozent mit ja, während 36 Prozent dies für nicht möglich hielten (Bundesverband Digitale Wirtschaft, 2009).

Wer die vorherige Frage mit ja beantwortet hatte, wurde im Anschluss gefragt, ob es möglich sei, zwischen organischen Ergebnissen und Anzeigen zu unterscheiden. Dies wurde von 57,98 Prozent positiv beantwortet, 26,6 Prozent gaben an, dass dies nicht möglich sei, und 15,42 Prozent wussten es nicht.

Als letztes wollten wir wissen, wodurch sich Anzeigen und organische Ergebnisse unterscheiden. Dies war als offene Frage formuliert; die Antworten wurden wieder durch die Forschenden klassifiziert. Nur 37 Teilnehmende konnten die Elemente, die Anzeigen von organischen Ergebnissen zum Zeitpunkt der Datenerhebung unterschieden, richtig und vollständig benennen (1. Schattierung und/oder anderes Layout; 2. wird oben auf der Ergebnisseite vor den organischen Ergebnissen angezeigt; 3. Darstellung auf der rechten Seite der Suchergebnisseite). Viele zählten einige der richtigen Elemente auf, aber nicht das komplette Set bzw. weitere, falsche Merkmale.

In Abbildung 2 ist die Segmentierung der Teilnehmenden für die Fragen 4 bis 6 zusammengefasst. Insgesamt konnten 62,2 Prozent nicht zwischen Anzeigen und organischen Ergebnissen unterscheiden. Sie sagten entweder, dass man Google für eine bevorzugte Listung des eigenen Unternehmens auf den Suchergebnisseiten nicht bezahlen kann (oder wussten es nicht), oder sie sagten, dass man nicht zwischen Anzeigen und organischen Ergebnissen unterscheiden kann (oder sie wussten es nicht), oder sie nannten eine falsche Anzeigenkennzeichnung (oder wussten es nicht). Diese Zahl enthält nicht die 341 Nutzer, die einige korrekte Elemente zur Identifizierung von Anzeigen aufgezählt haben, aber nicht das komplette Set von Unterscheidungsmerkmalen.

Abbildung 2 Zusammenfassung der Ergebnisse über das Wissen der Nutzer über das Geschäftsmodell von Google.
Abbildung 2

Zusammenfassung der Ergebnisse über das Wissen der Nutzer über das Geschäftsmodell von Google.

Aufgabenbasierte Studie

Dieser Studienteil basiert auf fünf Aufgaben, bei denen entweder sämtliche Werbung auf der Suchergebnisseite oder sämtliche nicht bezahlten Ergebnisse markiert werden mussten. Das Ziel war, das tatsächliche Wissen der Teilnehmenden über Werbung auf den Suchergebnisseiten herauszufinden und sich nicht allein auf ihre Selbstauskünfte zu verlassen.

Das Stimulusmaterial waren Google-Suchergebnisseiten mit verschiedenen Layouts und Elementen (s. Abb. 3). Wir haben versucht, eine Stichprobe von Suchergebnisseiten zu finden, die den typischen Ergebnispräsentationen zum Zeitpunkt der Studie entsprachen (Details in Lewandowski u. a., 2018). Weiterhin verwendeten wir Suchanfragen mit unterschiedlichen Intentionen, wobei nach Broders Taxonomie (Broder, 2002) zwischen informationsorientierten, navigationsorientierten und transaktionsorientierten Suchanfragen unterschieden wurde. In der Studie nutzen wir keine navigationsorientierten Suchanfragen. Denn es sollten nur Aufgaben gestellt werden, in denen man potentiell aus dem gesamten Ergebnisset auswählen konnte. Wir haben die Anfragen entsprechend ihrer Intention auch in informationsorientiert und kommerziell (jeweils zwei Aufgaben) unterteilt (s. Lewandowski, Drechsler, & Mach, 2012). Dies wurde explizit in den Aufgabenbeschreibungen berücksichtigt, um die Teilnehmenden darauf hinzuweisen, ob sie an einem Kauf interessiert sind oder daran, Informationen zu einem Thema zu finden.

In der ersten Aufgabe wurde ein verpixelter Screenshot einer typischen Suchergebnisseite von Google gezeigt. Damit sollte herausgefunden werden, ob schon auf Basis der Struktur von Suchergebnisseiten Werbeblöcke erkannt werden konnten. Dies traf bei 25,8 Prozent zu; insgesamt 63,9 Prozent haben nur Anzeigen markiert, allerdings nicht sämtliche Anzeigen.

In den weiteren vier Aufgaben wurden vollständige und nicht verpixelte Suchergebnisseiten von Google verwendet (Abb. 3). Dabei haben nur 1,3 Prozent der Teilnehmenden in allen Aufgaben sämtliche Markierungen korrekt vorgenommen. 9,6 Prozent haben zwar nicht falsch gekennzeichnet, aber nicht alle zu markierenden Bereiche berücksichtigt. Bei keiner Aufgabe waren mehr als 35 Prozent der Teilnehmenden in der Lage, alle Bereiche korrekt zu markieren. Je komplexer die Ergebnisdarstellung (Steigerung der Komplexität von Aufgabe zu Aufgabe), desto geringer wird dieser Prozentsatz.

Zur Verwechslung von Anzeigen und organischen Ergebnissen ist noch festzustellen, dass je nach Aufgabenstellung zwischen 32,3 und 66,3 Prozent der Nutzenden nur Ergebnisse kennzeichneten, die sie markieren sollten (also entweder Anzeigen oder organische Ergebnisse), nicht alle Ergebnisse dieser Art. Ein beträchtlicher Teil markierte nur die Anzeigen, die entweder auf der rechten Seite oder über der Liste der organischen Ergebnisse dargestellt wurden.

Zusammengefasst zeigt sich, dass die überwiegende Mehrheit Werbung nicht von organischen Ergebnissen auf den Suchergebnisseiten von Google zuverlässig und vollständig unterscheiden kann. Eine detailliertere Analyse, einschließlich der Zusammenhänge zwischen den Ergebnissen der Umfrage (z. B. Alter, Ausbildung und selbstberichtetes Wissen über das Geschäftsmodell von Google) und der Aufgabenperformance gibt es bei Lewandowski et al. (2018).

Abbildung 3 Screenshots der in der Studie verwendeten Suchergebnisseiten.
Abbildung 3

Screenshots der in der Studie verwendeten Suchergebnisseiten.

Experiment

In diesem Abschnitt fassen wir die Ergebnisse eines Online-Experiments zusammen, die zuvor in Lewandowski, Sünkler & Kerkmann, 2017 veröffentlicht wurden. Das Stimulusmaterial waren zwei Screenshots einer Google-Suchergebnisseite (Abb. 4). Beide zeigten die gleichen Ergebnisse und das gleiche Layout; der einzige Unterschied bestand darin, dass in dem einen Stimulus die ersten beiden Ergebnisse als Anzeigen gekennzeichnet sind (gelbe Schattierung, zusätzlicher Info-Button), während die andere Version nur eine Liste mit organischen Ergebnissen darstellte. In beiden Varianten wurden nur organische Ergebnisse verwendet, d. h. bei den in der Anzeigen-Variante gezeigten Anzeigen handelt es sich tatsächlich um organische Ergebnisse, die lediglich als Anzeigen markiert sind. Alle Teilnehmenden wurde randomisiert einer der Bedingungen zugeteilt.

Sie erhielten folgende Suchaufgabe:

„Stellen Sie sich vor, Sie sind Teilnehmer an einem Kochwettbewerb und sollen einen frischen Tintenfisch zubereiten.

Ihre Suchanfrage: Tintenfisch Rezept. Welches Ergebnis würden Sie sich spontan ansehen bzw. welches Ergebnis würden Sie auf dieser Seite (Bild) spontan anklicken?“

Abbildung 4 Screenshots als Stimulusmaterial (links: nur organische Ergebnisse; rechts: inklusive zwei als Werbung markierte organische Treffer).
Abbildung 4

Screenshots als Stimulusmaterial (links: nur organische Ergebnisse; rechts: inklusive zwei als Werbung markierte organische Treffer).

Die Daten aus dem Experiment wurden mit Angaben aus der Befragung und dem Erfolg aus dem aufgabenbasierten Teil der Studie in Beziehung gesetzt, um herauszufinden, welche Rolle das Wissen über Anzeigen auf Suchergebnisseiten für das tatsächliche Auswahlverhalten spielt. Es handelt sich also auf der einen Seite um die Selbsteinschätzungen der Teilnehmenden, andererseits um ihre tatsächliches Verhalten.

Das wichtigste Ergebnis des Experiments ist, dass diejenigen, die in den Aufgaben nicht in der Lage waren, Anzeigen von organischen Ergebnissen zu unterscheiden, signifikant häufiger, nämlich etwa doppelt so oft Anzeigen anklicken als die, die beide Ergebnistypen unterscheiden können (40,3 % Anzeigenklicks vs. 21,6 % Anzeigenklicks). Dies verdeutlicht, dass es sich hierbei nicht um bewusste Entscheidungen für einen Anzeigenklick handelt, sondern diese in der Annahme ausgewählt werden, es handle sich um organische Ergebnisse.

Implikationen

Modelle des Informationsverhaltens bzw. des Information Seeking Behaviour

Die hier vorgestellten Ergebnisse haben Auswirkungen auf Modelle der Suchmaschinenwerbung (Jansen, 2011, S. 206), welche bislang die Nutzerseite nur unzureichend berücksichtigen. Klicks auf Anzeigen werden hier nicht als möglicherweise irrtümliche Entscheidungen angesehen, die auf der Basis fehlerhafter Annahmen erfolgen. Vielmehr geht man implizit davon aus, dass ein Klick auf eine Werbung eine informierte Entscheidung ist, die mit dem Wissen um den Werbecharakter und die Relevanz des Werbetreffers erfolgt.

Auch die allgemeineren Modelle zur Informationssuche (s. Fisher, Erdelez, & McKechnie, 2005; Hobohm, 2013; Womser-Hacker & Mandl, 2013) und der Websuche (s. Burghardt, Elsweiler, Meier & Wolff, 2013) sollten erweitert werden, da sie sich nicht mit den Besonderheiten der Ergebnisauswahl von Suchenden befassen.

Das Problem der gängigen Modelle des Informationsverhaltens ist, dass das Suchsystem den Nutzenden gegenüber als „wohlgesonnen“ betrachtet wird und man davon ausgeht, dass diese mit dem verwendeten System kompetent umgehen können. Die Ergebnisse unserer Studie zeigen aber, dass dies oft nicht der Fall ist. Modelle des Informationsverhaltens bzw. des Information Seeking Behaviour sollten berücksichtigen, dass die Anbieter von Informationssystemen nicht „neutral“ oder im Interesse der Nutzenden handeln, sondern Eigeninteressen verfolgen. Diese sind beispielsweise die Maximierung des Werbeerlöses oder die bevorzugte Anzeige von Treffern, die aus weiteren Systemen des Suchmaschinenbetreibers kommen (bspw. YouTube-Ergebnisse in Google, Google-Shopping-Ergebnisse in Google). Bedient werden sie in Form von Elementen des Layouts von Suchergebnisseiten, der Hervorhebung bestimmter Elemente auf den Suchergebnisseiten und der Gestaltung von nutzerunterstützenden Funktionen (vgl. Lewandowski, 2014; Lewandowski, Kerkmann & Sünkler, 2014).

Modelle der Ergebnisselektion, wie sie in der Information-Retrieval-Forschung, aber auch in der Kommunikationswissenschaft verwendet werden, konzentrieren sich entweder auf Klickverteilungen oder auf den Information Scent, d. h. auf Indikatoren für die Attraktivität eines Suchergebnisses anhand einer Trefferbeschreibung (snippet). Card et al., 2001 (S. 499) definieren Information Scent „als the (imperfect) perception of the value, cost, or access path of information sources obtained from proximal cues, such as WWW links.” Information Scent ist damit ein Konzept, das sich auch auf den Kontext der Suchanzeigen anwenden lässt. Die Frage, wie Anzeigen und organische Ergebnisse in Bezug auf den Information Scent innerhalb derselben Ergebnispräsentation (Suchergebnisseiten) konkurrieren, ist bislang noch nicht gründlich erforscht.

Methodische Implikationen

Deskriptive Studien erlauben aufgrund der repräsentativen Auswahl der Teilnehmenden eine Beschreibung der Population hinsichtlich ausgewählter Merkmale. Ihre Ergebnisse können die Basis für Studien in einem anderen Forschungsdesign bilden. Leider finden sich in der informationswissenschaftlichen Forschung kaum deskriptive Studien; häufiger wird auf solche aus anderen Fächern zurückgegriffen (für die Forschung im Bereich Suchmaschinen sind dies z. B. Purcell, Brenner & Rainie, 2012; Stark, Magin & Jürgens, 2014 oder Koch & Frees, 2017). Allerdings beschäftigen sich diese kaum mit genuin informationswissenschaftlichen Fragestellungen. Wir möchten mit unserer Arbeit dazu ermuntern, in der Informationswissenschaft mehr deskriptive Studien durchzuführen. In Kooperation mit Marktforschungsinstituten ist dies relativ leicht und mit vertretbaren Kosten möglich.

Unsere Studie ist ein Beispiel, dass auch aufgabenbasierte Studien mit einem Online-Befragungstool repräsentativ durchgeführt werden können. Wir sehen hier einen erheblichen Gewinn für den Evidenzwert informationswissenschaftlicher Forschung, die gerade im Bereich Informationsverhalten meist auf Studien mit nur kleinen Teilnehmergruppen basiert und nur in Teilen durch Replikationen gesichert ist.

Anknüpfungspunkte für weitere Forschung

Inhaltlich öffnet die hier beschriebene Studie ein weites Feld für weitere Forschung:

Zum einen sind weitere in regelmäßigen Abständen durchgeführte Studien schon aufgrund der sich verändernden Ergebnisdarstellungen vonnöten. Selbstverständlich handelt es sich bei den hier präsentierten Ergebnissen nur um einen Schnappschuss zu einem bestimmten Zeitpunkt. Seit der Erhebung der Daten hat Google die Kennzeichnung der Anzeigen mehrmals geändert. Eine Studie, die allerdings auf einer recht kleinen Probandenauswahl basiert, lässt darauf schließen, dass Anzeigen dadurch noch weniger gut zu erkennen sind als zuvor (Edelman & Gilchrist, 2012). Allerdings gibt es keine Studie, die sich mit deutschen Nutzenden beschäftigt. So sind größer angelegte Studien mehr als wünschenswert.

Weiterhin haben wir in dieser Untersuchung nur die Desktop-Version von Google betrachtet; weitere sollten sich auch mit der Darstellung der Anzeigen auf Mobilgeräten befassen.

Während hier eine solide empirische Basis vorliegt, die das Auswahlverhalten der deutschen Suchmaschinennutzenden auf Suchergebnisseiten mit Anzeigen beschreibt, fehlen tiefergehende Analysen u. a. zur Wahrnehmung von Anzeigen auf den Suchergebnisseiten (bspw. Eyetrackingstudien) und zu den Gründen für Anzeigenklicks. Die Betrachtung der Anzeigen als eine Form von (erwünschten) Suchergebnissen (Lewandowski, 2016) anstelle der strikten Gegenüberstellung von Anzeigen und „echten“ Suchergebnissen eröffnet hier einen Ansatz für weitere Forschung: Wann werden Anzeigen bewusst als relevante Ergebnisse ausgewählt und wann erfolgen solche Klicks fälschlicherweise in der Annahme, es handle sich um ein nicht durch direkte Bezahlung beeinflusstes Ergebnis.

Damit werden auch Fragen der Informationskompetenz berührt. Wenn das Ziel der Informationswissenschaft und -praxis ist, Nutzerinnen und Nutzer besser zu informieren (Buckland, 2012, S. 5), dann sollten sie auch ihre Informationskompetenz in Bezug auf Suchmaschinen erhöhen. Die Bemühungen fokussieren sich noch zu oft auf spezialisierte Informationsquellen und weniger auf die täglich verwendeten Werkzeuge. Es ist an der Zeit, dass sich Forschende und Praktiker im Bereich Informationskompetenz auf dieses bislang zu wenig berücksichtigte Thema konzentrieren.

Zuletzt ist die Anzeigenkennzeichnung für die Suchmaschinenbetreiber wichtig und zwar im Kontext der Idee einer fairen Suche. Insbesondere nicht kommerzielle Anbieter von Suchmaschinen sollten sich mit fairen Verfahren der Anzeigenkennzeichnung (und der Trefferdarstellung generell) beschäftigen, um auch hier einen Mehrwert zu bieten und ihren eigenen Ansprüchen gerecht zu werden. Die Informationswissenschaft kann dazu beitragen, indem sie Konzepte für Systeme entwickelt, die einen fairen Ausgleich ermöglichen zwischen dem Interesse von Suchmaschinenanbietern, Geld mit Werbung zu verdienen, und dem Interesse der Suchmaschinennutzenden, zu wissen, ob ein angezeigtes Ergebnis bezahlt wurde oder nicht.

Fazit

Die vorgestellte Studie zeigt, dass nur ein geringes Verständnis hinsichtlich der Anzeigen auf den Suchergebnisseiten von Google besteht. Wir sehen hier einen erheblichen Bedarf für Regulierung. Es muss eine erkennbare Trennung von Anzeigen und Inhalt, ebenso wie in anderen Medien auch, auf den Suchergebnisseiten durchgesetzt werden. Man mag Anzeigen in vielen Fällen als relevante Suchergebnisse betrachten können, aber man sollte diese wissentlich anklicken, und nicht annehmen, es handle sich um ein organisches Suchergebnis, das ohne direkte Bezahlung von externer Seite zustande gekommen ist.

Das Problem der Anzeigenkennzeichnung verstärkt sich auch, weil Anzeigen ebenso wie organische Suchergebnisse personalisiert sind. So bekommen zum einen nicht alle die gleichen Anzeigen angezeigt. Zum anderen erfolgt die Anzeigenauslieferung so, dass je nach bisherigem Interesse an Anzeigen (in bestimmten Bereichen) mehr oder weniger (bzw. gar keine) Anzeigen angezeigt werden. Das bedeutet, dass gerade diejenigen, die aufgrund fehlender Kenntnis öfter auf Anzeigen klicken, vermutlich häufiger Anzeigen zu sehen bekommen als diejenigen, die nie auf Anzeigen klicken oder nur in Fällen, in denen sie diese als relevant erachten und bewusst auswählen.

About the authors

Prof. Dr. Dirk Lewandowski

Dirk Lewandowski ist Professor für Information Research & Information Retrieval an der Hochschule für Angewandte Wissenschaften Hamburg. Seine Forschungsinteressen sind Web Information Retrieval, Qualitätsfaktoren von Suchmaschinen, das Rechercheverhalten der Suchmaschinen-Nutzer sowie die gesellschaftlichen Auswirkungen des Umgangs mit den Web-Suchmaschinen. Weitere Informationen unter www.searchstudies.org/dirk

Sebastian Sünkler

Sebastian Sünkler ist wissenschaftlicher Mitarbeiter und Promovierender an der Hochschule für Angewandte Wissenschaften Hamburg. Er ist Teil der Forschungsgruppe Search Studies und hat dort von Beginn an an der Entwicklung des Relevance Assessment mitgewirkt. In den letzten Jahren hat er in dem Projekt AAPVL gearbeitet, in dem eine Software zur automatisierten Kontrolle des Lebensmittelmarktes entwickelt wurde. Seine Forschungsinteressen sind die Evaluierung von Suchmaschinen und dialogbasierten intelligenten Assistenten. Weitere Informationen unter www.searchstudies.org/sebastian

Friederike Hanisch

Friederike Hanisch hat Bibliotheks- und Informationsmanagement an der Hochschule für Angewandte Wissenschaften Hamburg studiert und arbeitet dort seit 2010 als wissenschaftliche Mitarbeiterin in den Bereichen Suchmaschinen, Usability und Accessibility. www.searchstudies.org/friederike

Literatur

Alphabet Inc. (2017). Annual Report pursuant to section 13 or 15(d) of the Securities Exchange Act of 1934 for the fiscal year ended December 31, 2016.Search in Google Scholar

Arbeitsgemeinschaft Online-Forschung. (2018). Methode – Reichweitenwährung der AGOF. https://www.agof.de/studien/daily-digital-facts/methode/http://www.agof.de/studien/internet-facts/methode-internet/ [1.12.2018].Search in Google Scholar

Broder, A. (2002). A taxonomy of web search. ACM SIGIR Forum, 36(2), 3. https://doi.org/10.1145/792550.79255210.1145/792550.792552Search in Google Scholar

Buckland, M. (2012). What Kind of Science Can Information Science Be? Journal of the American Society for Information & Techology, 63(1), 1–7. https://doi.org/10.1002/asi.2165610.1002/asi.21656Search in Google Scholar

Bundesverband Digitale Wirtschaft. (2009). Nutzerverhalten auf Google-Suchergebnisseiten: Eine Eyetracking-Studie im Auftrag des Arbeitskreises Suchmaschinen-Marketing des Bundesverbandes Digitale Wirtschaft (BVDW) e.V.Search in Google Scholar

Burghardt, M., Elsweiler, D., Meier, F., & Wolff, C. (2013). Modelle des Informationsverhaltens bei der Websuche. In D. Lewandowski (Hrsg.), Handbuch Internet-Suchmaschinen 3: Suchmaschinen zwischen Technik und Gesellschaft (S. 111–141). Berlin: Akademische Verlagsanstalt AKA.Search in Google Scholar

Card, S. K., Pirolli, P., Wege, M. Van Der, Morrison, J. B., Reeder, R. W., Schraedley, P. K., & Boshart, J. (2001). Information Scent as a Driver of Web Behavior Graphs: Results of a Protocol Analysis Method for Web Usability. Proceedings of the SIGCHI conference on Human factors in computing systems CHI 01, 3(3), 498–505. https://doi.org/10.1145/365024.36533110.1145/365024.365331Search in Google Scholar

Charlton, G. (2013). 40 % of consumers are unaware that Google Adwords are adverts. https://econsultancy.com/blog/62249-40-of-consumers-are-unaware-that-google-adwords-are-adverts [1.12.2018].Search in Google Scholar

Edelman, B., & Gilchrist, D. S. (2012). Advertising disclosures: Measuring labeling alternatives in internet search engines. Information Economics and Policy, 24, 75–89.10.1016/j.infoecopol.2012.01.003Search in Google Scholar

European Commission. (2017). Antitrust: Commission fines Google €2.42 billion for abusing dominance as search engine by giving illegal advantage to own comparison-shopping service – Factsheet. http://europa.eu/rapid/press-release_MEMO-17-1785_en.htm [1.12.2018].Search in Google Scholar

Fallows, D. (2005). Search engine users: Internet searchers are confident, satisfied and trusting-but they are also unaware and naive. Pew Internet & American Life Project. Washington, DC: Pew Internet & American Life Project.Search in Google Scholar

Fisher, K. E., Erdelez, S., & McKechnie, L. E. F. (2005). Theories of Information Behavior. ASIST Monograph Series. Medford, NJ: Information Today.Search in Google Scholar

Hobohm, H.-C. (2013). Informationsverhalten (Mensch und Information). In Grundlagen der praktischen Information und Dokumentation (S. 109–125). Berlin, Boston: De Gruyter Saur. https://doi.org/10.1515/9783110258264.10910.1515/9783110258264.109Search in Google Scholar

Jansen, J. (2011). Understanding sponsored search: Core elements of keyword advertising. New York: Cambridge University Press.10.1017/CBO9780511997686Search in Google Scholar

Koch, W., & Frees, B. (2017). ARD / ZDF-Onlinestudie 2017: Neun von zehn Deutschen online. Media Perspektiven, 48(9), 434–446.Search in Google Scholar

Lewandowski, D. (2014). Die Macht der Suchmaschinen und ihr Einfluss auf unsere Entscheidungen. Information – Wissenschaft & Praxis, 65(4–5), 231–238. https://doi.org/10.1515/iwp-2014-005010.1515/iwp-2014-0050Search in Google Scholar

Lewandowski, D. (2016). Die Suchergebnisseite als Dauerwerbesendung? In H. C. Mayr & M. Pinzger (Hrsg.), Informatik 2016 (S. 183–193). Bonn: Gesellschaft für Informatik e.V.Search in Google Scholar

Lewandowski, D. (2017). Users’ Understanding of Search Engine Advertisements. Journal of Information Science Theory and Practice, 5(4), 6–25. https://doi.org/10.1633/JISTaP.2017.5.4.1Search in Google Scholar

Lewandowski, D. (2018). Suchmaschinen verstehen (2. Aufl.). Berlin, Heidelberg: Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-662-56411-010.1007/978-3-662-56411-0Search in Google Scholar

Lewandowski, D., Drechsler, J., & Mach, S. (2012). Deriving query intents from web search engine queries. Journal of the American Society for Information Science and Technology, 63(9), 1773–1788. https://doi.org/10.1002/asi.2270610.1002/asi.22706Search in Google Scholar

Lewandowski, D., Kerkmann, F., Rümmele, S., & Sünkler, S. (2018). An empirical investigation on search engine ad disclosure. Journal of the Association for Information Science and Technology, 69(3), 420–437. https://doi.org/10.1002/asi.2396310.1002/asi.23963Search in Google Scholar

Lewandowski, D., Kerkmann, F., & Sünkler, S. (2014). Wie Nutzer im Suchprozess gelenkt werden: Zwischen technischer Unterstützung und interessengeleiteter Darstellung. In B. Stark, D. Dörr, & S. Aufenanger (Hrsg.), Die Googleisierung der Informationssuche – Suchmaschinen im Spannungsfeld zwischen Nutzung und Regulierung. Berlin: De Gruyter.Search in Google Scholar

Lewandowski, D., Sünkler, S., & Kerkmann, F. (2017). Are Ads on Google Search Engine Results Pages Labeled Clearly Enough? In M. Gäde, V. Trkulja, & V. Petras (Hrsg.), Everything Changes, Everything Stays the Same? Understanding Information Spaces. Proceedings of the 15th International Symposium of Information Science (ISI 2017), Berlin, 13th—15th March 2017 (S. 62–74). Glückstadt: Verlag Werner Hülsbusch.Search in Google Scholar

Liu, Z., Liu, Y., Zhang, M., & Ma, S. (2014). How do sponsored search results affect user behavior in web search? In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) (Bd. 8870, S. 73–85).10.1007/978-3-319-14717-8Search in Google Scholar

Nicholson, S., Sierra, T., Eseryel, U. Y., Park, J.-H., Barkow, P., Pozo, E. J., & Ward, J. (2006). How Much of It Is Real? Analysis of Paid Placement in Web Search Engine Results. Journal of the American Society for Information Science and Technology, 57(4), 448–461.10.1002/asi.20318Search in Google Scholar

Purcell, K., Brenner, J., & Raine, L. (2012). Search Engine Use 2012. Washington, DC.Search in Google Scholar

Stark, B., Magin, M., & Jürgens, P. (2014). Navigieren im Netz. Befunde einer qualitativen und quantitativen Nutzerbefragung. In B. Stark, D. Dörr, & S. Aufenanger (Hrsg.), Die Googleisierung der Informationssuche (S. 20–74). Berlin, Boston: De Gruyter. https://doi.org/10.1515/9783110338218.2010.1515/9783110338218Search in Google Scholar

Statcounter. (2018). Desktop Search Engine Market Share Europe. http://gs.statcounter.com/search-engine-market-share/desktop/europe [1.12.2018].Search in Google Scholar

Sullivan, D. (2013a). FTC Updates Search Engine Ad Disclosure Guidelines After “Decline In Compliance”. http://searchengineland.com/ftc-search-engine-disclosure-164722 [1.12.2018].Search in Google Scholar

Sullivan, D. (2013b). Revealed: The 17 Other Search Engines The FTC Warned Over Paid Ad Disclosures. Abgerufen von http://searchengineland.com/revealed-17-other-search-engines-ftc-warned-168603Search in Google Scholar

Wall, A. (2012). Consumer Ad Awareness in Search Results. http://www.seobook.com/consumer-ad-awareness-search-results [1.12.2018].Search in Google Scholar

Womser-Hacker, C., & Mandl, T. (2013). Information Seeking Behaviour (ISB). In Grundlagen der praktischen Information und Dokumentation (S. 97–108). Berlin, Boston: De Gruyter Saur. https://doi.org/10.1515/9783110258264.9710.1515/9783110258264.97Search in Google Scholar

Published Online: 2019-02-12
Published in Print: 2019-01-31

© 2019 Walter de Gruyter GmbH, Berlin/Boston

Downloaded on 26.4.2024 from https://www.degruyter.com/document/doi/10.1515/iwp-2019-0001/html
Scroll to top button