Retrievability in an integrated retrieval system: an extended study

Abstract

Retrievability measures the influence a retrieval system has on the access to information in a given collection of items. This measure can help in making an evaluation of the search system based on which insights can be drawn. In this paper, we investigate the retrievability in an integrated search system consisting of items from various categories, particularly focussing on datasets, publications and variables in a real-life digital library. The traditional metrics, that is, the Lorenz curve and Gini coefficient, are employed to visualise the diversity in retrievability scores of the three retrievable document types (specifically datasets, publications, and variables). Our results show a significant popularity bias with certain items being retrieved more often than others. Particularly, it has been shown that certain datasets are more likely to be retrieved than other datasets in the same category. In contrast, the retrievability scores of items from the variable or publication category are more evenly distributed. We have observed that the distribution of document retrievability is more diverse for datasets as compared to publications and variables.

Die Wiederauffindbarkeit misst den Einfluss eines Retrievalsystems auf den Zugang zu Informationen in einer bestimmten Sammlung von Elementen. Dieses Maß kann dabei helfen, eine Bewertung des Suchsystems vorzunehmen, auf deren Grundlage Erkenntnisse gewonnen werden können. In diesem Beitrag untersuchen die Autor*innen die Auffindbarkeit in einem integrierten Suchsystem, das aus Elementen aus verschiedenen Kategorien besteht, wobei sie sich insbesondere auf Datensätze, Publikationen und Variablen in einer realen digitalen Bibliothek konzentrieren. Die traditionellen Metriken, d.h. die Lorenz-Kurve und der Gini-Koeffizient, werden verwendet, um die Unterschiede in den Auffindbarkeitswerten der drei auffindbaren Dokumenttypen (insbesondere Datensätze, Publikationen und Variablen) zu visualisieren. Die Ergebnisse zeigen eine signifikante Verzerrung der Popularität, wobei bestimmte Elemente häufiger abgerufen werden als andere. Es hat sich insbesondere gezeigt, dass bestimmte Datensätze mit größerer Wahrscheinlichkeit abgerufen werden als andere Datensätze derselben Kategorie. Im Gegensatz dazu sind die Abrufbarkeitswerte von Elementen aus der Kategorie der Variablen oder Veröffentlichungen gleichmäßiger verteilt. Die Autor*innen konnten feststellen, dass die Verteilung der Auffindbarkeit von Dokumenten für Datensätze im Vergleich zu Veröffentlichungen und Variablen unterschiedlicher ist.