Les sessions de recherche comme contexte des requêtes
Abstract
Identifying the sessions of a search engine's users aroused the creation of several benchmark collections and the elaboration of different automatic detection methods. This task actually represents the starting point of numerous studies dealing with the research context and the users' information needs. We detail within this study the creation of a benchmark collection based on a query log from the OpenEdition portal. We present as well an evaluation of the manual annotations which constitute this collection. The resulting benchmark contains 947 queries corresponding to 406 sessions, with an inter-annotator agreement (Cohen's Kappa) varying from 0.47 to 0.61. This collection will be exploited for both the evaluation of sessions automatic detection methods and studies of query reformulations.
La tâche d'identification des sessions des utilisateurs d'un moteur de recherche a suscité la construction de plusieurs collections de référence et l'élaboration de multiples méthodes de détection automatique. Cette tâche constitue en effet le point de départ de nombreuses études s'intéressant au contexte de la recherche et aux besoins d'information des utilisateurs. Nous détaillons dans cette étude la construction d'une collection de référence à partir d'un journal de requêtes issu du portail OpenEdition, et nous présentons une évaluation des annotations manuelles constituant cette collection. La référence obtenue contient 947 requêtes pour 406 sessions, avec un taux d'accord (Kappa de Cohen) entre les annotateurs allant de 0, 47 à 0, 61. Cette collection servira à l'évaluation de méthodes de détection automatique des sessions ainsi qu'à des études portant sur les reformulations de requêtes.
Domains
Linguistics
Origin : Files produced by the author(s)
Loading...