Depuis le début des années 2000, les bibliothèques ont diversifié leurs propositions de services. Les catalogues, les services et les ressources électroniques de la bibliothèque sont désormais accessibles à distance via des dispositifs en ligne. Les usagers fréquentent les bibliothèques aussi bien en se connectant à leurs sites Web qu’en se rendant sur place. A la bibliothèque physique se double ainsi, une autre numérique. Aussi, de plus en plus, les interactions avec les usagers passent par les interfaces des dispositifs en ligne. Ainsi, proposer des interfaces ergonomiques, qui tiennent compte des spécificités des usagers, de leurs niveaux de compétences, de leurs besoins et pratiques informationnels devient un défi majeur. Le relever passe par une évaluation régulière des interfaces. Evaluer un service ou un dispositif en bibliothèque revient selon la norme ISO 2789 (2013) à estimer son efficacité, son efficience, son utilité et sa pertinence. Cette conception de l’évaluation ne nous semble pas explicite et spécifique aux dispositifs en ligne. Nous partageons plutôt celle de Tricot et tricot (2000:195) à savoir que « lorsqu’on évalue un système d’information, on doit évaluer sa mise en &oelig;uvre (son utilisation) et ses résultats (les buts qu’il permet d’atteindre, leur conformité aux buts attendus) » . En clair, évaluer un dispositif reviendrait à déterminer son utilisabilité et son utilité. A ces deux dimensions, nous ajoutons celle de sa désirabilité, c’est-à-dire la nécessité du dispositif et l’envie d’utilisation suscitée. On peut, en effet, interroger la raison d’être d’un dispositif qui bien qu’à la fois utile et utilisable ne suscite aucune envie chez les utilisateurs. Nous postulons que l’évaluation d’un dispositif en ligne revient donc à estimer son utilisabilité, son utilité et sa désirabilité. Que recouvrent exactement ces trois dimensions ? Comment les opérationnaliser dans le cadre spécifique de la bibliothèque ? Dans la première partie de notre papier, nous proposons un cadre conceptuel pour cerner ces dimensions. Ainsi, nous avançons que l’utilité est l’adéquation du contenu du dispositif avec les besoins informationnels de l’utilisateur. Nous postulons que deux indicateurs mesurent cette utilité : l’efficience, et l’avantage relatif. Pour l’utilisabilité, nous l’appréhendons comme le degré selon lequel l’utilisateur considère que l’utilisation du dispositif est facile et ne requiert pas d’effort supplémentaire, et que le cas échéant, le processus d’apprentissage est clair et aisé à réaliser. Nous identifions quatre indicateurs pour son évaluation : l’efficacité, l’apprenabilité, la mémorisation et la fiabilité. Enfin, pour ce qui est de la désirabilité, nous la percevons dans sa dimension hédonique c’est-à-dire une réaction émotionnelle concernant le dispositif. Deux construits affectivo-motivationnels se dégagent pour son évaluation : les motivations intrinsèques et les affects. Toutes ces dimensions sont liées les unes aux autres et certains auteurs vont jusqu’à affirmer qu’un « bon » dispositif en bibliothèque remplit obligatoirement ces trois dimensions. Ainsi, il devrait « à la fois servir à quelque chose, être aisé d’accès et donner envie de l’utiliser » (Schmidt et Etches, 2016 :p.18). Même si nous partageons cet avis, nous avançons que les relations entre les dimensions ne sont pas binaires, elles peuvent être variées et diverses. En effet, un dispositif peut être utile, mais pas facile à prendre en main et par conséquent ne suscitera pas un engouement quant à son utilisation. En outre, il peut être désirable, mais pas facile à pratiquer et par ricochet pas utile à l’utilisateur. Il y a un ensemble de scénarios possibles dont l’interprétation permettrait de mieux comprendre l’évaluation. Ainsi, un dispositif qui à la suite d’une série d’évaluation se révèle désirable, mais inutilisable et inutile. Comment savoir ce qu’il faut améliorer ? Améliorer l`utilisabilité pourrait-il occasionner l’amélioration de l’utilité ? Ou que l’amélioration de l’utilité entrainera-t-elle systématiquement une amélioration de l’utilisabilité ? Dans la deuxième partie de notre papier, nous proposons dans un premier temps un cadre méthodologique appartenant à la fois aux champs de l’empirisme et de l’heuristique pour mettre en &oelig;uvre l’évaluation des trois dimensions. Et dans un second temps, à partir de différents scénarios réalisés suivant des équations structurelles, nous construisons un cadre formel d’interprétation des liens possibles entre les variables. Au total, notre papier se veut à la fois théorique et méthodologique. Il vise à sélectionner les indicateurs les plus pertinents dans les champs de l’expérience utilisateur, de l’acceptation des technologies et de l’interaction humain-machine, afin de concevoir un nouveau cadre conceptuel et interprétatif pour les dispositifs en ligne de la bibliothèque.