Depuis le début des années 2000, les bibliothèques ont diversifié leurs propositions de services. Les catalogues, les services et les ressources électroniques de la bibliothèque sont désormais accessibles à distance via des dispositifs en ligne. Les usagers fréquentent les bibliothèques aussi bien en se connectant à leurs sites Web qu’en se rendant sur place. A la bibliothèque physique se double ainsi, une autre numérique. Aussi, de plus en plus, les interactions avec les usagers passent par les interfaces des dispositifs en ligne. Ainsi, proposer des interfaces ergonomiques, qui tiennent compte des spécificités des usagers, de leurs niveaux de compétences, de leurs besoins et pratiques informationnels reste un défi majeur. Le relever, passe par une évaluation régulière des interfaces. Evaluer un service ou un dispositif en bibliothèque revient selon la norme ISO 2789 (2013) à estimer son efficacité, son efficience, son utilité et sa pertinence. Cette conception de l’évaluation ne nous semble pas explicite et spécifique aux dispositifs en ligne. Nous partageons plutôt celle de Tricot et tricot (200 :195) à savoir que « lorsqu’on évalue un système d’information, on doit évaluer sa mise en &oelig;uvre (son utilisation) et ses résultats (les buts qu’il permet d’atteindre, leur conformité aux buts attendus) » . En clair, évaluer un dispositif reviendrait à évaluer son utilisabilité et son utilité. A ces deux dimensions, nous ajoutons celle de sa désirabilité, c’est-à-dire la nécessité du dispositif et l’envie d’utilisation suscitée. On peut, en effet, interroger la raison d’être d’un dispositif qui bien qu’à la fois utile et utilisable ne suscite aucune envie chez les utilisateurs. Nous postulons que l’évaluation d’un dispositifs en ligne revient donc à estimer son utilisabilité, son utilité et sa désirabilité. Que recouvre exactement ces trois dimensions ? comment les opérationnaliser dans le cadre spécifique de la bibliothèque ? Dans la première partie de notre papier, nous proposons un cadre conceptuel pour cerner ces dimensions. Ainsi, nous avançons que l’utilité est l’adéquation du contenu du dispositif aves les besoins informationnels de l’utilisateur. Aussi, nous postulons que deux indicateurs mesurent l’utilité : l’efficience, et l’avantage relatif. Pour l’utilisabilité, nous l’appréhendons comme le degré selon lequel l’utilisateur considère que l’utilisation du dispositif est facile et ne requiert pas d’effort supplémentaire, et que le cas échéant, le processus d’apprentissage est clair et aisé à réaliser. Nous identifions quatre indicateurs pour son évaluation : l’efficacité, l’apprenabilité, la mémorisation et la fiabilité. Enfin, pour ce qui est de la désirabilité, nous la percevons dans sa dimension hédonique c’est-à-dire une réaction émotionnelle concernant le dispositif. Deux construits affectivo-motivationnels se dégagent pour son évaluation : les motivations intrinsèques et les affects. Toutes ces dimensions sont liées les unes aux autres et certains auteurs affirment qu’un « bon » dispositif en bibliothèque doit obligatoirement remplir ces trois dimensions. Ainsi, il devrait « à la fois servir à quelque chose, être aisé d’accès et donner envie de l’utiliser » (Schmidt et Etches, 2016 :p.18). Même si nous partageons cet avis, nous avançons que les relations entre les dimensions ne sont pas binaires, elles peuvent être variées et diverses. En effet, un dispositif peut être utile mais pas facile à prendre en main et par conséquent ne suscite pas un engouement quant à son utilisation. A l’inverse, il peut être désirable mais pas facile à pratiquer et par ricochet pas utile à l’utilisateur. Il y a un ensemble de scénarios possibles dont l’interprétation permet de mieux comprendre l’évaluation du dispositif. Ainsi, une bibliothèque numérique qui à la suite d’une série d’évaluation se révèle désirable mais inutilisable et inutile. Comment savoir ce qu’il faut améliorer ? Améliorer l`utilisabilité pourrait-il occasionner l’amélioration de l’utilité ? Ou que l’amélioration de l’utilité entrainera systématiquement une amélioration de l’utilisabilité ? Dans la deuxième partie de notre papier, nous proposons dans un premier temps un cadre méthodologique appartement à la fois aux champs de l’empirisme et de l’heuristique pour mettre en &oelig;uvre l’évaluation des trois dimensions. Et dans un second temps, à partir de différents scénarios réalisés suivant des équations structurelles, nous construisons un cadre formel d’interprétation des liens possibles entre les variables.