LA VALUTAZIONE DI INTERFACCE INTELLIGENTI PER IL REPERIMENTO DI INFORMAZIONI Giorgio Brajnik, Stefano Mizzaro, Carlo Tasso Dip. di Matematica e Informatica Universita` di Udine {giorgio|mizzaro|tasso}@dimi.uniud.it INTERFACCE INTELLIGENTI PER IL REPERIMENTO DI INFORMAZIONI Le tecnologie per il reperimento delle informazioni stanno assumendo un ruolo sempre piu` importante in applicazioni che vanno dall'accesso a banche dati bibliografiche alla navigazione in una rete di risorse informative. Spesso pero` l'utente non possiede le competenze necessarie per formulare in maniera adeguata il proprio problema informativo, per decidere come affrontare la ricerca, e per reagire in maniera efficace ad eventuali situazioni impreviste e negative (ad esempio quando un'interrogazione ad una banca dati restituisce zero documenti). La figura dell'intermediario umano e` normalmente in grado di limitare gli effetti negativi di tali problemi concettuali. La crescente diffusione delle banche dati ha pero` portato ad uno scenario differente, in cui l'intermediario umano non e` presente e l'utente esplora in maniera autonoma le risorse informative a disposizione, interagendo con un intermediario artificiale che permette e facilita l'accesso alle risorse informative. Un'interfaccia intelligente per sistemi di information retrieval [5] e` quindi un programma che interagisce con un utente finale e controlla un sistema di accesso a risorse informative, il sistema di information retrieval (SIR). Lo scopo dell'interfaccia e` di permettere all'utente finale di operare in maniera efficace senza dover ricorrere all'aiuto dello specialista. La costruzione di un'interfaccia intelligente per SIR che risulti efficace e` un'attivita` complessa. Cio` e` dovuto essenzialmente a due fattori. Da una parte, sono molte ed interdipendenti le funzionalita` che occorre realizzare. Infatti i modelli concettuali di tali interfacce che sono stati proposti in letteratura (ad es. MONSTRAT [2] e MEDIATOR [5]) prescrivono un gran numero di funzionalita`, che vanno dalla capacita` di costruire ed impiegare un modello dell'utente, all'abilita` di fornire spiegazioni sul proprio operato, sul ruolo dell'intermediario e dell'utente, sul processo di ricerca delle informazioni, nonche' su come utilizzare il sistema di information retrieval ed interpretarne i risultati. Tali funzionalita` interagiscono in maniera flessibile e molto articolata. Inoltre, Bates [1] suggerisce che la linea di confine tra macchina e utente vari dinamicamente, sia per il livello di astrazione a cui l'interazione avviene, sia per il tipo di attivita` che la macchina compie in maniera autonoma. Quindi le possibili scelte progettuali nella costruzione di un'interfaccia intelligente per SIR sono molte e tutte determinanti sulla qualita` del risultato. La valutazione, inserita nel ciclo di vita di un'interfaccia intelligente a SIR, puo` aiutare ad operare le scelte progettuali piu` corrette. In secondo luogo, i criteri da adottare per la valutazione della qualita` di una tale interfaccia non sono ancora ne' ben compresi ne' ben assestati. Le metodologie di valutazione adottate per sistemi di information retrieval solitamente si fondano su parametri tecnici di prestazione (RECALL e PRECISION), senza prendere in considerazione il comportamento dell'utente, i suoi processi cognitivi, la sua interazione con il sistema e la sua soddisfazione per l'aiuto e per i risultati ottenuti. Per valutare in modo piu` completo l'efficacia di intermediari artificiali occorre affrontare e tenere sotto controllo aspetti che vanno dalla caratterizzazione dei concetti di rilevanza e utilita` delle informazioni ottenute, alla variabilita` di molti fattori quali le risorse informative usate, la loro omegeneita`, la loro dimensione, gli specifici metodi adottati per l'indicizzazione, l'accesso e la presentazione dell'informazione. Mettendo in primo piano l'utente e la sua interazione con il sistema, occorre anche che la valutazione tenga conto di variabili soggettive e di natura qualitativa che sono difficili da definire, rilevare e codificare, quali la soddisfazione per i risultati ottenuti o per il processo di ricerca. Quindi non solo le scelte progettuali sono tante, ma e` difficile caratterizzarne le conseguenze. In questo lavoro presentiamo uno schema di diversi tipi di aiuto che un'interfaccia intelligente puo` offrire all'utente e un esperimento volto a valutare l'efficacia dei diversi aiuti e la migliore modalita` con cui offrirli. Dato il limitato spazio a disposizione, ci limitiamo ad esporre una breve sintesi dell'esperimento e dei risultati ottenuti; maggiori dettagli sono disponibili in [4]. TIPI E MODALITA` DI SUPPORTO ALL'UTENTE Proponiamo di distinguere i seguenti tipi di aiuto che un'interfaccia intelligente per un SIR puo` offire all'utente: - AIUTO CONCETTUALE, per permettere all'utente di superare problemi che possono sorgere durante lo svolgimento della ricerca, quali ad esempio l'identificazione dei termini, dei concetti e delle relazioni fra di essi che meglio descrivono il bisogno informativo. L'aiuto concettuale puo` essere scomposto; in particolare, si sono considerati: * AIUTO TERMINOLOGICO, volto ad arricchire il vocabolario che l'utente adotta durante la formulazione del problema. Ad esempio, suggerendo termini sinonimi. * AIUTO STRATEGICO, volto a migliorare la capacita` dell'utente nel condurre in maniera efficace la ricerca. Ad esempio, suggerendo come reagire a situazioni avverse quali l'aver reperito zero documenti. - AIUTO TECNICO, mirante a far si' che l'utente sviluppi un modello concettuale accurato e utile dell'interfaccia. Ad esempio mettendo in evidenza il ruolo di una specifica opzione di controllo. Quindi, mentre l'aiuto concettuale riguarda l'attivita` del reperimento di informazioni, l'aiuto tecnico concerne l'interazione utente-sistema. Tali aiuti possono venir forniti secondo diverse modalita` di dialogo: - CONTESTUALE o GENERICO, a seconda che l'aiuto dipenda o meno dalla specifica situazione in cui esso viene fornito; - SU RICHIESTA o SPONTANEO, a seconda dell'agente (utente o interfaccia) che prende l'iniziativa del dialogo di aiuto; - CONTROLLATO DA UTENTE o DA SISTEMA, a seconda dell'agente che determina l'evoluzione del dialogo di aiuto. LA VALUTAZIONE DI FIRE Sulla base dello schema dei vari tipi di aiuto e usando il sistema prototipo FIRE (Flexible Information Retrieval Environment) [3], abbiamo progettato e condotto (insieme ad un gruppo di psicologi) un esperimento volto a: (i) valutare il valore aggiunto del supporto fornito da FIRE (aiuto terminologico, contestuale, su richiesta e controllato dal sistema) e (ii) determinare l'importanza dei diversi tipi di aiuto e la migliore modalita` per offrirli. Quarantacinque studenti di informatica sono stati addestrati appropriatamente e suddivisi in tre gruppi sperimentali ed e` stato chiesto loro di risolvere due problemi informativi sotto diverse condizioni sperimentali (diversi tipi e modalita` di aiuto disponibili). Mediante logging, videoregistrazioni e questionari sono stati raccolti dati oggettivi relativi al comportamento dei soggetti e alle loro prestazioni, e dati soggettivi relativi alla soddisfazione per i risultati ottenuti dalle ricerche, all'efficacia del sistema e all'efficacia dell'aiuto ricevuto. L'analisi statistica dei dati raccolti dall'esperimento porta alle seguenti considerazioni generali: - Il supporto terminologico e` importante: esso viene richiesto esplicitamente e va fornito in modalita` contestuale. Tuttavia, l'aiuto terminologico offerto da FIRE accresce la soddisfazione dell'utente solo in problemi di ricerca relativamente semplici da affrontare e non migliora significativamente le prestazioni oggettive. Cio` sembra essere dovuto al fatto che, in problemi piu` difficili da risolvere, l'utente da solo non sempre riesce a superare scogli di natura strategica: l'aiuto terminologico, sebbene sembri potenzialmente utile, non basta. - L'aiuto strategico e` cruciale. Esso deve essere fornito spontaneamente, dato che l'utente tende a non percepire le difficolta` strategiche. Esso deve essere anche orientato in maniera da: (i) facilitare l'identificazione dei concetti principali attorno ai quali l'utente deve formulare la sua interrogazione; (ii) suggerire all'utente come allargare l'insieme di documenti reperiti da un'interrogazione; e (iii) diagnosticare comportamenti dell'utente che sono non efficaci (come il ripetere piu` volte la stessa sequenza di operazioni pur avendone verificato l'inefficacia) o addirittura inconsistenti. - L'aiuto tecnico e` anche essenziale per migliorare l'usabilita` dell'interfaccia. Aiuto tecnico contestuale puo` essere fornito, a seconda dei casi, sia su richiesta che spontaneamente. - Gli utenti preferiscono un'interazione che sia controllata da loro e non dal sistema. L'interfaccia deve permettere e facilitare lo svolgimento in parallelo di diverse attivita` (ad es. modificare l'interrogazione, consultare un thesaurus o leggere un documento reperito) nonche' l'esplorazione autonoma dello spazio delle informazioni disponibili (relazioni tra termini, termini e documenti, contenuto dei documenti, ecc.). CONCLUSIONI Crediamo che questo tipo di esperimenti sia essenziale per determinare la qualita` di un'interfaccia intelligente per sistemi di information retrieval e per valutare il progresso tra diversi stadi di sviluppo dell'interfaccia. Esperimenti di questo tipo catturano aspetti dell'interazione uomo-macchina che finora sono stati presi in scarsa considerazione e che invece forniscono molti dati sulla base dei quali si possono prendere adeguate decisioni di progetto. RINGRAZIAMENTI Per l'aiuto fornito nello svolgimento delle diverse fasi di questo lavoro ringraziamo Alessandro Bortuzzo, Antonella de Angelis, Danilo Fum, Irina Stultus. Pier Giorgio Marchetti ci ha gentilmente reso disponibile una porzione di INSPEC su cui svolgere le ricerche. REFERENZE [1] M.J. Bates "Where should the person stop and the information interface start?", Information Processing and Management 26(5), 1990, pp. 575-591. [2] N. Belkin, H. Brooks e P. Daniels "Knowledge elicitation using discourse analysis", International Journal of Man-Machine Studies 27, 1987, pp. 127-144. [3] G. Brajnik, S. Mizzaro e C. Tasso "Interfacce intelligenti a banche di dati bibliografici", in Sistemi evoluti per basi di dati, D. Sacca` (Ed.), Franco Angeli, Milano, 1995. [4] G. Brajnik, S. Mizzaro e C. Tasso "Evaluating user interfaces to information retrieval systems: a case study on user support", in ACM SIGIR'96, 19th International Conference on Research and Developments in Information Retrieval, Zurich, Switzerland, August 1996. To appear. [5] P. Ingwersen "Information Retrieval Interaction", Taylor Graham, London, 1992.