Relazione Progettazione Siti Web

Test con Utenti del sito http://www.raitre.rai.it

schermata sito

(schermata estratta il 18/06/2007)

Realizzato da: Robert Casanova , Federico Nicoloso e Federico Vitiello

[Inizio]

Introduzione

Il test con utenti è un metodo sperimentale informale che si prefigge di valutare i possibili difetti di usabilità che si possono riscontrare in un sistema interattivo mediante l´analisi del comportamento che gli utenti adottano nel corso dell´utilizzo di questo sistema.

L´indagine serve ad individuare i difetti più gravi del sistema e non ha alcuna valenza statistica nè significa che non vi siano altri difetti in esso.

Vengono definiti dagli sperimentatori dei casi d´uso che servono a guidare l´interazione dell´utente con il sistema. Il protocollo per raccogliere informazioni dai soggetti è il "think aloud" (it: "pensa ad alta voce"). Al partecipante viene chiesto di svolgere il compito previsto dallo scenario commentando ad alta voce ciò che gli accade, cosa vorrebbe ottenere, ed in generale possibilmente ogni suo processo mentale. Poichè si tratta di un´indagine senza valenza statistica non è necessario sottoporre i soggetti a questionari di screening per verificare i loro requisiti.

L´esperimento si suddivide nelle fasi di:

  1. Briefing iniziale, nel quale si spiega all´utente quali sono gli scopi del test e gli si fa capire che non è lui ad essere valutato. Gli viene inoltre spiegato come avverrà l’intervista.
  2. Descrizione di uno scenario, al soggetto si descrive un caso d´uso che definisce il compito che dovrà svolgere interagendo con il sistema.
  3. Svolgimento mediante "think aloud", lo sperimentatore deve stare attento a non "sporcare" i risultati fornendo indicazioni e suggerimenti oppure domande polarizzate.
  4. Debriefing finale: intervista, all´utente vengono poste alcune domande a caldo riguardo come si è trovato con il sistema e quali suggerimenti abbia per gli sviluppatori.
  5. Analisi dei risultati.

[Inizio]

Perimetro dell’indagine

Le interviste per il test con utenti sono state realizzate nella prima metà del mese di maggio 2007. Sono stati considerati sei casi d’uso pensati per coprire le casistiche di utilizzo di un utente medio e per provare certi servizi sensibili del sito.

I casi d’uso sono così definiti:

  1. “Vuoi sapere che programma sarà in onda stasera dopo cena, a che ora esatta inizierà e quali saranno i contenuti.”
  2. “Cerchi le previsioni del tempo per domani nella tua regione.”
  3. “Vuoi sapere quali sono gli autori e registi di Ballarò.”
  4. “Conosci Corrado Augias ma non ti ricordi quali programmi conduca su RaiTre.”
  5. “Desideri sapere come si fa a partecipare a un programma di RaiTre.”
  6. “Cerchi informazioni sul direttore di RaiTre, vorresti leggere la sua biografia e scrivergli per fornirgli dei suggerimenti.”

Tutti i sei casi d’uso comprendevano l’analisi delle cinque pagine principali del sito (Homepage, Programmi, Palinsesto, Personaggi ed email) poiché gli utenti erano liberi di navigarvi e spesso ne hanno visualizzate più d’una per ogni caso d’uso. Avremmo voluto inserire i titoli e i collegamenti alle pagine ma raramente essi sono significativi ed alcune pagine si aprono tramite javascript non permettendo di copiare l'indirizzo (es. "palinsesto").

[Inizio]

Sommario risultati

Il difetto più grave, classificato come catastrofico, risultante dal test con gli utenti riguarda il motore di ricerca interno del sito. Si tratta in realtà di tre motori di ricerca differenti. Quello nella homepage che dovrebbe fornire risultati su tutto il contenuto del sito, quello in “Programmi” dedicato, appunto, ai programmi e quello in “Personaggi” dedicato a quest’ultimi.

Il motore di ricerca principale è del tutto non funzionante e non fornisce alcun messaggio a riguardo. Ovvero quando si inserisce la parola da ricercare e si preme invio, dopo un’attesa di mezzo minuto abbondante, compare una pagina d’errore del browser per mancanza di risposta dal server. I motori in “Programmi e in "Personaggi” forniscono risultati solo se si inserisce un nome presente nella lista affianco alla casella di ricerca. Non gestiscono errori di battitura né accenti cambiati. Non è possibile effettuare ricerche intelligenti, per esempio in “Personaggi”, scrivere il nome di un programma e trovare così tutti i personaggi ad esso collegati.

Il difetto ha come conseguenza quella di rallentare di molto la navigazione dell’utente oltreché frustrarlo e c’è il rischio che un’informazione presente nel sito venga ritenuta assente perché il motore di ricerca non la rileva.

Altro difetto catastrofico è la mancanza di un collegamento per scaricare il plugin per javascript senza il quale il sito non è navigabile.

La mancanza di un collegamento diretto al meteo è stato classificato come problema importante, gli utenti in generale sono riusciti ad aggirare il problema ma hanno faticato parecchio e in condizioni non controllate avrebbero cambiato sito prima di trovare la soluzione.

Il termine “Palinsesto” è poco conosciuto dall’utente medio. Nel test da noi effettuato 4 utenti su 5 non ne conoscevano il significato. Sono riusciti comunque tutti ad aggirare il problema cliccando sul collegamento e osservando la pagina che si apriva. Classifichiamo il difetto come importante a causa della frustrazione generata nell’utente e perché la pagina dietro questo collegamento è da ritenersi la più frequentemente richiesta dagli utenti.

Infine tra i difetti più gravi, classificato come importante, inseriamo la mancanza di una qualsiasi informazione che riguardi il direttore di RaiTre. Non solo non è presente la sua biografia né un contatto per scrivergli né una foto, ma non c’è nemmeno il nome!

Oltre ai sopra elencati difetti principali, l’indagine da noi effettuata ha evidenziato altri problemi minori, che si possono trovare nella sezione “Dettaglio risultati” insieme a suggerimenti forniti dai soggetti intervistati.

[Inizio]

Metodologia

Utenti

Il test è stato condotto su cinque utenti nella fascia di età tra i 20 e i 50 anni. Due di essi sono lavoratori mentre gli altri, studenti universitari di varie facoltà. Ognuno di essi si è autodefinito di abilità media nell’uso del computer. Il sito in questione è destinato ad una larga fascia di utenza e pertanto non è stato necessario selezionare utenti con particolari caratteristiche, abitudini e/o conoscenze pregresse. Dunque non abbiamo sottoposto questionari di screening ai soggetti ma, per quanto ci è stato possibile abbiamo ricercato individui con diverso background culturale e di diversa età. Di seguito alcune informazioni divise per utente.

Utente 1:
Età: 45
Sesso: femmina
Professione: cassiera
Tempo medio di utilizzo del computer: un paio di volte al mese
Tempo medio di utilizzo di Internet: raramente
Scopo prevalente per cui accede alla rete: cercare informazioni specifiche
Utente 2:
Età: 23
Sesso: maschio
Professione: appena laureato in scienze della comunicazione
Tempo medio di utilizzo del computer: 3-4 ore al giorno
Tempo medio di utilizzo di Internet: 1/2 ora al giorno
Scopo prevalente per cui accede alla rete: svago, lavoro, per essere di tendenza
Utente 3:
Età: 24
Sesso: maschio
Professione: studente di Ingegneria
Tempo medio di utilizzo del computer: 1 ora al giorno
Tempo medio di utilizzo di Internet: 45 minuti al giorno
Scopo prevalente per cui accede alla rete: sport, email, studio
Utente 4:
Età: 49
Sesso: maschio
Professione: tecnologo alimentare
Tempo medio di utilizzo del computer: 3-4 ore al giorno
Tempo medio di utilizzo di Internet:1 ora al giorno
Scopo prevalente per cui accede alla rete: email, ultime notizie
Utente 5:
Età: 23
Sesso: femmina
Professione: studentessa di lingue
Tempo medio di utilizzo del computer: 1 ora al giorno
Tempo medio di utilizzo di Internet: 1 ora al giorno
Scopo prevalente per cui accede alla rete: notizie, email, chat

Tutti gli utenti intervistati hanno eseguito il test sul proprio elaboratore e ciò ha favorito la naturalezza dell’esperienza e dei risultati. Il sistema operativo è stato per tutti Windows XP tranne il secondo utente che operava su Windows Vista. I browser utilizzati erano: Mozilla Firefox 2.0 per il primo utente, Internet Explorer 7 per il secondo che ha poi dovuto passare a Mozilla Firefox a causa dell’inutilizzabilità del sito con tale browser e Internet Explorer 6 per i restanti. Le risoluzioni di schermo con cui hanno operato sono comprese tra 1280*800 e 1024*768.

 

[Inizio]

[Metodologia]

Parametri

Protocollo think-aloud

Nell’esecuzione del test con gli utenti è stato seguito il protocollo think-aloud per cui si è chiesto all’intervistato di commentare ad alta voce ogni passo del procedimento da lui seguito, cosa intendesse ottenere con una data azione, cosa si aspettasse come risultato e, una volta ottenuto, che impressione questo gli dava. E’ stato chiesto di fornire commenti positivi e negativi. Per l’abbondanza di informazioni da raccogliere e per analizzare con calma in un secondo momento i vari passi eseguiti dall’utente, l’intervistatore ha filmato l’intervista con video e audio. Gli utenti sono stati informati di ciò preventivamente e tranquillizzati riguardo la diffusione di tali registrazioni. Abbiamo posto particolare attenzione a questo punto in quanto avrebbero potuto sentirsi inibiti e osservati, mentre era fondamentale che si esprimessero con linguaggio per loro naturale e non si sentissero giudicati.

[Inizio]

[Metodologia]

Gravità e severità

Nel sommario dei risultati ad ogni problema riscontrato è stato associato un indice di gravità. Per comprendere il significato dei vari indici si tenga presente la seguente classificazione.

  • problema minore: la presenza di questo problema viene notata dall’utente ma ci sono facili modi per aggirarlo o evitarlo se lo si riconosce o ricorda. In termini di tempo, la presenza di un problema di questo tipo ritarda di poco l’esecuzione del compito. Il problema incide sulla produttività e sulla soddisfazione; non incide sull’efficacia né sulla sicurezza.
  • problema importante: il problema viene notato ed esso ha una grossa influenza nel modo di proseguire il compito da parte dell’utente. L’esecuzione del compito viene ritardata finanche di 5 minuti. Esso incide pesantemente sulla produttività e sulla soddisfazione. Può incidere anche sull’efficacia e sulla sicurezza, rendendo difficile, faticoso e/o rischioso il proseguimento del compito; è facile che l’utente compia degli errori. Spesso non è facile trovare delle vie alternative per ottenere lo scopo.
  • problema catastrofico: si tratta di un problema che porta molti utenti a rinunciare al raggiungimento dello scopo: gli errori possono essere molti e con gravi conseguenze, vie alternative non esistono. Nella migliore delle ipotesi (se cioè l’utente non rinuncia al raggiungimento dello scopo), la presenza di questo problema ritarda di più di 5 minuti l’esecuzione del compito. L’impatto negativo su efficacia e sicurezza è elevato; è ancora più elevato su produttività e soddisfazione.

Nel dettaglio risultati ad ogni problema è stato associato un livello di severità (minore, serio o critico), sulla base dei valori di frequenza e impatto, nel seguente modo:

  1. Frequenza 1: il problema è emerso una sola volta durante lo svolgimento del compito.
  2. Frequenza 2: il problema è emerso più di una volta durante lo svolgimento del compito.
  3. Frequenza 3: il problema è emerso continuamente durante lo svolgimento del compito.
  1. Impatto 1: la presenza del problema viene notata dall’utente, ma ci sono facili modi per aggirarlo od evitarlo. Esso non incide significativamente sulle capacità dell’utente di raggiungere con successo il termine del compito.
  2. Impatto 2: il problema non è facilmente aggirabile o evitabile dall’utente. L’utente perde molto tempo,e necessita di vari tentativi e ingegno. Il problema rende difficile, faticoso e/o rischioso il proseguimento del compito, ed è facile che l’utente desista.
  3. Impatto 3: il problema porta l’utente a rinunciare al raggiungimento dello scopo: gli errori possono essere molti e con gravi conseguenze; vie alternative non esistono.
Tabella per il calcolo della gravità delle barriere.
Impatto Frequenza Gravità
1 1 minore
1 2 minore
1 3 serio
2 1 serio
2 2 serio
2 3 critico
3 1 critico
3 2 critico
3 3 critico

[Inizio]

[Metodologia]

Casi d’uso

Sono stati considerati 6 casi d’uso. Tutti avevano come punto di partenza l’homepage del sito. Sono stati pensati per coprire tutte le macro aree del sito e le situazioni di utilizzo che si è immaginato essere comuni. Secondariamente si è cercato anche di coprire quelle che si erano già individuate essere criticità del sito.

Non si è voluto stabilire un criterio di difficoltà ai compiti prima di effettuare il test perché questi sono stati scelti in base alla frequenza con cui potrebbero capitare. Si è preferito agire così perchè quello che è un compito teoricamente non complesso, può rivelarsi difficile per l'utente a causa, per esempio, di un difetto del sistema.

Sono stati effettuati due test pilota, qui non riportati, per tarare l’adeguatezza dei compiti, stabilirne un ordine in base alla difficoltà percepita dall’utente (che potrebbe non coincidere con la complessità del compito) e individuare le domande da porre agli intervistati.

I test pilota hanno evidenziato anche l’inutilità di stabilire un tempo massimo per i compiti in questo particolare test con utenti, in quanto la somma dei tempi medi necessari per svolgere i singoli compiti è ampiamente sotto l’ora. Questo è il tetto di tempo consigliato per un test con utenti.

Di seguito riportiamo i casi d'uso sottoposti agli utenti:

Caso d’uso 1:

“Vuoi sapere che programma sarà in onda stasera dopo cena, a che ora esatta inizierà e quali saranno i contenuti.”

Percorso più breve: Homepage > Palinsesto > “nome programma” “Contenuti del programma”

Oppure

Homepage > “riquadro che riproduce parte del palinsesto” “nome programma” > “Contenuti del programma”
Pagina d’arrivo: http://www.chilhavisto.rai.it

oppure

http://www.ballaro.rai.it
Criteri di successo: Capire il senso della parola “palinsesto”, capire che i nomi dei programmi sono dei link che conducono alla pagina web degli stessi, capire che le informazioni riguardanti il contenuto del programma si trovano nella pagina a esso dedicata.
Caso d’uso 2:

“Cerchi le previsioni del tempo per domani nella tua regione.”

Percorso più breve: Homepage > Telegiornali Regionali > Guarda il meteo “regione”
Pagina d’arrivo: http://www.tgr.rai.it
Criteri di successo: riconoscere il bottone con la scritta Telegiornali regionali e immaginare che lì possa esserci anche il meteo. Nel caso in cui non si abbia il plugin realplayer già installato, capire che è per quel motivo che non si riesce a vedere il meteo e installarlo.
Caso d’uso 3:

“Vuoi sapere quali sono gli autori e registi di Ballarò.”

Percorso più breve: Homepage > Programmi > I programmi in onda > Ballarò > autori e registi
Pagina d’arrivo: http://www.raitre.rai.it/R3_HPprogrammi/1,5495,107*prog%5E%5E41,00.html
Criteri di successo: Riconoscere il bottone Programmi e il nome del programma, trovare le informazioni nel riquadro riassuntivo a destra
Caso d’uso 4:

“Conosci Corrado Augias ma non ti ricordi quali programmi conduca su RaiTre.”

Percorso più breve: Homepage > Personaggi > Corrado Augias > “bottone a scelta multipla” Guardalo su
Pagina d’arrivo: http://www.raitre.rai.it/R3_biografia/0,5435,62,00.html
Criteri di successo: Riconoscere il bottone Personaggi, trovare il nome del conduttore e capire il significato di “Guardalo su”
Caso d’uso 5:

“Desideri sapere come si fa a partecipare a un programma di RaiTre.”

Percorso più breve: Homepage > Email > FAQ > “Come posso partecipare ai programmi di RaiTre”
Pagina d’arrivo: http://www.raitre.rai.it/R3_FAQ
Criteri di successo: Capire che l’informazione se non è presente nel resto del sito va chiesta via email alla redazione, individuare le FAQ (Frequently Asked Questions) a lato del form per inviare le email.
Caso d’uso 6:

“Cerchi informazioni sul direttore di RaiTre, vorresti leggere la sua biografia e scrivergli per fornirgli dei suggerimenti.”

Percorso più breve: impossibile
Pagina d’arrivo: non esiste.
Criteri di successo: rendersi conto che l’informazione non è presente nel sito.

[Inizio]

[Metodologia]

Dettaglio risultati

Tabella riassuntiva dell’esito dei compiti assegnati agli utenti
Utente 1 Utente 2 Utente 3 Utente 4 Utente 5
Caso d’uso 1 fallimento successo succ.parziale successo successo
Caso d’uso 2 fallimento successo succ.parziale fallimento fallimento
Caso d’uso 3 successo successo successo successo successo
Caso d’uso 4 successo successo successo fallimento fallimento
Caso d’uso 5 successo successo successo fallimento fallimento
Caso d’uso 6 fallimento fallimento fallimento successo fallimento

[Inizio]

[Dettaglio Risultati]

Caso d’uso 1:

Vuoi sapere che programma sarà in onda stasera dopo cena, a che ora esatta inizierà e quali saranno i contenuti.

Comportamento utenti

Utente 1:

Esito: fallimento

Tempo impiegato: 2:53 minuti

L’utente inserisce nel motore di ricerca dell’homepage la parola “programmi” e ottiene una schermata d’errore. Non capisce il perché, clicca alla voce di menu “programmi” e visita il sito di “elisir” perché immagina sia il programma della serata da sue conoscenze pregresse. Cerca a lungo nel sito del programma. Non trovando l’informazione torna indietro e clicca su “palinsesto” pur non conoscendo il significato della parola. Naviga un po’ senza trovare l’informazione che cerca. Ritenta con il motore di ricerca senza capire l’output dato.

Utente 2:

Esito:successo

Tempo impiegato: 1:04 minuti

Palinsesto > cerca subito il programma delle 21 e 30, qui la pagina gli comunica la necessità di installare flash player fornendogli il collegamento, in poco tempo può continuare la navigazione. Entra nel sito di “Report” e nella prima pagina individua velocemente la descrizione della prossima puntata.

Utente 3:

Esito: successo parziale

Tempo impiegato: 1:58 minuti

Nota subito nell’homepage il riquadro con la programmazione della settimana, ci clicca sopra e nella nuova finestra con la programmazione individua e clicca sul programma in prima serata. Nel sito del programma “Chi l’ha visto” non riesce a trovare una descrizione del contenuto della prossima puntata e si arrende.

Utente 4:

Esito:successo

Tempo impiegato: 4:57 minuti

Cerca di usare la barra superiore ripetutamente, alcuni dei link non funzionano, quando clicca su uno funzionante finisce fuori dal sito in analisi e non se ne accorge. A questo punto l’intervistatore gli chiede di tornare al sito di RaiTre. Clicca su Programmi e torna indietro. Clicca sul riquadro con la programmazione e nella nuova finestra con un po’ di difficoltà individua e clicca sul programma della sera “Ballarò” e dopo un po’ trova nella home del programma le informazioni che cercava. Alla fine ammette di non sapere come ha fatto a trovarlo.

Utente 5:

Esito:successo

Tempo impiegato: 3:38 minuti

Programmi > cerca nella pagina programmi ma dopo un po’ si accorge che lì non troverà l’informazione che cerca. Prova su Palinsesto pur non sapendo cosa significhi la parola, trova il programma “Ballarò” e nel relativo sito individua subito il contenuto della prossima puntata.

[Inizio]

[Dettaglio Risultati]

Problemi emersi

Innanzitutto per il secondo utente, che lavorava su sistema Windows Vista installato da poco, con Internet Explorer 7 e senza javascript, sono stati necessari più interventi dell’intervistatore prima che l’utente potesse portare a termine alcun compito. Il sito, infatti, è del tutto inutilizzabile senza javascript e con Internet Explorer 7. E non viene fornito alcun messaggio di errore, né collegamento per scaricare il plugin. Si è dovuto installare un browser alternativo e scaricare manualmente il plugin dal sito della SUN.

Si è rilevato che, a parte il secondo utente, nessuno conosceva il significato del termine “Palinsesto”.

schermata con palinsesto

Ciò rende inaccessibile ai più la sezione relativa. In realtà, dato che il sito non è molto ampio, dopo un po’ tutti trovano la programmazione della settimana e ciò diminuisce l’impatto del problema poiché è possibile aggirarlo. Influisce pesantemente sulla soddisfazione dell’utente. L’utente 5 suggerisce di nominarlo “Programmazione settimanale”.

I primi due utenti suggeriscono di migliorare l’anteprima dei programmi rendendola più interessante ed evidente. Infatti tre utenti hanno faticato a trovare le informazioni riguardanti il programma cercato.

L’utente 2 lamenta lo scorrimento lento delle liste del sito.

L’intervistatore ha inoltre notato che il fatto che il palinsesto si apra in una nuova finestra non ridimensionabile peggiora l’usabilità del sito sia perché alcuni non si accorgono della nuova finestra aperta, sia perché quando poi si clicca sul sito desiderato, in Firefox, la finestra di quest’ultimo si apre in una tabulazione della stessa finestra del palinsesto, quindi più piccola e non ridimensionabile.

[Inizio]

[Dettaglio Risultati]

Tabella riassuntiva

Tabella riassuntiva dei problemi riscontrati nel corso del primo caso d'uso.
Problema Impatto Frequenza Gravità
Mancanza collegamento per scaricare il plugin javascript 3 1 critico
Lessico dei link non universalmente capibile dall’utenza es.:“Palinsesto” 2 2 serio
Scorrimento lento delle liste 1 3 serio
Apertura nuove finestre non ridimensionabili e a comandi ridotti al click su alcuni link 1 2 minore
Anteprima dei programmi poco evidente 1 2 minore

[Inizio]

[Dettaglio Risultati]

Caso d’uso 2:

Cerchi le previsioni del tempo per domani nella tua regione.

Comportamento utenti

Utente 1:

Esito: fallimento

Tempo impiegato: 4:26 minuti (con scaricamento plugin)

Osserva la homepage, clicca su programmi. Prova a digitare “meteo regionale” e si irrita per la mancanza di risposta. Ritenta con altre parole chiave finchè non vede il programma “Che tempo che fa”, ci clicca sopra e non trova l’informazione cercata. Naviga un po’ nella pagina del suddetto programma senza successo. Torna alla Homepage e clicca sulla barra superiore, l’intervistatore interviene per riportare l’utente sul sito in analisi. Entra in Programmi cercando qualcosa che le ricordi il meteo, non trovando niente si arrende.

Utente 2:

Esito:successo

Tempo impiegato: 9:48 minuti

Nella Homepage inserisce nel motore di ricerca fornito la parola “meteo”. Il motore non funziona e non da alcuna comunicazione all’utente della mancanza di questa funzionalità. Di fatto l’utente non capisce perché non ha ottenuto risultati. Il soggetto entra allora in programmi e ritenta in quel motore di ricerca con la stessa parola chiave. La risposta è “nessun programma trovato”. Torna indietro, clicca su “Palinsesto” cerca tra i programmi della sera finché trova “Telegiornale regione meteo”. Clicca su “meteo”. Nella nuova finestra “Friuli”. Si accorge velocemente che ha bisogno del plugin realplayer mancante. Clicca sul collegamento e inizia il download. Durante la (lunga) attesa fa notare che normalmente a questo punto avrebbe già desistito e sarebbe andato su qualche motore di ricerca tipo Yahoo o Google e digitando semplicemente “meteo regione” avrebbe trovato velocemente ciò che cercava senza bisogno di installare il plugin. Dopo diversi minuti e dopo aver dovuto riavviare il browser, riesce a visualizzare il meteo.

Utente 3:

Esito: successo parziale

Tempo impiegato: 3:28 minuti

Va su programmi, clicca sul programma “Che tempo che fa ” ma desiste presto pensando di aver sbagliato. Digita in “Programmi” nella casella di ricerca la parola “meteo” ma ottiene solo la risposta “Nessun programma trovato”. Torna alla homepage e l’osserva a lungo, vorrebbe rinunciare ma esortato a continuare preme quasi senza speranza il bottone “Telegiornali regionali” ed arriva alla pagina del meteo ma gli manca il plugin realplayer. Non è capace di installarlo e quindi si ferma qua.

Utente 4:

Esito: fallimento

Tempo impiegato: 5:10 minuti

Nel motore di ricerca della homepage, scrive “previsioni del tempo”. Il risultato è una pagina di errore del browser che non è riuscito a caricare la pagina. Dunque il servizio o è troppo lento e va oltre il timeout del server oppure non è implementato. Comunque sia non ne viene data comunicazione alcuna all’utente.Clicca su “TG 3” ma dalla pagina del telegiornale non riesce ad individuare il link relativo al meteo.Torna alla pagina iniziale e qui la scorre tutta e alla fine si arrende.

Utente 5:

Esito:fallimento

Tempo impiegato: 6:15 minuti

Scrive “previsioni” sul motore di ricerca della pagina iniziale ottenendo un messaggio di errore. Tornata indietro con l’apposito tasto del browser, scorre il riquadro con i programmi della giornata e clicca su “Telegiornale Nazionale”. Nel relativo sito non riesce ad individuare il collegamento ai meteo regionali come avrebbe sperato. L’utente è preoccupato di far brutta figura dunque il test viene interrotto e viene nuovamente spiegato che non è l’utente ad essere valutato. A questo punto l’utente torna alla homepage, tenta nuovamente di usare il motore di ricerca inserendo rispettivamente “regione” e “meteo”. Visto che anche questo non dava risultato dichiara di non voler più continuare.

[Inizio]

[Dettaglio Risultati]

Problemi emersi

Il motore di ricerca è il principale problema emerso in questo caso d’uso. Tutti gli utenti hanno tentato di usarlo ma quello della homepage non funziona del tutto e non fornisce messaggi a riguardo, ovvero l’unico risultato che ottiene l’utente è una pagina d’errore dal server.

schermata di errore del server

E il motore dedicato ai programmi fornisce il risultato desiderato solamente se si digita il nome esatto del programma che si sta cercando. Altrimenti comunica: “Nessun programma trovato”.

schermata nessun programma trovato

Secondo gli utenti 1, 4 e 5 sarebbe opportuno che la ricerca venisse estesa ad un maggior numero di contenuti e non solo ai titoli esatti dei programmi. L’utente 5 aggiunge che gradirebbe supportasse anche i generi, di modo che se uno digitasse “soap opera” venissero fuori tutte le soap opera messe in onda su RaiTre.

Il collegamento per raggiungere il meteo regionale presente sulla homepage è il tasto “Telegiornali Regionali” sulla sinistra della pagina.

tasto telegiornali regionali

Questa soluzione è vista da tutti gli utenti intervistati come altamente anti-intuitiva. All’unanimità suggeriscono un tasto che dica espressamente “Meteo”. L’utente 2 è molto contrariato nonostante sia l’unico ad aver completato il compito. Ritiene di aver perso assolutamente troppo tempo e assicura che in condizioni normali avrebbe cambiato sito.

L’utente 3 non ha potuto completare il compito perché non aveva il plugin di realplayer installato e non sapeva come installarlo. L’utente 2 che pure non aveva il plugin, anche se è riuscito ad installarlo, sostiene che sia assurdo non sia stato previsto un metodo alternativo per conoscere le previsioni del tempo, per esempio testuale o vocale.

[Inizio]

[Dettaglio Risultati]

Tabella riassuntiva

Tabella riassuntiva dei problemi riscontrati nel corso del secondo caso d'uso.
Problema Impatto Frequenza Gravità
Motore di ricerca non implementato nella homepage 2 3 critico
Motore di ricerca incompleto in “Programmi” 2 3 critico
Mancanza di un collegamento diretto al meteo 2 3 critico
Plugin realplayer per visualizzare il meteo 2 2 serio

[Inizio]

[Dettaglio Risultati]

Caso d’uso 3:

Vuoi sapere quali sono gli autori e registi di Ballarò.

Comportamento utenti

Utente 1:

Esito: successo

Tempo impiegato:2:01 minuti

Entra in Programmi. Digita “Ballaro” e ottiene come risultato “Nessun programma trovato”. Non capisce perché. Scorre la lista dei programmi fino a trovare il programma “Ballarò” e lo clicca. L’intervistatore qui nota che il motore di ricerca non ha dato il risultato per la sola mancanza dell’accento sulla “o”. Certamente dovrebbe essere più flessibile. L’utente individua velocemente nel riquadro a destra le informazioni cercate sul dato programma.

Utente 2:

Esito: successo

Tempo impiegato: 1:04 minuti

Entra in “Programmi”. Digita “Ballaro” nel motore di ricerca. Si accorge dell’errore, mette l’accento sulla “o”, lamentando la mancanza di flessibilità del motore di ricerca. Non vede le informazioni nel riquadro a destra ed entra direttamente nel sito del programma dove in pochi istanti trova i nomi di autori e registi.

Utente 3:

Esito: successo

Tempo impiegato: 2:57 minuti

Afferma di essere indeciso se cercare tra “Palinsesto” e “Personaggi”. Clicca su “Palinsesto” pur non conoscendo il significato del termine. Ritiene di essere andato fuori strada. Torna indietro. Clicca su “Personaggi”. Inserisce senza successo nel motore di ricerca i termini “autori” e “Ballarò” e ottiene solo una lista bianca per i personaggi. Notare che non vien dato alcun risultato neppure digitando il nome di un programma. L’utente prova su “Programmi” scorrendo la lista trova “Ballarò”, non riconosce le informazioni nel riquadro a destra ed entra nel sito del programma dove trova subito i nomi di autori e registi.

Utente 4:

Esito: successo

Tempo impiegato:1:55 minuti

Clicca su “Personaggi”, torna alla homepage, entra in “Programmi”. Scorre la lista, clicca su “Ballarò” entra nel sito e trova con un’occhiata autori e registi.

Utente 5:

Esito: successo

Tempo impiegato: 1:35 minuti

Scrive “Ballaro” nel motore di ricerca della homepage e ottiene la schermata di errore precedentemente descritta e illustrata. Entra in “Programmi”. Scorre la pagina, clicca su Ballarò e trova le informazioni nel riquadro a destra.

[Inizio]

[Dettaglio Risultati]

Problemi emersi

Il compito non ha presentato particolari difficoltà, infatti tutti gli utenti sono riusciti a completarlo in poco tempo. Ciononostante sono emersi un paio di problemi riguardanti i motori di ricerca interni al sito.

Il motore di ricerca della sezione Programmi non è abbastanza flessibile da considerare come valido il termine “Ballaro” quando si cerca la trasmissione “Ballarò” Dovrebbe non considerare gli accenti nè gli errori di battitura.

Il motore di ricerca della sezione “Personaggi” fornisce risultati utili solo se si digita il nome e/o cognome corretto di chi si sta ricercando. L’utente 3 lamenta che scrivendo il nome di un programma dovrebbe elencare tutti i personaggi che hanno a che fare con esso. Inoltre, in caso non trovi niente, il motore non dà alcun messaggio di errore ma solo una lista vuota.

 

[Inizio]

[Dettaglio Risultati]

Tabella riassuntiva

Tabella riassuntiva dei problemi riscontrati nel corso del terzo caso d'uso.
Problema Impatto Frequenza Gravità
Motore di ricerca non implementato nella homepage 2 3 critico
Motore di ricerca incompleto e non flessibile in “Programmi” e in “Personaggi” 2 3 critico

[Inizio]

[Dettaglio Risultati]

Caso d’uso 4:

Conosci Corrado Augias ma non ti ricordi quali programmi conduca su RaiTre.

Comportamento utenti

Utente 1:

Esito: successo

Tempo impiegato: 1:14 minuti

In “Personaggi” clicca su “Corrado Augias”. Legge la biografia senza trovare che programmi conduca. Dopo un po’ nota il tasto “Guardalo su” e cliccando sulla freccetta capisce che i due programmi elencati sono quelli da lui condotti.

Utente 2:

Esito:successo

Tempo impiegato: 0:32 minuti

Digita “Augias” nel motore di ricerca della homepage, segue schermata d’errore già descritta. Va su “Personaggi”. Clicca su “Corrado Augias”, clicca su “guardalo su” e capisce di essere arrivato.

Utente 3:

Esito: successo

Tempo impiegato: 3:12 minuti

Entra in “Personaggi”, clicca su “Corrado Augias”. Legge e rilegge più volte la biografia senza trovare l’informazione cercata (perché non presente). Clicca su “Storie” e “Enigma”e capisce che è il conduttore di entrambi.

Utente 4:

Esito: fallimento

Tempo impiegato: 3:25 minuti

Clicca sulla barra superiore su “Programmi A-Z” ma ottiene un messaggio di errore.

Torna alla homepage, digita “Corrado” nel motore di ricerca ma non ottiene altro che un messaggio di errore del server. Torna alla homepage, nota in un riquadro in basso il nome di Augias e la sua foto e ci clicca sopra. Arriva sulla pagina di “Enigma” dove legge che il personaggio in questione ne è regista. Pensa di essere arrivato ma l’intervistatore gli fa notare che così non è sicuro che conduca solo quello e non anche altri. L’utente clicca sulla biografia di Augias dal sito “Enigma” e leggendola si convince che egli non conduca altri programmi. Dunque l’esito del compito è un fallimento.

Utente 5:

Esito: fallimento

Tempo impiegato: 5:02 minuti

Clicca su “Personaggi”, “Corrado Augias”. Legge a lungo la biografia senza trovare le informazioni. Torna indietro a “Personaggi”. Torna alla pagina iniziale, riconosce in un riquadro in basso la foto di Augias accompagnata dal suo nome, nel relativo articoletto legge anche che è il conduttore di “Enigma”. Pensa di essere arrivata ma le viene fatto notare che non è detto che Augias non conduca altri programmi. A questo punto l’utente comincia a cercare un po a caso cliccando su “Palinsesto” e “Personaggi” e alla fine si arrende.

[Inizio]

[Dettaglio Risultati]

Problemi emersi

Il tasto “guardalo su” è l’unico modo per capire che programmi conduca il personaggio cercato. Dagli utenti 4 e 5 e ritenuto poco intuitivo.

schermata con "guardalo su"

L’utente 3 inoltre fa notare che non è sicuro che il personaggio conduca i programmi, ma solo che vi partecipi.

I motori di ricerca delle varie pagine continuano ad intralciare la risoluzione dei compiti anziché favorirla.

 

[Inizio]

[Dettaglio Risultati]

Tabella riassuntiva

Tabella riassuntiva dei problemi riscontrati nel corso del primo caso d'uso.
Problema Impatto Frequenza Gravità
Tasto “guardalo su” poco intuitivo del contenuto e non esaustivo 2 2 serio

[Inizio]

[Dettaglio Risultati]

Caso d’uso 5:

Desideri sapere come si fa a partecipare a un programma di RaiTre.

Comportamento utenti

Utente 1:

Esito: successo

Tempo impiegato: 1:21 minuti

Clicca su “Programmi”, non trova l’informazione. Clicca su “email” ragionando che lei manderebbe una email. A sinistra del form per compilare ed inviare le email trova una lista di FAQ (Frequently Asked Questions) e, pur non sapendo di cosa si tratti, la legge finchè non trova la domanda e risposta che riguarda come si fa a partecipare ad un programma di RaiTre.

Utente 2:

Esito:successo

Tempo impiegato: 0:25 minuti

Clicca su email, nota le FAQ sulla sinistra e in qualche secondo individua la domanda e risposta che cerca.

Utente 3:

Esito: successo

Tempo impiegato: 1:09 minuti

Chiede ulteriori spiegazioni perché non ha capito il caso d’uso. Compresa la necessità a cui deve trovare risposta, clicca su “email” e sulla sinistra trova la domanda e risposta che fa al caso suo.

Utente 4:

Esito: fallimento

Tempo impiegato: 5:42 minuti

Scorre e osserva a lungo la homepage alla ricerca dell’informazione. Entra in “Programmi”, cerca l’informazione anche nella lista ma non trova niente. Clicca su “Palinsesto” e in breve richiude la finestra che si è aperta. Torna in “Programmi” dove clicca su un programma a caso nella speranza di scoprire la procedura ma non trova la soluzione e si arrende.

Utente 5:

Esito: fallimento

Tempo impiegato: 4:15 minuti

Scorre e guarda a lungo la homepage. Entra in “Programmi” e clicca sul primo della lista. Cerca nel sito del programma le informazioni ma non trovandole torna alla pagina iniziale. Nel motore di ricerca inserisce “partecipare” e non ottiene risultati utili.

[Inizio]

[Dettaglio Risultati]

Problemi emersi

Manca un collegamento diretto alle domande richieste di frequente (FAQ) ma in realtà queste sono collegate nel luogo giusto in quanto quando l’utente ha una domanda a cui non trova risposta nel sito solitamente cerca di mandare un’email e le nota sulla sinistra della pagina.

Generalmente il compito si è dimostrato essere alla portata della maggior parte degli utenti.

 

[Inizio]

[Dettaglio Risultati]

Tabella riassuntiva

Tabella riassuntiva dei problemi riscontrati nel corso del primo caso d'uso.
Problema Impatto Frequenza Gravità
Mancanza collegamento diretto alle FAQ 1 1 minore

[Inizio]

[Dettaglio Risultati]

Caso d’uso 6:

Cerchi informazioni sul direttore di RaiTre, vorresti leggere la sua biografia e scrivergli per fornirgli dei suggerimenti.

Comportamento utenti

Utente 1:

Esito: fallimento

Tempo impiegato: 3:32 minuti

Entra in “Personaggi” digita “direttore RaiTre” nel motore di ricerca  e come risultato ottiene una lista bianca. Nota che senza conoscere il nome del direttore la pagina personaggi è inutile. Torna alla homepage e ripete l’operazione con il relativo motore di ricerca sempre senza successo. Clicca su “email” e cerca nella form se riesce a trovare l’indirizzo del direttore. Legge le FAQ. Torna alla homepage, a questo punto non sa più dove guardare perché le sembra di aver visitato tutto il sito e cerca un po’ a caso in “Personaggi”. Dopo un po’ si arrende, dicendo che non sa trovarlo. L’obiettivo non è raggiunto in quanto l’utente non ha capito che l’informazione non è presente nel sito.

Utente 2:

Esito: fallimento

Tempo impiegato: 4:10 minuti

Va su “Personaggi”, si rende conto che senza sapere il nome non può fare nulla, ha già notato nei compiti precedenti che il motore di ricerca non funziona se non inserendo un nome tra quelli presenti nella lista. Clicca su “email”. Nella form clicca su “Scrivi a…” ma non trova l’informazione che gli serve tra le opzioni disponibili. Nelle FAQ non trova nulla di utile. Torna alla homepage, digita “direttore” e non ottiene nulla. Esegue la stessa operazione anche in programmi pur commentando in anticipo che pensa non otterrà niente. A questo punto pensa di aver visto tutto il sito e non sa più cosa fare, legge per un po’ la homepage e alla fine dice che non sa trovare l’informazione.

Utente 3:

Esito: fallimento

Tempo impiegato: 2:57 minuti

Scorre a lungo la homepage, clicca su “Personaggi” e non trovando niente torna alla home. Digita nel motore di ricerca “direttore”  e non ottiene risultati. Vorrebbe cercarlo sul sito della Rai ma gli viene fatto notare che uscirebbe dal sito in esame. Ritiene di aver già visitato tutto il sito e decide di vagare nella speranza di trovare il nome del direttore da qualche parte. Pensa anche di scorrere tutti i personaggi leggendo tutte le biografie ma non ne ha voglia e rinuncia.

Utente 4:

Esito:successo

Tempo impiegato:6:46 minuti

Nella homepage digita “direttore” sul motore di ricerca senza risultato. Entra in “Personaggi”. Li scorre tutti anche se non sa il nome. Ritenta con il motore di ricerca della pagina ma non ottiene niente alla parola “direttore”. Clicca su “Palinsesto” ma non è quel che gli serve e chiude la finestra tornando alla home. A questo punto ritiene di aver già visitato tutto e dice che secondo lui non c’è questa informazione ed è così infatti.

Utente 5:

Esito: fallimento

Tempo impiegato: 5:03 minuti

Va in “email” e clicca su “Scrivi a…”, tra le opzioni non trova quella che le serve. Legge le FAQ e poi torna alla home. Clicca su “Personaggi” e poi su “Palinsesto” che richiude presto. Clicca su “Telegiornale Nazionale” e le viene chiesto di rientrare nel sito di RaiTre. Scrive “direttore” nei tre motori di ricerca del sito senza successo. A questo punto ripete i passi di prima senza convinzione e alla fine rinuncia.

[Inizio]

[Dettaglio Risultati]

Problemi emersi

Il compito richiesto era impossibile e solo un utente se ne è accorto. Il problema è proprio l’irreperibilità di una qualsiasi informazione riguardante il direttore. L’utente non ha nemmeno modo di scoprire chi sia il direttore di RaiTre.

Durante questo compito praticamente la totalità degli utenti si è dimostrata realmente infastidita dall’inutilità dei motori di ricerca, l’intervistatore ha spesso dovuto gestire la frustrazione del soggetto.

 

 

[Inizio]

[Dettaglio Risultati]

Tabella riassuntiva

Tabella riassuntiva dei problemi riscontrati nel corso del terzo caso d'uso.
Problema Impatto Frequenza Gravità
Non c'è alcuna informazione sul direttore 3 1 critico

[Inizio]

[Dettaglio Risultati]

Debriefing

Le domande poste a caldo agli utenti alla fine della sequenza di casi d’uso hanno evidenziato ulteriori aspetti positivi e negativi del sito.

Alla domanda su che impressione generale avessero del sito i soggetti hanno risposto più o meno unanimi che il layout dà una sensazione di povertà e inaccuratezza (l’utente 4 ha apprezzato il colore verde, invece criticato dall’utente 3) e che non sfrutta bene lo spazio della pagina. Si sono detti tutti stressati per la inadeguatezza dei motori di ricerca. Gli utenti 1 e 2 avrebbero gradito un’anteprima più chiara e completa dei programmi prima di dover entrare nei relativi siti. L’utente 3 lamenta che la schermata della prima pagina induce a pensare che il motore di ricerca sia dedicato ai Telegiornali per la loro contiguità.

L’utente 4 suggerisce di dividere i programmi per genere con un menu apposito, Per esempio: Soap opera, talk show, informazione…

Il sito è stato generalmente considerato utilizzabile, seppur la navigazione in esso non sia piacevole.

[Inizio]

Relazione elaborata nell'arco dei mesi di maggio e giugno 2007 - Copyleft - Robert Casanova, Federico Nicoloso, Federico Vitiello