Valutazione di usabilità mediante test su utenti

Sito web di Radio Rai3

Svolgimento dei test: 07 gennaio 2011 - 09 gennaio 2011

Introduzione

Lo user testing è un'insieme di metodi concepiti per verificare il grado di usabilità dell'oggetto in analisi, utilizzando l'esperienza di persone reali che interagiscono con l'interfaccia, guidate da un'obiettivo da raggiungere. Lo user testing è un metodo sperimentale informale che permette di ottenere buoni risultati con relativamente poco sforzo.
Lo user testing si basa su diverse fasi: una fase iniziale di pianificazione dell'esperimento che prevede la scelta dei compiti che si daranno ai partecipanti, la descrizione di alcuni scenari che creano il contesto, un protocollo che stabilirà dettagliatamente che cosa uno sperimentatore potrà dire e cosa no, ed un elenco di domande che saranno formulate nell'intervista conclusiva. Per ottenere dati affidabili è consigliato sottoporre il test ad almeno 15 utenti; tuttavia risultati significativi si possono ottenere già con un campione di 5 utenti della stessa categoria.

Torna all'inizio della pagina

Metodologia utilizzata

Ai partecipanti selezionati sono state fornite tutte le informazioni necessarie per lo svolgimento del test (scopo, cosa è lecito che egli faccia oppure no, cosa è lecito che lo sperimentatore dica oppure no, come saranno usati i dati raccolti durante il test e il questionario).
A questa prima fase, definita di briefing, segue la fase di svolgimento dei singoli compiti utilizzando il protocollo think aloud: all'utente veniva chiesto di spiegare ogni singolo passo della sua interazione, fornendo così indicazioni sulle proprie aspettative e sulle motivazioni che lo hanno spinto verso una soluzione piuttosto che un'altra. Questa metodologia ci ha permesso di individuare problemi a cui non avevamo pensato in fase di analisi.
Nell'ultima parte del test è stata fatta una breve intervista in cui abbiamo raccolto alcune considerazioni espresse da ogni singolo partecipante riguardo la propria esperienza di navigazione.

Dopo una accurata esplorazione delle varie sezioni del sito abbiamo individuato alcuni possibili problemi di usabilità basandoci su criteri quali l'efficacia delle funzionalità principali e la frequenza con cui tali problemi si sarebbero potuti verificare durante i test.
In base ai problemi individuati durante questa fase, abbiamo formulato dei compiti il cui scopo era quello di confermarci le nostre ipotesi.

Tra gli aspetti più critici dell'usabilità del sito sono emersi sia i problemi ipotizzati in fase di analisi, sia ulteriori difficoltà inizialmente non considerate.

Torna all'inizio della pagina

Profilo degli utenti

Secondo la ricerca condotta da Landauer e Nielsen, un test effettuato con 5 utenti riesce ad individuare circa l'85% dei problemi di usabilità di un sito web. Lo stesso studio afferma inoltre che soltanto con 15 utenti è possibile individuare la totalità dei problemi. Per il nostro test abbiamo selezionato un campione di 5 utenti, scelti all'interno di un elevato range di età e di esperienza generali riguardo ad Internet e alla navigazione sul web.

I nostri partecipanti sono stati sottoposti ad un questionario di screening pre-test, il cui obiettivo era quello di stilare un profilo di massima di ciascun utente. Nella tabella sottostante presentiamo un riassunto dei profili.

Scala utiilizzata per la frequenza di utilizzo di internet: Bassa, Media, Alta.
Scala utilizzata per il livello di esperienza con internet: Principiante, Intermedio, Avanzato, Esperto.

Utente Sesso Età Titolo di studio Professione Frequenza di utilizzo di Internet Livello di esperienza con Internet Conoscenza del sito Radio Rai3
U1 Maschio 54 Diploma Impiegato Bassa Intermedio No
U2 Femmina 50 Diploma Casalinga Bassa Intermedio No
U3 Maschio 57 Diploma Impiegato Media Intermedio No
U4 Femmina 59 Diploma Casalinga Bassa Principiante No
U5 Maschio 24 Diploma Impiegato Alta Avanzato No

Torna all'inizio della pagina

Svolgimento dell'esperimento

Ciascun utente si è trovato nella medesima situazione operativa: sia l'ambiente, sia il computer sono stati gli stessi per ognuna delle persone coinvolte.

Il computer utilizzato per i test presenta le seguenti caratteristiche:

Torna all'inizio della pagina

Compiti assegnati

I compiti scelti sono stati presentati agli utenti considerando il loro livello di difficoltà, iniziando da quelli più semplici e procedendo via via con quelli più complessi.

  1. Compito 1

    Scenario

    Vivete in un paese di montagna, dove il segnale radio non vi raggiunge. Potete pertanto ascoltare la radio solo mediate il ricevitore digitale satellitare. Vi mancano le frequenze in GHz di Rai Radio3 e le volete cercare sul sito internet, per poi poterle memorizzare. .

    Tempo

    5 minuti

    Possibile percorso
    Criterio di successo

    Trovare i dati in GHz della stazione radiofonica Radio3.

  2. Compito 2

    Scenario

    Volete intervenire in diretta alla trasmissione radiofonica "Prima Pagina" in onda tutti i giorni su Rai Radio3, ma non vi siete scritti il numero di telefono per partecipare alla diretta. Andate sul sito per cercarla.

    Tempo

    3 minuti

    Possibile percorso
    Criterio di successo

    Identificare il numero verde che permette di intervenire in diretta radiofonica al programma.

    Risultati dettagliati del compito 2


  3. Compito 3

    Scenario

    Siete degli appassionati di scienza e volete essere sempre aggiornati sulle ultime novità. Per questo motivo siete dei fedeli ascoltatori del programma "Radio3 Scienza" e non vi perdete alcuna puntata. Il 3 gennaio , però vi siete persi la puntata radiofonica in diretta a causa di un impegno di lavoro. Dato il vostro interesse volete riascoltare la puntata.

    Tempo

    5 minuti

    Possibile percorso
    Criterio di successo

    Riuscire ad ascoltare la puntata del 3 Gennaio 2011 del tuo programma preferito

    Risultati dettagliati del compito 3



  4. Compito 4

    Scenario

    Durante la puntata del 07/01/2011 del programma radiofonico "Tutta la città ne parla" di Rai Radio3, è stata letta in diretta una e-mail che una vostra carissima amica (Sabrina da Mestre), ha spedito al programma. Voi non vi ricordate tutto ciò che ha scritto e volete rileggerla.

    Tempo

    6 minuti

    Criterio di successo

    Riuscire a leggere online il testo della mail che la vostra amica vi ha mandato.

    Risultati dettagliati del compito 4

Torna all'inizio della pagina

Risultati

Sommario risultati

L'analisi dei risultati prodotti dal test ha evidenziato alcuni problemi gravi che si sono presentati spesso durante la navigazione. I principali sono:

Torna all'inizio della pagina

Risultati in dettaglio

I risultati in dettaglio sono stati innanzitutto raggruppati per compito, utilizzando una tabella dati che contiene, per ciascun partecipante, l'esito del compito, il tempo impiegato e i passi eseguiti.
Un compito si riete fallito quando:

Per ciascun passo effettuato da un utente, abbiamo utilizzato una immagine che permette di evidenziare a colpo d'occhio se il passo eseguito era corretto o se portava l'utente lontano dal corretto completamento del compito.

Torna all'inizio della pagina

Compito 1

Riportiamo di seguito i risultati del primo compito. Vengono descritti i singoli passaggi che gli utenti hanno eseguito durante il test; vengono anche inseriti i loro pensieri per meglio comprendere quali sono le difficoltà che stanno affrontanto.
Trovare i valori delle frequenze
Tempo massimo: 5 minuti.

Partecipante Esito Tempo Passi dell'esecuzione
U1 completato 3.5 minuti
  • fase superatadal form cerca, l'utente inserisce la parola chiave "frequenze"
  • fase superatadal risultato della ricerca, l'utente seleziona la voce come scoltare radio3
  • fase superataquindi seleziona con una tv con ricevitore digitale satellitare
  • fase superataseleziona vai al'elenco dei programmi; trova il dato che cercava.
U2 completato 4 minuti
  • fase superatal'utente scrolla la pagina per osservarla attentamente
  • fase non superatasi accorge che nella parte destra del sito c'è una voce frequenze e cerca di selezionarla; si accorge che non è un link pertanto si appresta a cercarne uno.
  • fase superatal'utente si accorge che nella stessa sezione è presente un piccolo link con scritto come ascoltare radio3; e lo seleziona.
  • fase superataquindi seleziona con una tv con ricevitore digitale satellitare
  • fase superataseleziona vai al'elenco dei programmi; trova il dato che cercava.
U3 completato 4 minuti
  • fase superatal'utente scrolla la pagina per osservarla attentamente
  • fase non superatasi accorge che nella parte destra del sito c'è una voce frequenze e vi pone sopra il cursore del mouse; si accorge che non è un collegamento ipertestuale.
  • fase superatasubito dopo si accorge che c'è un piccolo link con scritto come ascoltare radio3; e lo seleziona.
  • fase superataquindi seleziona con una tv con ricevitore digitale satellitare
  • fase superataseleziona vai al'elenco dei programmi; trova il dato che cercava.
U4 completato 4.5 minuti
  • fase superatal'utente osserva la pagina attentamente
  • fase non superatasi accorge che nella parte destra del sito c'è una voce frequenze e cerca di selezionarla; si accorge che non è un link e si appresta a cercarne uno.
  • fase superatasi accorge che nella stessa sezione sotto il numero verde è presente un piccolo link con scritto come ascoltare radio3; e lo seleziona.
  • fase superataquindi seleziona con una tv con ricevitore digitale satellitare
  • fase superataseleziona vai al'elenco dei programmi; trova il dato che cercava.
U5 completato 3 minuti
  • fase superatal'utente osserva la pagina attentamente
  • fase non superatal'utente focalizza l'attenzione sulla voce frequenze ma si accorge subito che non è un link.
  • fase superatasubito dopo si accorge della presenza di un piccolo link con scritto come ascoltare radio3; e lo seleziona.
  • fase superataquindi seleziona con una tv con ricevitore digitale satellitare
  • fase superataseleziona vai al'elenco dei programmi; trova il dato che cercava.

I riusultati che abbiamo ottenuto, ci hanno portato alla conclusione descritta precedentemente ai punti uno e due (leggi)

Torna alla descrizione del compito 1

Compito 2

Riportiamo di seguito i risultati del primo compito. Vengono descritti i singoli passaggi che gli utenti hanno eseguito durante il test; vengono anche inseriti i loro pensieri per meglio comprendere quali sono le difficoltà che stanno affrontanto.
Cercare il numero per la diretta
Tempo massimo: 3 minuti.

Partecipante Esito Tempo Passi dell'esecuzione
U1 completato 2 minuti
  • fase superatadalla home del sito, l'utente seleziona la voce del menù programmmi.
  • fase superataseleziona in seguito il nome del programma radiofonico prima pagina.
  • fase superatascruta la pagina e si focalizza sulla scritta contatti dove trova ciò che cercava.
U2 completato 2 minuti
  • fase superatadalla home del sito, l'utente seleziona la voce del menù programmmi.
  • fase superataseleziona in seguito il nome del programma radiofonico prima pagina.
  • fase superatascruta la pagina e si focalizza sulla scritta contatti dove trova ciò che cercava.
U3 completato 2.5 minuti
  • fase superatadigita nel form cerca le parole chiave "numero per intervenire".
  • fase superatadai risultati del motore di ricerca, l'utente seleziona il primo risultato (prima pagina).
  • fase superatascruta la pagina e si focalizza sulla scritta contatti dove trova ciò che cercava.
U4 rinuncia > 3 minuti
  • fase superatascrolla la pagina alla ricerca delle informazioni che le servono.
  • fase superata seleziona il nome del programma radiofonico prima pagina
  • fase non superatava alla ricerca del numero, scrollando la pagina, ma non riesce a trovare l'informazione e trascorsi i 3 minuti decide di rinunciare.
U5 completato 3 minuti
  • fase superatal'utente decide di cercare nel form , digitando numero telefono.
  • fase non superatasi accorge di non aver raggiunto lo scopo e decide di riprovare un'altra ricerca, digitando questa volta numero diretta prima pagina.
  • fase superatascrolla la pagina alla ricerca delle informazioni.
  • fase superatatrova la voce numero verde sotto la sezione contatti.

Il compito era semplice, ed infatti quasi tutti gli utenti sono riusciti a completare l'operazione richiesta. Solamente un utente non è riuscito a portare a termine lo scopo: nella parte di debriefing abbiamo chiesto all'utente il perchè e il problema si può ricondurre al fatto che l'informazione non era ben visibile. Questa osservazione è stata sottolineata anche dagli altri utenti, nonostante abbiano superato il test. Pensiamo che questi lo abbiano superato in base alla loro esperienza con internet.

Torna alla descrizione del compito 2

Compito 3

Riportiamo di seguito i risultati del primo compito. Vengono descritti i singoli passaggi che gli utenti hanno eseguito durante il test; vengono anche inseriti i loro pensieri per meglio comprendere quali sono le difficoltà che stanno affrontanto.
Riascoltare la puntata
Tempo massimo: 5 minuti.

Partecipante Esito Tempo Passi dell'esecuzione
U1 completato 4.5 minuti
  • fase superataesamina la home facendo uno scroll della pagina.
  • fase non superataseleziona dalla parte centrale del contenuto (identificata dall' id="Container") la voce Riascolta.
  • fase non superatanon avendo trovato ciò che cercava, focalizza la sua attenzione sulla la voce Oline nella barra laterale destra del sito; sotto tale voce si accorge di un calendario e seleziona la data del 3 Gennaio.
  • fase superatal'utente seleziona quindi la fascia della giornata in cui viene trasmesso il programma radiofonico (Mattina), e da qui seleziona il link Radio3 Scienza
  • fase superataseleziona dal menù della pagina la voce Puntate
  • fase superataseleziona quella del 3 gennaio
  • fase superataseleziona il link ascolta
U2 completato 3.5 minuti
  • fase superataesamina la home facendo uno scroll della pagina.
  • fase non superataseleziona dalla parte centrale del contenuto (identificata dall' id="Container") la voce Riascolta.
  • fase superataanche lei, non avendo trovato quello che cercava, focalizza la sua attenzione su Programmi e lo seleziona.
  • fase superataseleziona Radio3 scienza
  • fase superataseleziona dal menù della pagina la voce Puntate
  • fase superataseleziona quella del 3 gennaio
  • fase superataseleziona il link ascolta
U3 completato 4.5 minuti
  • fase superatal'utente focalizza la sua attenzione sul form cerca e immette come ricerca le parole "Radio Tre scienza"
  • fase non superataseleziona la prima voce che il motore di ricerca gli restituisce
  • fase non superatasi accorge che ciò che ha selezionato non era quello che voleva e torna indietro alla pagina precedente tramite i comandi del browser.
  • fase superatascrolla la pagina dei risultati per cercare ciò che cerca e seleziona la quarta voce.
  • fase non superataanche in questo caso si accorge che il risultato ottenuto non era quello desiderato e decide di selezionare la voce programmi dal menù principale.
  • fase superataseleziona Radio3 scienza
  • fase superataseleziona dal menù della pagina la voce Puntate
  • fase superataseleziona quella del 3 gennaio
  • fase superataseleziona il link ascolta
U4 fallito 5
  • fase superatal'utente focalizza la sua attenzione sul form cerca e immette come ricerca le parole "radio tre scienza ascolto"
  • fase non superataseleziona la prima voce che il motore di ricerca gli restituisce
  • fase non superatasi accorge che ciò che ha selezionato non era quello che voleva e torna indietro alla pagina precedente tramite i comandi del browser.
  • fase non superataseleziona la seconda voce che il motore di ricerca gli restituisce
  • fase non superatasi accorge che ciò che ha selezionato non era quello che voleva e torna indietro alla pagina precedente tramite i comandi del browser.
  • fase superatadecide di immetere un'altra parola chiave per la ricerca e inserisce "puntata 3 gennaio radio scienza"
  • fase non superataseleziona il primo risultato della ricerca e si ritrova nella home page del sito rai radio3.
  • fase non superatadecide di rinunciare al compito.
U5 completato 2.5 minuti
  • fase superataseleziona la voce Programmi
  • fase superataseleziona Radio3 scienza
  • fase superataseleziona dal menù della pagina la voce Puntate
  • fase superataseleziona quella del 3 gennaio
  • fase superataseleziona il link ascolta

I riusultati che abbiamo ottenuto, ci hanno portato alla conclusione descritta precedentemente sopratutto con i punti uno e quattro (leggi).

Torna alla descrizione del compito 3

Compito 4

Riportiamo di seguito i risultati del primo compito. Vengono descritti i singoli passaggi che gli utenti hanno eseguito durante il test; vengono anche inseriti i loro pensieri per meglio comprendere quali sono le difficoltà che stanno affrontanto.
Leggere la mail
Tempo massimo: 6 minuti.

Partecipante Esito Tempo Passi dell'esecuzione
U1 fallito 5 minuti
  • fase non superataseleziona dal menù principale la voce Mail
  • fase superatatorna alla home e poi seleziona la voce Programmi
  • fase superataseleziona tutta la città ne parla
  • fase non superataseleziona la voce la mail del giorno
  • fase non superatatorna alla pagina precedente attraverso gli strumenti del browser perchè si è accorto di non aver rsggiunto l'obbiettivo.
  • fase superatascrolla la pagina per vedere se riesce a trovare l'informazione che cerca
  • fase non superatadopo un po di tempo decide di riascoltare la puntata selezionando ascolta.
U2 rinuncia 5.5 minuti
  • fase non superataseleziona dal menù principale la voce Mail
  • fase superatatorna alla home e poi seleziona la voce Programmi
  • fase superataseleziona tutta la città ne parla
  • fase superataseleziona la voce 07 gennaio 2011
  • fase non superatatorna alla pagina precedente attraverso gli strumenti del browser perchè si è accorto di non aver rsggiunto l'obbiettivo.
  • fase non superatacerca su questa pagina ma alla fine rinuncia
U3 fallito 4 minuti
  • fase superatal'utente inserisce nel form cerca il nome del programma "tutta la città ne parla"
  • fase superatadai risultati che da il motore di ricerca l'utente seleziona la prima voce
  • fase superatal'utente si trova nella sezione podcast del programma radiofonico, a questo punto seleziona la data del 7 gennnaio
  • fase non superatanon trovando ciò che cerca, decide di riascoltare la puntata selezionando la voce ascolta puntata
U4 fallito > 6 minuti
  • fase non superataseleziona dal menù principale la voce Mail
  • fase superatatorna alla home e poi seleziona la voce Programmi
  • fase superataseleziona tutta la città ne parla
  • fase non superataseleziona la voce la mail del giorno
  • fase non superatatorna alla pagina precedente attraverso gli strumenti del browser
  • fase superatascrolla la pagina per vedere se riesce a trovare l'informazione che cerca
  • fase non superatanon trovando l'informazionerinuncia.
U5 completato 3.5 minuti
  • fase superataseleziona dal menù la voce Programmi
  • fase superatacerca nella pagina il nome del programma "tutta la città ne parla" e lo seleziona
  • fase superataseleziona la date del 7 gennaio 2011
  • fase superatascruta bene la pagina e trova il link le vostre mail
  • fase superatagiunge alla lettura della mail cercata

Questo compito ha mostrato che gli utenti hanno riscontrato parecchie difficoltà nella risoluzione del compito. Possiamo dire che tutti i risultati elencati precedentemente rispecchino completamente quello che ne è risultato analizzando questo caso. Per rileggere i risultati si selezioni il link seguente: rileggi

Torna alla descrizione del compito 4

Torna all'inizio della pagina

Considerazioni post-test

Una fase di debriefing finale, effettuata mediante un breve dialogo con i partecipanti, ha permesso di dedurre alcune interessanti informazioni postume alla navigazione sul sito.

Gran parte dei partecipanti ha affermato di gradire l'efficienza delle interazioni proposte dal sito, in termini di produttività e velocità; la maggioranza dei partecipanti ritiene inoltre che il sito sia sufficientemente facile da usare e semplice da navigare. Pareri molto discordanti sono stati invece espressi sia per quanto riguarda l'effettiva capacità del sito di indirizzare l'utente verso le sezioni via via ricercate, sia per quanto concerne la completezza dei contenuti.

Diversi infine sono stati i possibili miglioramenti che i partecipanti hanno indicato: le varie segnalazioni ricadono comunque negli ambiti individuati dai principali problemi di usabilità, ossia il reperimento di informazioni ben precise e la visibilità delle etichette.

Torna all'inizio della pagina