User testing del sito del Comune di Venezia

Autore: Fiore Enrico Data stesura rapporto: 29/11/2006

Introduzione

Obiettivo

L'User testing è un metodo informale di analisi dell'usabilità che non fornisce risultati statisticamente significativi. Risulta però molto utile perchè permette di ottenere dati oggettivi sui reali problemi di usabilità osservando il comportamento dei potenziali utenti di un sito internet.

A tal fine è necessario individuare alcuni punti critici dell'interfaccia che dovranno essere sollecitati durante l'esecuzione dei compiti assegnati agli utenti.

Lo scopo di questo test con utenti è quindi di verificare l'assenza o la presenza di difetti all'interno delle aree considerate.

Metodologia

L'User testing è stato effettuato attraverso le seguenti attività:

  1. Individuazione degli obiettivi del test
  2. Definizione dei compiti e stesura dei questionari pre e post test
  3. Reclutamento degli utenti
  4. Svolgimento del test
  5. Analisi dei risultati ottenuti

Ulteriori dettagli riguardanti la metodologia di svolgimento del test sono presenti alla sezione Modalità di svolgimento

Nella fase di analisi dei risultati è stata valutata la gravità dei problemi riscontrati che sono stati suddivisi, in base all'impatto sul compito dell'utente e alla frequenza delle occorrenze, in 3 categorie:

  1. Problema minore
  2. Problema serio
  3. Problema critico

Sommario risultati

Compiti

Compito 1

Visualizzare la lista dei concorsi pubblici sceglierne uno e visualizzarne i dettagli.

Compito 2

Individuare le modalità di pagamento delle multe.

Compito 3

Trovare l'elenco delle sedi e gli orari di apertura dell'Archivio storico.

Compito 4

Ricercare l'elenco dei parcheggi presenti.

Pagine analizzate

Il sito a partire dal 7/10/2006 è in continuo aggiornamento e in questo periodo coesistono informazioni visualizzate tramite la nuova e la vecchia struttura del sito.

I compiti scelti, per non influenzare la valutazione della nuova versione della struttura del sito, riguardano pagine e contenuti totalmente presenti nella versione aggiornata. Ad esempio la pagina del centro Maree che inizialmente era stata coinvolta nella definizione di uno dei compiti non è più stata considerata essendo ancora disponibile solo nella versione precedente.

Le pagine coinvolte nei compiti stilati sono quindi:

Valutazione sintetica

L'User testing sulla parte aggiornata del sito del Comune di Venezia ha fatto emergere problemi di gravità minore che non erano stati individuati con altre tecniche di analisi. Nonostante tutti i compiti proposti siano stati portati comunque a termine, le problematiche individuate, come ad esempio il posizionamento della barra "i più cercati" o la non chiarezza in alcuni contesti della barra e sezione "Io sono", possono influire notevolmente sulla soddisfazione e produttività dell'utente.

Svolgimento del test

Modalità di svolgimento

Lo svolgimento del test è stato effettuato attraverso le seguenti fasi:

Utenti

Utente 1
Età:

55

Sesso:

M

Professione:

Impiegato tecnico

Livello conoscenze informatiche:

A) principiante

Ore di utilizzo internet settimanale:

A) 1-3 ore

Motivo:

A) posta elettronica C) ricerca informazioni e notizie

Hai mai navigato sul portale del Comune di Venezia? :

No

Utente 2
Età:

22

Sesso:

M

Professione:

Studente

Livello conoscenze informatiche:

B) principiante avanzato

Ore di utilizzo internet settimanale:

B) 4-7 ore

Motivo:

A) posta elettronica B) chat C) ricerca informazioni e notizie D) download musica film

Hai mai navigato sul portale del Comune di Venezia? :

NO

Utente 3
Età:

47

Sesso:

F

Professione:

Impiegata

Livello conoscenze informatiche:

B) principiante avanzato C) competente D) esperto

Ore di utilizzo internet settimanale:

B) 4-7 ore

Motivo:

A) posta elettronica C) ricerca informazioni e notizie

Hai mai navigato sul portale del Comune di Venezia? :

NO

Utente 4
Età:

23

Sesso:

M

Professione:

Studente

Livello conoscenze informatiche:

C) competente

Ore di utilizzo internet settimanale:

A) 1-3 ore

Motivo:

C) ricerca informazioni e notizie

Hai mai navigato sul portale del Comune di Venezia? :

NO

Casi d'uso in dettaglio

In tutti i casi d'uso che seguono è stato esplicitamente chiesto all'utente di non utilizzare la funzione di ricerca presente nel sito.

Caso d'uso 1

Breve descrizione: Visualizzare la lista dei concorsi pubblici sceglierne uno e visualizzarne i dettagli.

Scopo: Valutare la funzionalità effettiva della barra "I più cercati". Qualora passasse inosservata verrà verificato se la suddivisione in categorie è compatibile con le aspettative dell'utente.

Formulazione testuale: Stai valutando la possibilità di cambiare lavoro, in particolare di trovare una collocazione nel settore pubblico. Desideri ricercare nel sito i dettagli relativi ad uno dei concorsi pubblici in atto.

Criteri di successo:

Tempo massimo previsto: 5 minuti

Grado di difficoltà: Facile

Caso d'uso 2

Breve descrizione: Individuare le modalità di pagamento delle multe.

Scopo: Valutare la funzionalità effettiva della barra "Io sono". Qualora passasse inosservata verrà verificato come dal compito precedente se la suddivisione in categorie è compatibile con le aspettative dell'utente.

Formulazione testuale: Recentemente sei stato a Venezia e alcuni giorni fa hai ricevuto una lettera contenente il verbale di una contestazione. Desideri avere informazioni riguardo le modalità di pagamento delle multe nel comune di Venezia.

Criteri di successo:

Tempo massimo previsto: 7 minuti

Grado di difficoltà: Medio

Caso d'uso 3

Breve descrizione: Trovare l'elenco delle sedi e gli orari di apertura dell'Archivio storico.

Scopo: Valutare come ai compiti precedenti se la suddivisione in categorie è compatibile con le aspettative dell'utente.

Formulazione testuale: Stai svolgendo una ricerca personale sull'attività delle signorie nel XV secolo. Desideri visitare l'archivio storico di Venezia per ottenere informazioni più specifiche. Abitando abbastanza lontano decidi di ricercare le sedi e gli orari di apertura nel sito prima di recarti sul posto di persona.

Criteri di successo:

Tempo massimo previsto: 5 minuti

Grado di difficoltà: Facile

Caso d'uso 4

Breve descrizione: Ricercare l'elenco dei parcheggi presenti.

Scopo: Valutare se l'etichetta utilizzata per la categoria contenente questa pagina risulta adeguata nel contesto proposto da questo caso d'uso.

Formulazione testuale: Devi recarti a Venezia per una commissione. Non avendo molto tempo devi trovare un parcheggio per la tua auto sufficientemente vicino al posto in cui devi andare. Cerchi quindi all'interno del sito l'elenco dei parcheggi del comune di Venezia.

Criteri di successo:

Tempo massimo previsto: 10 minuti

Grado di difficoltà: Medio

Analisi dettagliata

Svolgimento

Svolgimento del caso d'uso 1

Problemi riscontrati: La barra sinistra "I più cercati" non è visibile senza effettuare lo scrolling se non ad una risoluzione di 1280x1024 (ben sopra la media). Di conseguenza non viene notata facilmente dagli utenti e questo può rappresentare un problema visto che questa barra contiene collegamenti al materiale più ricercato all'interno del sito.

Gravità: Minore

Soluzione: Posizionare la barra "I più cercati" in modo da essere facilmente individuabile dagli utenti, ad esempio al posto della barra "io sono"..

Utente 1 Utente 2 Utente 3 Utente 4
Utente 1

Esito: Successo

Comportamento dell'utente: L'utente appena visualizzata l'Homepage scorre velocemente i link presenti nella barra destra ma inutilmente. Successivamente fa lo stesso con la barra sinistra "io sono" ma non vede, a causa della risoluzione ridotta del pc utilizzato, la barra sottostante, "i più cercati". Non avendo trovato niente di utile comincia a scorrere le news presenti nel contenuto e solo a quel punto, effettuando lo scrolling, si accorge della presenza della barra "i più cercati" e, al suo interno, del link "Concorsi e consulenze" selezionandolo. Alla pagina successiva visualizza con successo i dettagli di un concorso.

Problemi riscontrati e opinioni: La barra sinistra "i più cercati" non è direttamente visibile senza effettuare lo scrolling.

Utente 1 Utente 2 Utente 3 Utente 4
Utente 2

Esito: Successo

Comportamento dell'utente: L'utente focalizza fin dall'inizio la sua attenzione sulla barra sinistra e dopo aver effettuato lo scrolling nota subito il link Concorsi e consulenze selezionandolo. In seguito visualizza i dettagli di un concorso.

Problemi riscontrati e opinioni: Nessun problema individuato

Utente 1 Utente 2 Utente 3 Utente 4
Utente 3

Esito: Successo parziale

Comportamento dell'utente: L'utente scorre velocemente l'homepage partendo dalla barra laterale destra; si sofferma sul link Municipalità ma non prosegue e continua a scorrere i link presenti in modo sistematico. Una volta arrivato a visualizzare la barra "i più cercati" seleziona il link "Concorsi e Consulenze" e in seguito i dettagli di un concorso.

Problemi riscontrati e opinioni: Nonostante il compito sia stato svolto con successo la sua esecuzione ha impiegato molto tempo secondo l'utente perchè la barra "i più cercati" non attira sufficientemente l'attenzione.

Utente 1 Utente 2 Utente 3 Utente 4
Utente 4

Esito: Successo

Comportamento dell'utente: L'utente una volta visualizzata l'Homepage comincia a leggere i link presenti sulla barra sinistra. Si accorge presto della presenza del link "Concorsi e Consulenze" e lo seleziona. Alla pagina successiva visualizza i dettagli di un concorso.

Problemi riscontrati e opinioni: Nessun problema individuato

Svolgimento del caso d'uso 2

Problemi riscontrati: La barra "Io sono" non è sempre chiaramente interpretabile. Se si cercano informazioni specifiche non è sempre semplice e diretto astrarre fino alla categoria d'utenza.

Gravità: Minore

Soluzione: Una possibile soluzione potrebbe essere semplicemente sostituire il titolo "Io sono" con "Servizi e informazioni per".

Utente 1 Utente 2 Utente 3 Utente 4
Utente 1

Esito: Successo parziale

Comportamento dell'utente: L'utente comincia a scorrere tutti i collegamenti presenti nelle barre di navigazione dell'Homepage senza trovare nulla di affine a quanto ricercato. In seguito passa in rassegna le news presenti nella sezione del contenuto. Dopo aver riletto tutti i link e aver fatto notare esplicitamente di non aver trovato l'informazione l'utente si sofferma sulla barra sinistra "io sono". A breve nota il collegamento "automobilista" e seguendolo individua rapidamente il link "modalità di pagamento delle multe" selezionandolo.

Problemi riscontrati e opinioni: Nonostante il compito sia stato portato a termine ha impiegato molto tempo e ha portato frustrazione all'utente. Probabilmente se non fosse stato impegnato nel test avrebbe desistito. L'utente ha riferito una particolare difficoltà nel riconoscersi nella categoria automobilista cercando invece termini relativi a multe, contestazioni.

Utente 1 Utente 2 Utente 3 Utente 4
Utente 2

Esito: Successo parziale

Comportamento dell'utente: L'utente inizialmente focalizza la propria attenziona sulla barra sinistra "i più cercati"; non trovando qualcosa di utile scorre tutti i link presenti nell'Homepage soffermandosi però sul link "Municipalità" della barra destra e selezionandolo. Si rende conto dell'errore e utilizza il tasto indietro del browser. Riprendendo l'analisi dell'Homepage si accorge di non aver mai utilizzato la barra superiore di navigazione e seleziona il primo link ("Comune") di quest'ultima. Una volta caricata la pagina Comune scorre la barra di navigazione sinistra fino alla voce "Polizia municipale", selezionandola. Infine seleziona il link "modalità di pagamento delle multe" presente sulla barra sinistra della pagina Polizia Municipale.

Problemi riscontrati e opinioni: L'utente ha raggiunto l'obiettivo ma non ha utilizzato la barra "io sono". Inoltre dalle domande poste dopo lo svolgimento del compito è emerso che l'utente ha selezionato il link "Comune" casualmente, perchè era il primo della lista, non trovando nulla di apparentemente utile nell'Homepage.

Utente 1 Utente 2 Utente 3 Utente 4
Utente 3

Esito: Successo

Comportamento dell'utente: L'utente analizza sistematicamente tutti i link presenti nell'Homepage senza trovare un riferimento alle multe. Ad un certo punto si sofferma sul link "Ufficio tributi" selezionandolo ma si rende subito conto di aver sbagliato categoria e utilizza il pulsante indietro del browser. Tornato all'homepage rilegge i link presenti e nota la voce "automobilista" selezionandola. Dopo aver selezionato il link "modalità di pagamento delle multe" visualizza con successo le informazioni ricercate.

Problemi riscontrati e opinioni: Il compito è stato svolto con successo ma l'utente ha commesso un errore di navigazione. Quando, alla fine del compito, ne è stato chiesto il motivo è stato riferito che analizzando i collegamenti presenti nell'homepage il link "Ufficio tributi" sembrava quello più affine alle informazioni che stava ricercando. Solo in un secondo momento ha intuito la modalità di approccio per tipologia di utente della barra "io sono".

Utente 1 Utente 2 Utente 3 Utente 4
Utente 4

Esito: Successo

Comportamento dell'utente: L'utente focalizza subito l'attenzione sulla barra sinistra "io sono" e si riconosce nel link con etichetta Automobilista selezionandolo. Infine individua facilmente il link "modalità di pagamento delle multe" selezionandolo.

Problemi riscontrati e opinioni: Nessun problema individuato

Svolgimento del caso d'uso 3

Problemi riscontrati: Due utenti hanno evidenziato un problema riguardante il menu di navigazione superiore, ossia la suddivisione pricipale dei contenuti dell'intero sito. Le sezioni esistenti non sono abbastanza distinguibili nel senso che non è sempre facile individuare in modo esclusivo la categoria di appartenenza di un contenuto. Ad esempio l'indirizzo della sede di un museo potrebbe riguardare sia il comune dal punto di vista delle strutture, sia la cultura, sia il turismo.

Gravità: Minore

Soluzione: Una possibile soluzione sarebbe sostituire l'etichetta della sezione "Comune" con "Amministrazione Comunale" e inserire nella barra di navigazione sinistra della pagina "Turismo" un collegamento alla pagina "Cultura".

Utente 1 Utente 2 Utente 3 Utente 4
Utente 1

Esito: Successo parziale

Comportamento dell'utente: L'utente dopo aver riletto velocemente tutti i link all'interno dell'Homepage decide di visualizzare la sezione "Comune" accorgendosi però di aver sbagliato. Dopo essere tornato indietro tramite il tasto del browser seleziona il link "Cultura" accedendo alla pagina. Quindi individua il collegamento "Archivi, collezioni e rarità" e dopo averlo seguito il link "archivio storico" ottenendo le informazioni ricercate.

Problemi riscontrati e opinioni: Anche se il compito è stato concluso la sua esecuzione ha impiegato molto tempo. L'utente ha riferito una difficoltà iniziale nel capire in quale sezione del menù di navigazione superiore potesse essere l'informazione cercata visto che a suo parere tutte le categorie ( Comune, Cultura, Turismo, Mi interessa) potevano contenerle.

Utente 1 Utente 2 Utente 3 Utente 4
Utente 2

Esito: Successo parziale

Comportamento dell'utente: L'utente forse condizionato dai compiti precedenti focalizza subito l'attenzione sulla barra sinistra "io sono" dove individua il link "Turista" selezionandolo. Una volta visualizzata la pagina Turismo e analizzata la barra sinistra di navigazione si accorge di non essere nella sezione giusta. Dopo poco tempo individua la sezione Cultura sulla barra superiore di navigazione e seguendo il collegamento nota sulla barra sinistra di navigazione il link "Archivi, collezioni e rarità". Alla pagine successiva seleziona il link "archivio storico" portando a termine il compito.

Problemi riscontrati e opinioni: Come per l'utente precedente il compito è durato molto tempo e secondo la sua opinione era difficile scegliere tra le sezioni del menu di navigazione superiore quella più adatta alle sue esigenze.

Utente 1 Utente 2 Utente 3 Utente 4
Utente 3

Esito: Successo

Comportamento dell'utente: L'utente dopo una breve analisi della pagina seleziona il link "Cultura". Individua subito il collegamento "Archivi, collezioni e rarità" nella sezione del contenuto e successivamente il link "archivio storico".

Problemi riscontrati e opinioni: Nessun problema individuato

Utente 1 Utente 2 Utente 3 Utente 4
Utente 4

Esito: Successo

Comportamento dell'utente: L'utente individua subito il link "Cultura" selezionandolo. Alla pagina Cultura nota facilmente il link "Archivi, collezioni e rarità" sulla barra sinistra di navigazione e attraverso il collegamento "archivio storico" completa il compito.

Problemi riscontrati e opinioni: Nessun problema individuato

Svolgimento del caso d'uso 4

Problemi riscontrati: La pagina "In auto" con l'elenco dei parcheggi del comune di Venezia è a mio parere di notevole importanza non potendo circolare con l'auto in molte zone dello stesso. Questa pagina è raggiungibile in due modi: seguendo il collegamento "Automobilista" poi "Viabilità nelle aree urbane" e infine "Parcheggiare a Venezia" o seguendo il link "Turismo" poi "Come arrivare" e infine "in auto". In entrambi i casi il salto di astrazione tra il trovare un parcheggio e "Viabilità nelle aree urbane" o "Turismo"\"Come arrivare" può non essere facilmente comprensibile.

Gravità: Minore

Soluzione: Spostare il collegamento "Parcheggiare a Venezia" ora contenuto alla pagina "Viabilità nelle aree urbane" ad un livello superiore ad esempio alla pagina "Automobilista" e "Turismo".

Utente 1 Utente 2 Utente 3 Utente 4
Utente 1

Esito: Fallito

Comportamento dell'utente: L'utente passa molto tempo a scorrere tutti i link dell'homepage alla ricerca di qualche indizio. Decide di selezionare il link "Automobilista" ma non nota il collegamento "Viabilità nelle aree urbane" e pensando di aver commesso un errore torna indietro riprendendo l'analisi dell'homepage. Individua in seguito il link "Turismo" ma dopo aver visitato con insuccesso la pagina "come muoversi" torna all'homepage. A questo punto il compito è stato interrotto perchè la sua esecuzione ha superato il tempo massimo previsto.

Problemi riscontrati e opinioni: L'utente ha riferito di non esser riuscito a trovare nessun termine che si avvicinasse a parcheggio nelle pagine da lui visualizzate durante lo svolgimento del compito.

Utente 1 Utente 2 Utente 3 Utente 4
Utente 2

Esito: Successo parziale

Comportamento dell'utente: L'utente dopo una breve analisi decide di visualizzare la sezione "Mi interessa", non ancora esplorata. Non nota il collegamento "Usare un mezzo di trasporto" e pensando di aver sbagliato torna indietro. Tornato all'Homepage seleziona il link "Turismo" ma alla pagina seguente seleziona la voce "Come muoversi". Non ottenendo informazioni pertinenti torna indietro e segue il collegamento "Come arrivare", poi "in auto" raggiungendo l'obiettivo.

Problemi riscontrati e opinioni: Anche se il compito è stato svolto con successo la sua esecuzione ha impiegato molto tempo. Questo perchè, come emerso dalle domande poste dopo lo svolgimento del compito, non è stato semplice individuare la categoria più pertinente. Infatti l'utente si aspettava di trovare qualche termine direttamente collegabile al parcheggio. Solo per esclusione è riuscito infine a trovare la giusta sezione.

Utente 1 Utente 2 Utente 3 Utente 4
Utente 3

Esito: Successo

Comportamento dell'utente: L'utente seleziona rapidamente la voce "Automobilista" della barra sinistra "io sono" e altrettanto velocemente individua il link "Viabilità nelle aree urbane". In seguito selezionando il link "Parcheggiare a Venezia" e il collegamento alla pagina con l'elenco completo dei parcheggi disponibili raggiunge l'obiettivo.

Problemi riscontrati e opinioni: Nessun problema individuato

Utente 1 Utente 2 Utente 3 Utente 4
Utente 4

Esito: Successo

Comportamento dell'utente: L'utente segue subito il collegamento "Automobilista" della barra sinistra "io sono". In seguito dopo un attimo di esitazione seleziona il link "Viabilità nelle aree urbane" e poi "Parcheggiare a Venezia". Inizialmente pensa di aver raggiunto l'obiettivo ma poi scorge il collegamento "Vai alla pagina con l'elenco completo dei parcheggi disponibili a Venezia e in terraferma" che lo porta alle informazioni ricercate.

Problemi riscontrati e opinioni: Nessun problema individuato

Tabella Riassuntiva

Non essendo emerso più di un problema per caso d'uso è stata realizzata una tabella unica contenente tutti i risultati.

Tabella riassuntiva dell'User testing
Caso d'uso Problema Gravità
1: Visualizzare la lista dei concorsi pubblici sceglierne uno e visualizzarne i dettagli. Presenteminore
2: Individuare le modalità di pagamento delle multe. Presenteminore
3: Trovare l'elenco delle sedi e gli orari di apertura dell'Archivio storico. Presenteminore
4: Ricercare l'elenco dei parcheggi presenti. Presenteminore
Vai a inizio pagina