Diseño iterativo de preguntas de encuestas

Nielsen Norman ha escrito un artículo sobre diseño iterativo de preguntas de encuestas. 

Nielsen Norman decidió replicar un estudio de hace 21 años hecho por investigadores del Xerox PARC. El estudio original investigaba cómo la información online afectaba a la toma de decisiones de la gente. El estudio fue una encuesta a gran escala con 3292 participantes que describieron una decisión donde la información en línea había impactado en su toma de decisiones. 

Hoy, la gente cree más en la información online que hace 20 años. Desde comprar una casa a decidir donde comer, la información online ayuda a tomar una gran variedad de decisiones. Por lo que si ellos querían replicar el estudio tenían que ver si las conductas de búsqueda de información importante han cambiado en los últimos 20 años. 

En la encuesta de Xerox preguntaban: 

“Intenta recordar un momento cercano donde encontraste información importante en la web, información que te llevó a una acción o decisión significativa. Por favor describe el incidente con el suficiente detalle como para que podamos visualizar la situación.”

Aunque en Nielsen Norman querían tener unas respuestas comparables al estudio de 1998, se dieron cuenta que tendrían que modificar la pregunta para asegurarse de que recogen información que refleja el uso de los servicios online hoy. A través de 4 rondas de pilotos redefinieron la pregunta. 

Primera ronda de test 

En la primera ronda de test se cambió la web por online, porque hace 20 años si que era la web casi exclusivamente el sitio donde informarse pero hoy es más difuso. Por lo que la pregunta quedó así:

“Intenta recordar un momento cercano donde encontraste información importante online, información que te llevó a una acción o decisión significativa. Por favor describe el incidente con el suficiente detalle como para que podamos visualizar la situación.”

La pregunta se le hizo a 11 participantes por escrito y se recogió su feedback verbalmente después de la encuesta. Cuatro de ellos dijeron que la pregunta era muy general y que no estaban seguros de lo que buscaban con la encuesta. Esto es según Nielsen Norman porque buscar información online se ha convertido en algo tan habitual que la gente no lo asocia conscientemente. Para dirigirse a este problema añadieron una sentencia explicativa en el segundo diseño. 

Segunda ronda de test 

“Intenta recordar un momento cercano donde encontraste información importante online, información que te llevó a una acción o decisión significativa. Por favor describe el incidente con el suficiente detalle como para que podamos visualizar la situación.

Una acción o decisión significativa es aquella que es un cambio en tus planes, pensamientos o acciones que consideres significativo.”

Nielsen Norman pensaron que explicar lo que es una acción o una decisión significativa ayudaría a decidir a la gente si sus acciones cumplían o no con lo que ellos buscaban. Esta versión fue testeada con cinco usuarios en una encuesta en remoto y sin moderar. 

En este segundo piloto la gente se ve frenada por el texto explicativo y sólo cuentan sobre cambios que han hecho debido a informaciones online. Un usuario habló de un cambio de ropa por la mañana debido a la información del tiempo en su móvil. Nielsen Norman se dió cuenta que añadir esa explicación sesgaba las respuestas. Así que eliminaron eso e intentaron otra aproximación al problema. 

Tercera ronda de test 

Para la tercera ronda de testing añadieron una pregunta multirrespuesta sobre las actividades online de los encuestados. 

“¿Cuál de las siguientes actividades online has hecho en el pasado mes? Selecciona tantas como hayas hecho:

Comprar 

Ver un programa de televisión, serie o película

Planear unas vacaciones 

Enviar un correo electrónico 

Escribir en redes sociales

Investigar un asunto de interés “

Nielsen Norman esperaba que esta pregunta les ayudase a los participantes a reflexionar sobre sus actividades online y a responder a la segunda pregunta. En su lugar, de los 4 participantes en este test, 3 contestaron a la segunda pregunta con actividades de la primera pregunta. Por lo que la primera pregunta sesgaba las respuestas de la segunda pregunta, así que decidieron quitar esa primera pregunta también. 

Cuarta ronda de test 

En este punto estaba Nielsen Norman bastante seguros que el gran problema es que la gente tiene un gran número de actividades online de las que elegir. La gente no estaba segura sobre qué decisiones eran significativas y por ello decían las que les daban pista los investigadores. Esto no era un problema en el estudio del Xerox PARC porque el internet no era algo que influyera tanto en la vida de la gente en aquella época. 

Basándose en este hallazgo, modificaron la pregunta introduciendo una aclaración para que explicaran el que fuera más importante de todos los que pudieran recordar:

“Intenta recordar un momento cercano donde encontraste información importante online, información que te llevó a una acción o decisión significativa. Por favor describe el incidente con el suficiente detalle como para que podamos visualizar la situación.

Si puedes recordar varios, describe el que sea más importante para ti. ”

Nielsen Norman hizo la encuesta online y recogió 50 respuestas. Ellos obtuvieron unas respuestas variadas y satisfactorias. Basándose en este piloto satisfactorio corriendo una encuesta online final con 700 respuestas.