Los test A/B frente a los tests de usabilidad

En los test A/B se comparan dos versiones de una misma página de un producto digital para averiguar cuál de las dos funciona mejor, teniendo en cuenta los KPI’s que se hayan elegido previamente para evaluarla. Por otro lado, en los test de usabilidad se utiliza a un grupo de representantes para obtener feedback sobre cómo funciona el producto mediante una serie de tareas específicas.

Pero, ¿qué técnica es mejor para testear nuestro producto? En este vídeo de Nielsen Norman nos explican los pros y los contras de cada uno: 

En un primer momento puede parecer que con los test A/B se obtienen resultados mucho más rápido que con los test de usabilidad. El feedback que se obtiene con los test A/B es inmediato, pero esto solo se cumple si tienes una gran masa de usuarios y tráfico para hacer el testeo. Por otro lado, en los test de usabilidad se pueden tardar varias semanas en obtener algún resultado. Sin embargo, esta premisa no tiene por qué ser siempre cierta. 

Para paliar este problema lo que se puede hacer es un test de usuario de manera constante, es decir, haciendo que forme parte del trabajo habitual y no únicamente cuando se necesita con urgencia. Se puede establecer un día de la semana para realizar test con usuarios, y que esa acción forme parte del proceso estandarizado de desarrollo de experiencia de usuario. Además, de esta forma se pueden ir haciendo preguntas de forma continua en todas las fases conforme se desarrolla el proyecto y las decisiones siempre estarán más enfocadas a las necesidades de los usuarios. 

Por otra parte, otro problema que puede surgir es que los test A/B no son tan potentes para obtener información sobre lo que necesitan los usuarios específicamente. Con esta herramienta puedes saber qué funciona mejor, pero no el porqué. El usuario solo puede reaccionar a lo que está viendo, pero no puede explicar el motivo. Al no conocer las motivaciones de los usuarios, no se pueden aplicar las mejoras necesarias en la siguiente iteración, y se pierden información que podría haber sido de mucho valor. (Ver también: Los errores en los tests A/B).

Aunque hoy en día pueda parecer muy sencillo hacer simplemente un test A/B online, eso no significa que debamos confiar únicamente en sus resultados para tomar todas las decisiones de diseño. El proceso de creación de ambas variantes para testearlas también supone una inversión de tiempo y recursos y se puede convertir en una acción muy compleja.

La clave final está en que si los test de usabilidad se planean correctamente pueden ser igual de rápidos que un test A/B. Además, se obtiene información valiosa sobre los comportamientos de los usuarios y, sobre todo, un contexto para poder interpretar los resultados.

En conclusión, no queremos decir que una herramienta sea mejor que la otra. Sin embargo, no se pueden utilizar como sustitutos entre ellas, sino que cada una tiene su utilidad en diferentes condiciones y etapas del proceso de diseño. 

Artículo actualizado en abril de 2022