Los errores en los tests A/B

Los test A/B son una herramienta que se utiliza para optimizar los ratios de conversión (CRO). Consiste en hacer un experimento en el que se publican dos o más versiones de la misma página (o anuncio, o email, dependiendo de lo que estaremos testeando) para comprobar qué versión genera una mejor conversión. 

Tras realizar el experimento con el test A/B, se realiza un análisis estadístico para determinar cuál es la efectividad de cada variación. De esta forma podremos saber qué versión es la que genera más clics, suscripciones, ventas, o cualquier otra acción de conversión que se haya determinado.

Algunos ejemplos de cambios en un sitio web que podemos analizar con un test A/B son:

• El contenido: Podemos analizar diferentes copy, títulos/encabezados, colores, tipografía o imágenes. También puede ser interesante testear diferentes diseños web o plantillas. Precios y promociones en eCommerce.
• Call to actions: Es interesante analizar diferentes CTA modificando los botones, el texto, el tamaño del botón, la tipografía o los colores. 
• Formularios: Los formularios pueden ser tediosos a la hora de rellenarlos, por lo que podemos testear la cantidad de campos, los campos obligatorios, o los datos que solicitamos.
• Usabilidad web: También podemos testear la usabilidad global de la web analizado diferentes landing page, páginas de agradecimiento, menús o el footer. 

Qué testear en los test A/B

Una de las partes más importantes para que un test A/B sea exitoso es saber qué es más importante testear en cada momento. En general, primero se testean las partes más relevantes, y poco a poco se testean otros aspectos como el diseño o el color de un CTA. 

La jerarquía de testeo es:

• ¿Quién? Este factor es el que más diferencias puede generar en los resultados de un test A/B. Se testean diferentes audiencias o segmentaciones.
• ¿Qué? El siguiente factor importante consiste en testear dos propuestas de valor diferentes o dos tipos de oferta diferentes, como por ejemplo un 2×1 o un 50%.
• ¿Cómo? Por último, una vez que las audiencias y la propuesta de valor están optimizadas, podemos testear la parte referente a los textos y el diseño.

Si quieres entender cómo utiliza el New York Times los test A/B puedes leer este artículo de nuestro blog: Tests A/B en medios: el caso de los titulares del NYT

También puedes leer en nuestro blog sobre los test A/B en Netflix. En la plataforma, cualquier modificación pasa por los test A/B: Netflix: su evolución gracias al Product Design.

9 errores comunes en los test A/B

Los test A/B son una herramienta muy útil para obtener información que nos ayude a mejorar las conversiones, pero es muy importante llevarlos a cabo de forma correcta para que la información que recogemos sea útil. Estos son algunos de los errores más comunes en test A/B:

• No tener claro el objetivo del test. En general, uno de los factores más importantes cuando hablamos de UX es tener claros los objetivos para poder actuar en consecuencia. En el caso de los test A/B también es muy importante. Si sabemos qué aspecto o variable queremos optimizar será más fácil planificar el test para cumplir con ese objetivo.  
• Hacer un test A/B sin tener una hipótesis. Cuando hacemos A/B testing necesitamos una hipótesis sobre qué puede funcionar mejor o peor para plantear un test. De la misma forma que necesitamos plantear un objetivo, también tenemos que plantear diferentes hipótesis para poder validarlas.
• No confiar en los datos. A veces decimos que los diseñadores se enamoran de los diseños, y los analistas e investigadores también pueden enamorarse de las hipótesis que plantean. Hay que ser objetivos con los datos, ya que si no se pone especial cuidado en este aspecto se puede caer en el sesgo de confirmación, y buscar datos que validen las ideas preconcebidas.
• Probar demasiadas variables a la vez. Los test A/B solo son válidos si testeamos una única variable a la vez, ya que si hemos cambiado más de una variable si el test A consigue mejores resultados que el B no podemos decir por cuál de los cambios ha obtenido mejores resultados. En este caso deberíamos plantear un test multivariante en vez de un test A/B
• Comparar distintos periodos de tiempo. Unido al error anterior, si estamos testeando una variable en concreto como por ejemplo un cambio en el proceso de checkout, tenemos que asegurarnos de que se realiza en el mismo periodo de tiempo. El tiempo también es una variable, por lo que si no se testea en el mismo periodo no sabremos con seguridad si los resultados son relevantes. 
• Finalizar el test antes de tiempo o demasiado tarde. Los test A/B se basan en el porcentaje de significación estadística, por lo que nos tenemos que asegurar de que hemos obtenido suficientes resultados del test para poder validar los resultados. Por otra parte, tampoco podemos finalizar el test demasiado tarde, ya que llegará un momento en el que los resultados no serán significativos y podríamos estar dedicando el tiempo a hacer otros test A/B más relevantes.
• Confiar en los test de otros. De la misma forma que es arriesgado imitar otros diseño UX, porque cada proyecto tiene sus propios requerimientos, tampoco podemos confiar en los test de otro producto digital. Por ejemplo, la decisión de poner un color concreto en un botón de CTA de un producto digital no tiene por qué coincidir en otro producto digital. 
• Cambiar un test en ejecución. Si cambiamos un test que actualmente está en ejecución perderá la importancia estadística y puede invalidar completamente los resultados. La solución a este problema sería parar el test actual y lanzar uno nuevo, de forma que los resultados sean válidos.
• Ejecutar muchos test simultáneamente. Si intentamos analizar muchos cambios a la vez será complicado interpretar los resultados obtenidos. Cuando hacemos test A/B es recomendable utilizar el método KISS para ir estudiando los cambios poco a poco, sin dividir al público en múltiples tests.

En definitiva, los test A/B son una herramienta muy útil para aumentar las conversiones en productos digitales, y puede aumentar mucho la rentabilidad. Sin embargo, hay que asegurarse de que no comentemos estos errores que pueden afectar negativamente a su efectividad. Los test A/B nos ayudan a entender qué funciona mejor, pero necesitaremos hacer otras pruebas de usabilidad para entender los motivos subyacentes.