Tests A/B en medios: el caso de los titulares del NYT

Para tomar decisiones de diseño una de las mejores herramientas en la que podemos confiar es en el Test A/B.

Los test A/B consisten en probar dos variantes de algún elemento de nuestro diseño, como los colores o los CTA, para comparar su funcionamiento y sacar conclusiones sobre cuál ofrece mejor resultados. 

Para utilizar esta herramienta en cinco pasos tenemos que identificar el objetivo, formar una hipótesis, diseñar y ejecutar el test, analizar los resultados y por último implementar los resultados.

Además del Test A/B, también podemos llevar a cabo un Test Multivariante, que es parecido al primero pero más complejo, ya que se utiliza para probar hipótesis con múltiples cambios.

Test A/B en los titulares del New York Times

Uno de los periódicos donde podemos observar cómo funciona el test A/B es en el New York Times y sus titulares. Esta práctica permite a los redactores probar diferentes versiones del titular de un artículo para comprobar cuál es el que atrae más a los lectores. 

El New York Times es completamente transparente en cuanto a sus prácticas de test A/B y el uso de diferentes titulares para la versión online y la impresa de sus periódicos. 

Cuando hacen pruebas A/B cambian los titulares de la versión digital que aparecen en la página de inicio. La mitad de los usuarios ve una versión, y la otra mitad ve otra versión alternativa durante aproximadamente media hora. Un sistema de análisis automatizado analiza la tasa de clics de cada versión, y al terminar la prueba, se utilizará el titular que atrajo a más lectores. Con esto se consigue optimizar el tráfico.

Pero, ¿cómo funciona realmente? Hemos encontrado un estudio basado en datos extraídos de la página principal del New York Times y su API oficial. Para obtener los datos el investigador escribió un script que hacía un scrape de la página de inicio, extraía todos los titulares, los asociaba con los metadatos de la API oficial y los volcaba en una base de datos propia. Y estos son los resultados que encontraron.

“Aproximadamente el 29% de los artículos tienen varios titulares, y el máximo número de titulares para un artículo es 8 (aunque normalmente se testean 2 titulares)”.

La mayoría de los cambios en los titulares son mínimos, como el uso de mayúsculas o minúsculas. Por ejemplo, en este artículo testearon: Don’t Give In to Terror (53%) y Don’t Give in to Terror (47%), y finalmente optaron por la primera opción, ya que tuvo más visualizaciones.

Sin embargo, otras veces los titulares cambian a medida que evoluciona la historia, como el caso de estos titulares:

1. SpaceX to Test Launch Another Prototype of Rocket to Mars (10%)
2. SpaceX Halts Test Launch of Prototype for Rocket to Mars (1%)
3. SpaceX to Retry Test Launch of Prototype for Rocket to Mars (13%)
4. SpaceX Launches, Land and Explodes Prototype of Its Rocket to Mars (14%)
5. SpaceX Mars Rocket Prototype Explodes, but This Time It Landed First (24%)
6. SpaceX Mars Rocket Prototype Explodes, but This Time It Lands First (10%)
7. SpaceX Mars Rocket Prototype Explodes, but It Lands First (27%)

Normalmente, la razón principal para hacer este tipo de cambios es para comprobar cuál de las opciones recibe más clics y consigue aumentar el engagement. 

Conclusiones tras analizar los Test A/B en el New York Times

El estudio concluye que los artículos en los que se realizó un test A/B tienen un 80% más de probabilidades de clasificarse en la lista de “los más populares”, y además, los titulares con más pruebas también son aquellos con más engagement. 

Sin embargo, se evalúan pocos titulares, aproximadamente el 29%, como hemos dicho arriba. Esto se puede deber a que el 62% de los ingresos del periódico proviene de las suscripciones, y solo el 27% es de la publicidad, lo que nos lleva a pensar que las visitas no son tan importantes como las suscripciones. Si utilizarán titulares demasiado sensacionalistas con el único objetivo de atraer más clicks, probablemente llevaría a un descenso en las suscripciones, porque nadie quiere un periódico lleno de clickbaits. 

También tenemos que destacar que las pruebas A/B están destinadas a optimizar un caso específico, y no se pueden extrapolar los resultados obtenidos a otros casos diferentes al que se está probando, ya que un test puede depender de muchos factores que el editor no puede controlar.