El paradigma frecuentista
El término prueba o test A/B provienen del paradigma frecuentista de la interpretación de la probabilidad, y se utiliza en el ámbito del Marketing Digital y la Analítica Web para describir experimentos aleatorios con dos variantes (A y B) siendo una la de control y la otra la variante. En el campo del diseño de páginas web (especialmente, cuando se diseñan experiencias de usuario), el objetivo es identificar los cambios que incrementan o maximizan un resultado determinado (por ejemplo, la proporción de clics que recibe un anuncio publicitario).
Como el propio término indica, se comparan dos versiones (A y B), que son idénticas salvo por una variación que puede afectar al comportamiento del usuario. La versión A puede ser la que se esté utilizando en un momento determinado (control), mientras que la versión B se modifica en algún aspecto concreto (variante).
Un ejemplo más concreto puede ser una página web de un comercio electrónico, donde el proceso de compra es normalmente un buen candidato para realizar un test o prueba A/B, dado que, incluso mejoras marginales en la tasa de abandono, pueden implicar incrementos significativos en las ventas. Igualmente, se pueden observar mejoras cuando se modifican elementos como el texto, la disposición de elementos (layout), imágenes o los colores.
Imaginemos que una empresa con una base de datos de 2.000 clientes crea una campaña de correo electrónico con un código de descuento. Su objetivo es generar ventas a través de su sitio web. Se crean dos versiones del mismo correo electrónico pero con diferentes intenciones. Una anima a realizar una compra, y la otra contiene el código promocional:
- A 1.000 personas se les envió un correo electrónico diciendo: ¡La oferta finaliza este sábado! Use el código A1.
- A otras 1.000 personas se les envió un correo electrónico diciendo: ¡La oferta termina pronto! Use el código B1.
Todos los demás elementos del correo incluido el diseño, eran idénticos. La campaña finalizó con una alta tasa de éxito mediante el análisis de la utilización de los códigos promocionales. El correo electrónico con el código A1 obtuvo un 5% de tasa de respuesta (50 de las 1.000 personas a las que se le envió el correo electrónico), y el correo electrónico con el código B1 obtuvo una tasa de respuesta del 3% (30 de las 1.000 personas a las que se le envió el correo electrónico). La empresa determinó que, en este caso, la primera llamada a la acción era más eficaz y la utilizaría en las futuras ventas.
Aunque son fáciles de entender, las pruebas A/B en las que el ganador se lo lleva todo pueden resultar en una pérdida de dinero para los anunciantes. Hay 3 desafíos clave con las pruebas A/B clásicas frecuentistas:
- Las preferencias de los consumidores evolucionan con el tiempo. Si un solo anuncio se declara ganador, eso implica que siempre debe mostrarse. Este no es siempre el caso: la prueba A/B puede haberse realizado durante una temporada específica o en días específicos (por ejemplo: una aplicación de entrega de alimentos puede tener una ensalada como anuncio ganador en verano y el chocolate caliente como ganador en invierno). Un «ganador» puede no ser siempre un ganador, y un «perdedor» puede no ser siempre un perdedor. Puede haber falsos negativos y positivos.
- Todos los anuncios son (a veces) efectivos. La vida real es probabilística: un anuncio ganador no es el mejor para el 100% de los usuarios / impresiones (como a veces implica un paradigma de pruebas A/B). El hecho de que un anuncio esté «ganando» solo significa que tiene un mejor rendimiento la mayor parte del tiempo. Puede haber un 10% de las impresiones / audiencias para las que el anuncio «perdedor» es mejor. Algunas impresiones en anuncios «malos» generan compras y algunas impresiones en anuncios «buenos» no generan compras.
- La asignación equitativa de impresiones da como resultado un gasto inútil. Si un anuncio es mejor el 90% del tiempo y otro es mejor el 10% del tiempo, entonces distribuir el 50-50 entre ellos puede resultar en una pérdida de inversión, y en que al final la empresa pierda dinero. Puede resultar costoso ejecutar el anuncio ganador con más frecuencia de la que se debería.
El paradigma Bayesiano
Un enfoque bayesiano probabilístico para abordar los problemas anteriores se conoce como «Bayesian Bandit» (Bandido Bayesiano). Es un nombre genial (para un algoritmo), pero ¿por qué es mejor que los algoritmos frecuentistas, que además son menos complejos? Bueno, en primer lugar, en un paradigma bayesiano se utiliza información que ya se conoce (a priori) para hacer predicciones sobre algo que se desea saber (a posteriori). El término «bandido» proviene de una clase de problemas de probabilidad que tratan con variables que tienen «muchos brazos», como una fila de máquinas tragamonedas en el piso de un casino.
Los «bandidos» parecen idénticos pero tienen diferentes comportamientos. En el paradigma de los Bandidos Bayesianos, el jugador sabe con qué frecuencia las máquinas tragamonedas resultan en «victoria» y se enfrenta al problema de tomar decisiones sobre en qué máquinas jugar en el futuro.
¿Cómo se aplica todo esto a los anuncios de Facebook?
Al igual que un jugador se enfrenta al problema de qué máquina tragamonedas jugar para maximizar las ganancias, el «juego» de Facebook es seleccionar y priorizar los anuncios que puede mostrar a un usuario, para maximizar los ingresos para sí mismo y para el anunciante.
Facebook podría usar las pruebas A/B y mostrar diferentes anuncios a un número igual de usuarios antes de cerrar los anuncios con peor rendimiento. Dichas pruebas A/B en las que el ganador se lo lleva todo tienen las desventajas de tiempo, efectividad marginal y gasto inicial desperdiciado, como se mencionó anteriormente. Por eso Facebook utiliza el paradigma Bayesian Bandits (un método bayesiano) en lugar de las pruebas A/B clásicas frecuentistas para abordar estos problemas.
Más importante aún, el enfoque bayesiano no es exclusivo de los anuncios de Facebook. Los enfoques bayesianos han experimentado un crecimiento masivo en las últimas dos décadas. El crecimiento de Internet ha creado una medición ubicua del comportamiento y las interacciones de los usuarios. El enfoque bayesiano aprovecha de forma única este enorme almacén de datos. Lo que una vez fue una técnica estadística desatendida se volvió más poderosa cuando las enormes cantidades de información que requiere el algoritmo estuvieron disponibles, y durante la última década, los enfoques bayesianos han sido catapultados de un campo matemático recóndito a un área que puede aprovechar directamente la ubicuidad de los datos que el Internet ha habilitado.
Los periódicos que buscan decidir entre diferentes titulares, los minoristas que buscan decidir entre diferentes embalajes, las farmacéuticas que buscan decidir entre diferentes tratamientos, las aerolíneas que buscan decidir entre diferentes precios y, por supuesto, las plataformas publicitarias que buscan decidir entre diferentes anuncios, todos usan algo del enfoque bayesiano.
Si te ha gustado este tema y quieres aprender más sobre el enfoque bayesiano, échale un vistazo al Curso avanzado de Estadística bayesiana con Python donde hablamos de todo esto con mucho más detalles y ejemplos prácticos.
¡Espero que te haya gustado este post y hasta la próxima!
Aprovecha los descuentos de hasta un 95% en todos mis cursos, solo por 9.99€
Sígueme por mis redes sociales: