Seguramente te suenen del curso de Estadística y Probabilidad, dos de los teoremas más importantes de esta área: el Teorema de la Probabilidad Total y el Teorema de Bayes.

Sin embargo, muchas veces puede ocurrir que no se acabe de entender muy bien cuándo hablamos de uno o de otro, en qué se parecen y en qué se diferencian, y lo más importante, para qué sirven. Así que en el post que les traigo hoy vamos a hablar de todo ello a ver si le damos un poco más de luz al asunto.

Teorema de la Probabilidad Total

Este teorema permite hallar la probabilidad de un evento B cuando el espacio muestral Ω está dividido en varios eventos: A1, A2, A3, …, An.

Si observamos la imagen anterior, tiene lógica que se le llame Teorema de la Probabilidad Total, ya que vemos que realmente el evento B se puede expresar como la suma de todos los trocitos en los que se intersecta con los eventos Ai.

De ahí que la fórmula se plantee de la siguiente manera:

Luego, teniendo en cuenta la fórmula de la probabilidad condicional:

Si miramos bien la última fórmula de arriba, y despejamos la probabilidad de la intersección, podemos sustituir cada intersección en la fórmula de la P(B), por un producto entre una probabilidad condicional y la probabilidad de cada Ai:

Veamos un ejemplo donde pondríamos en práctica el Teorema de la Probabilidad Total.

En una sala de pediatría de un hospital, el 60% de los pacientes son niñas, y el 40% son niños. De los niños el 35% son menores de 24 meses. Y de las niñas el 20% son menores de 24 meses. Un pediatra que ingresa a la sala selecciona un infante al azar. Determina la probabilidad de que el infante seleccionado sea menor de 24 meses.

Lo primero que tenemos que ver es que nos interesa el evento B = «infante menor de 24 meses» y que el espacio muestral (los infantes de la sala de pediatría) está dividido en dos partes: A1 = «niñas» y A2 = «niños».

Nos piden la probabilidad P(B), la probabilidad de que un infante seleccionado al azar sea menor de 24 meses. Así que tenemos que tener en cuenta tanto a los niños menores de 24 meses como a las niñas menores de 24 meses, así como la cantidad (o porcentaje) de niños y niñas en general en la sala de pediatría:

Teorema de Bayes

El teorema de Bayes es útil para encontrar una probabilidad condicionada de un suceso cuando ya ha ocurrido otro suceso que afecta la probabilidad del primer suceso. Siguiendo el ejemplo anterior, si el infante seleccionado resulta ser menor de 24 meses, ¿cuál sería la probabilidad de que sea una niña? Es decir me piden P(A1|B). Para lo cual aplicamos la siguiente fórmula:

Si te fijas, el numerador es muy sencillo de calcular porque ya tenemos esos datos, y además es equivalente a P(B∩A1). Mientras que el numerador ya lo tenemos calculado con el Teorema de la Probabilidad Total. Entonces quedaría:

Si te ha gustado este tema y quieres aprender más sobre Estadística e Inferencia, échale un vistazo al Curso completo de Estadística a nivel universitario donde hablamos de todo esto con mucho más detalles y ejemplos prácticos. O si sólo te interesa la parte práctica, échale un vistazo al Curso práctico de Estadística y Probabilidades.

¡Espero que te haya gustado este post y hasta la próxima!

Aprovecha los descuentos de hasta un 95% en todos mis cursos, solo por 9.99€

Descuento

Sígueme por mis redes sociales:

¿Qué es un contraste de hipótesis?

Un contraste de hipótesis es un concepto esencial en el área de la Inferencia Estadística. Las pruebas, test o contrastes de hipótesis son más fáciles de entender cuando se consideran ejemplos prácticos del mundo real. Así que vamos a presentar algunos.

El primer ejemplo es el escenario clásico en el que somos unos fabricantes de medicamentos y queremos probar la eficacia de un medicamento concreto, por ejemplo una vacuna contra un virus.

Queremos saber si este medicamento tiene alguna mejora con respecto al tratamiento estándar para esa afección, enfermedad o virus. El tratamiento estándar toma varios días para eliminar las cosas malas de nuestro cuerpo. El nuevo fármaco que estamos desarrollando también tarda varios días en eliminar todas estas cosas malas. En tal experimento, dividiríamos a los participantes de nuestro estudio en dos grupos, el grupo de «control» y el grupo de «tratamiento». El grupo de control es el grupo que recibe el tratamiento estándar actual o un placebo o ningún tratamiento. El grupo de tratamiento es el grupo que recibe el nuevo medicamento (que bien podría ser una pastilla, una vacuna, o un tratamiento de otro tipo).

Una pregunta que podríamos querer considerar aquí es la siguiente, ¿el nuevo medicamento funciona más rápido? Es decir, ¿el nuevo fármaco tarda, en promedio, menos tiempo en actuar? ¿Y esta diferencia es estadísticamente significativa? Discutimos lo que queremos decir con estadísticamente significativo en este otro post.

Si el medicamento nuevo tarda en promedio menos tiempo en actuar con una diferencia significativa (importante) esto es una buena noticia para nosotros porque este medicamento es mejor.

Aunque este ejemplo pueda parecer sencillo, en realidad es un caso (un poco) más complejo que el caso más básico. Porque en este ejemplo tenemos dos grupos, y queremos ver si hay una diferencia significativa entre sus promedios. Puedes ver otro ejemplo comparando los salarios de los españoles con los salarios de los suecos en este otro post.

Sin embargo, hay un ejemplo aún más sencillo de entender, que es cuando queremos comprar un promedio con un valor fijo. Y en este caso particular de contrastes de hipótesis es en el que nos centraremos hoy.

Ejemplo de un contraste de hipótesis bilateral de una media

Imagina que tenemos una muestra de 36 estudiantes spara los cuales se obtuvo una nota media de 5.6 en el examen de Matemáticas. ¿Sirven estos datos para confirmar la hipótesis de que la nota media del examen fue de 6, con un nivel de confianza del 95%? Como dato extra tenemos que la desviación típica de las notas fue 2.4.

En este ejemplo estamos comparando la media con un valor fijo (6), y solo tenemos un grupo de datos muestrales que provienen todos de la misma distribución (la de las notas en el examen de Matemáticas). A este caso particular lo llamamos contraste de 1 población (o de 1 muestra), porque solo hay un grupo (una muestra) para comparar con un número fijo.

Ahora necesitamos introducir el concepto de hipótesis nula (H0) e hipótesis alternativa (H1). En nuestro ejemplo la hipótesis nula es lo que queremos comprobar, es decir, que el promedio de las notas es igual a 6. La hipótesis alternativa es lo contrario (que no es igual a 6). Las hipótesis quedarían:

Si te fijas en la Hipótesis Alternativa (H1) que está justo arriba, el signo «desigual» realmente representa dos posibilidades: que sea mayor que 6, o que sea menor que 6. De ahí que a este tipo de pruebas se le llamen pruebas o contrastes de hipótesis bilaterales. Porque hay dos formas en las que el promedio de notas puede ser diferente del número 6, es decir, hay dos escenarios diferentes bajo la misma hipótesis. Por otro lado, cuando vemos en H1 solamente una opción, lo llamaremos prueba unilateral.

A grandes razgos, para no entrar en formulaciones matemáticas y estadísticas, la idea será la siguiente. La hipótesis nula (H0) es una igualdad. Por lo tanto, rechazaremos la hipótesis nula cuando la media muestral sea muy distinta (mucho mayor o mucho menor) a la media hipotética. En nuestro ejemplo la media hipotética es la que aparece en la hipótesis nula (6) y la media muestral es 5.6.

En otras palabras, si dibujamos la distribución de las notas (asumiendo que es una Normal) tendremos una «región de aceptación» (sombreada en color gris) y una «región de rechazo» (colas izquierda y derecha). Si la media muestral cae dentro de la región de aceptación, no podemos ir en contra de la hipótesis nula. Sin embargo, si cae dentro de la región de rechazo, entonces rechazaremos esa hipótesis.

En concreto, la región de rechazo se divide en dos regiones muy alejadas de la media. Estas regiones (o colas) de la región de rechazo son simétricas respecto a la media hipotética. Además, cada trozo tiene área α/2, entonces los dos trozos que conforman la región de rechazo tienen en total un área α. Este α (alpha) se conoce como el nivel de significación (usualmente de 0.05).

La región de aceptación es el intervalo de probabilidad 1-α. Entonces, la hipótesis nula se rechaza si la media muestral es mucho mayor o mucho menor que la hipotética, es decir, si cae en la región de rechazo (formada por las dos colas de la distribución) que están muy alejadas de la media hipotética.

Saltándonos el uso de la fórmula para determinar qué valores delimitan esa región, el resultado final quedaría que la Región de Aceptación es: [5.2 ; 6.8]. Es decir que la parte de la figura que está sombreada en gris sería ese intervalo. Ahora nos tendríamos que preguntar ¿la media muestral cae dentro o cae fuera del intervalo de aceptación? La media muestral es 5.6, por tanto cae dentro de la región de aceptación, es decir, concluimos que no hay evidencia suficiente para decir que la media es diferente a 6.

Si te ha gustado este tema y quieres aprender más sobre Estadística e Inferencia, échale un vistazo al Curso completo de Estadística a nivel universitario donde hablamos de todo esto con mucho más detalles y ejemplos prácticos.

¡Espero que te haya gustado este post y hasta la próxima!

Aprovecha los descuentos de hasta un 95% en todos mis cursos, solo por 9.99€

Descuento

Sígueme por mis redes sociales:

El paradigma frecuentista

El término prueba o test A/B provienen del paradigma frecuentista de la interpretación de la probabilidad, y se utiliza en el ámbito del Marketing Digital y la Analítica Web para describir experimentos aleatorios con dos variantes (A y B) siendo una la de control y la otra la variante. En el campo del diseño de páginas web (especialmente, cuando se diseñan experiencias de usuario), el objetivo es identificar los cambios que incrementan o maximizan un resultado determinado (por ejemplo, la proporción de clics que recibe un anuncio publicitario).

Como el propio término indica, se comparan dos versiones (A y B), que son idénticas salvo por una variación que puede afectar al comportamiento del usuario. La versión A puede ser la que se esté utilizando en un momento determinado (control), mientras que la versión B se modifica en algún aspecto concreto (variante).

Un ejemplo más concreto puede ser una página web de un comercio electrónico, donde el proceso de compra es normalmente un buen candidato para realizar un test o prueba A/B, dado que, incluso mejoras marginales en la tasa de abandono, pueden implicar incrementos significativos en las ventas. Igualmente, se pueden observar mejoras cuando se modifican elementos como el texto, la disposición de elementos (layout), imágenes o los colores.

Imaginemos que una empresa con una base de datos de 2.000 clientes crea una campaña de correo electrónico con un código de descuento. Su objetivo es generar ventas a través de su sitio web. Se crean dos versiones del mismo correo electrónico pero con diferentes intenciones. Una anima a realizar una compra, y la otra contiene el código promocional:

• A 1.000 personas se les envió un correo electrónico diciendo: ¡La oferta finaliza este sábado! Use el código A1.
• A otras 1.000 personas se les envió un correo electrónico diciendo: ¡La oferta termina pronto! Use el código B1.

Todos los demás elementos del correo incluido el diseño, eran idénticos. La campaña finalizó con una alta tasa de éxito mediante el análisis de la utilización de los códigos promocionales. El correo electrónico con el código A1 obtuvo un 5% de tasa de respuesta (50 de las 1.000 personas a las que se le envió el correo electrónico), y el correo electrónico con el código B1 obtuvo una tasa de respuesta del 3% (30 de las 1.000 personas a las que se le envió el correo electrónico). La empresa determinó que, en este caso, la primera llamada a la acción era más eficaz y la utilizaría en las futuras ventas.

Aunque son fáciles de entender, las pruebas A/B en las que el ganador se lo lleva todo pueden resultar en una pérdida de dinero para los anunciantes. Hay 3 desafíos clave con las pruebas A/B clásicas frecuentistas:

1. Las preferencias de los consumidores evolucionan con el tiempo. Si un solo anuncio se declara ganador, eso implica que siempre debe mostrarse. Este no es siempre el caso: la prueba A/B puede haberse realizado durante una temporada específica o en días específicos (por ejemplo: una aplicación de entrega de alimentos puede tener una ensalada como anuncio ganador en verano y el chocolate caliente como ganador en invierno). Un «ganador» puede no ser siempre un ganador, y un «perdedor» puede no ser siempre un perdedor. Puede haber falsos negativos y positivos.
2. Todos los anuncios son (a veces) efectivos. La vida real es probabilística: un anuncio ganador no es el mejor para el 100% de los usuarios / impresiones (como a veces implica un paradigma de pruebas A/B). El hecho de que un anuncio esté «ganando» solo significa que tiene un mejor rendimiento la mayor parte del tiempo. Puede haber un 10% de las impresiones / audiencias para las que el anuncio «perdedor» es mejor. Algunas impresiones en anuncios «malos» generan compras y algunas impresiones en anuncios «buenos» no generan compras.
3. La asignación equitativa de impresiones da como resultado un gasto inútil. Si un anuncio es mejor el 90% del tiempo y otro es mejor el 10% del tiempo, entonces distribuir el 50-50 entre ellos puede resultar en una pérdida de inversión, y en que al final la empresa pierda dinero. Puede resultar costoso ejecutar el anuncio ganador con más frecuencia de la que se debería.

El paradigma Bayesiano

Un enfoque bayesiano probabilístico para abordar los problemas anteriores se conoce como «Bayesian Bandit» (Bandido Bayesiano). Es un nombre genial (para un algoritmo), pero ¿por qué es mejor que los algoritmos frecuentistas, que además son menos complejos? Bueno, en primer lugar, en un paradigma bayesiano se utiliza información que ya se conoce (a priori) para hacer predicciones sobre algo que se desea saber (a posteriori). El término «bandido» proviene de una clase de problemas de probabilidad que tratan con variables que tienen «muchos brazos», como una fila de máquinas tragamonedas en el piso de un casino.

Los «bandidos» parecen idénticos pero tienen diferentes comportamientos. En el paradigma de los Bandidos Bayesianos, el jugador sabe con qué frecuencia las máquinas tragamonedas resultan en «victoria» y se enfrenta al problema de tomar decisiones sobre en qué máquinas jugar en el futuro.

¿Cómo se aplica todo esto a los anuncios de Facebook?

Al igual que un jugador se enfrenta al problema de qué máquina tragamonedas jugar para maximizar las ganancias, el «juego» de Facebook es seleccionar y priorizar los anuncios que puede mostrar a un usuario, para maximizar los ingresos para sí mismo y para el anunciante.

Facebook podría usar las pruebas A/B y mostrar diferentes anuncios a un número igual de usuarios antes de cerrar los anuncios con peor rendimiento. Dichas pruebas A/B en las que el ganador se lo lleva todo tienen las desventajas de tiempo, efectividad marginal y gasto inicial desperdiciado, como se mencionó anteriormente. Por eso Facebook utiliza el paradigma Bayesian Bandits (un método bayesiano) en lugar de las pruebas A/B clásicas frecuentistas para abordar estos problemas.

Más importante aún, el enfoque bayesiano no es exclusivo de los anuncios de Facebook. Los enfoques bayesianos han experimentado un crecimiento masivo en las últimas dos décadas. El crecimiento de Internet ha creado una medición ubicua del comportamiento y las interacciones de los usuarios. El enfoque bayesiano aprovecha de forma única este enorme almacén de datos. Lo que una vez fue una técnica estadística desatendida se volvió más poderosa cuando las enormes cantidades de información que requiere el algoritmo estuvieron disponibles, y durante la última década, los enfoques bayesianos han sido catapultados de un campo matemático recóndito a un área que puede aprovechar directamente la ubicuidad de los datos que el Internet ha habilitado.

Los periódicos que buscan decidir entre diferentes titulares, los minoristas que buscan decidir entre diferentes embalajes, las farmacéuticas que buscan decidir entre diferentes tratamientos, las aerolíneas que buscan decidir entre diferentes precios y, por supuesto, las plataformas publicitarias que buscan decidir entre diferentes anuncios, todos usan algo del enfoque bayesiano.

Si te ha gustado este tema y quieres aprender más sobre el enfoque bayesiano, échale un vistazo al Curso avanzado de Estadística bayesiana con Python donde hablamos de todo esto con mucho más detalles y ejemplos prácticos.

¡Espero que te haya gustado este post y hasta la próxima!

Aprovecha los descuentos de hasta un 95% en todos mis cursos, solo por 9.99€

Descuento

Sígueme por mis redes sociales:

«Quiero ser un Data Scientist». Una de las aspiraciones más comunes de estos últimos años. Descubre los pasos para estar más cerca de tu sueño.

Te recomiendo mi libro Ciencia de Datos para todos: Las respuestas a cada una de las inquietudes sobre el mundo de los datos, donde damos respuesta a muchísimas preguntas que siempre suelen salir a flote cuando se quiere transitar por este camino.

Accede a la ruta de aprendizaje

Aprovecha los descuentos de hasta un 95% en todos mis cursos, solo por 9.99€

Sígueme por mis redes sociales: