Referencia
Glosario de A/B Testing
Conceptos, siglas y abreviaciones presentes en las calculadoras. La idea es que nadie tenga que “creer” en un número: entiéndelo, explícalo y defiéndelo.
- Prueba A/BA/B Test
- Experimento controlado en el que dos versiones (A control y B reto) se muestran aleatoriamente a segmentos comparables de usuarios, con el fin de medir cuál produce mejor desempeño en una métrica objetivo.
- Variante de controlA
- La versión actual o de referencia contra la que se compara la nueva propuesta. Representa el desempeño base esperado.
- Variante retoB
- La nueva versión que se pone a prueba. Su objetivo es superar a la variante de control en la métrica objetivo.
- Visitantes
- Usuarios únicos expuestos a una variante durante el experimento. Es el denominador de la tasa de conversión.
- Conversiones
- Cantidad de visitantes que completaron la acción medida (compra, registro, clic, descarga, lead, etc.).
- Tasa de conversiónCR (Conversion Rate)
- Proporción entre conversiones y visitantes. Se expresa en porcentaje.CR = conversiones / visitantes. Ej: 500 / 10.000 = 5%.
- Uplift relativo
- Mejora porcentual de la variante B respecto a la variante A. Indica cuánto crece la conversión en términos relativos.Uplift = (CR_B − CR_A) / CR_A. Ej: pasar de 5% a 5,6% = +12%.
- Significancia estadística
- Grado de confianza de que la diferencia observada entre variantes no se debe al azar. En marketing digital el estándar es 95% de confianza (p ≤ 0,05).
- p-valorp
- Probabilidad de observar una diferencia igual o mayor a la actual si en realidad no hubiera diferencia entre variantes. A menor p, mayor evidencia de un efecto real.p ≤ 0,05 → resultado significativo al 95% de confianza.
- Z-scoreZ
- Número de desviaciones estándar entre la diferencia observada y cero. Sirve para calcular el p-valor en pruebas de proporciones.
- Confianza
- Complemento del p-valor (1 − p). Indica qué tan seguro se está de que el efecto observado es real. Estándar: 95%.
- Efecto Mínimo DetectableMDE (Minimum Detectable Effect)
- El cambio relativo más pequeño que el experimento es capaz de detectar como estadísticamente significativo. Cuanto menor sea el MDE, mayor será la muestra requerida.MDE = 10% significa detectar una mejora relativa de 10% sobre la CR base.
- Potencia estadística1 − β
- Probabilidad de detectar un efecto real cuando realmente existe. Estándar de la industria: 80%.
- Nivel de significanciaα (alfa)
- Probabilidad máxima aceptada de detectar un efecto que en realidad no existe (falso positivo). Estándar: 5% (α = 0,05).
- Error tipo I
- Concluir que existe un efecto cuando en realidad no lo hay. Se controla con el nivel de significancia α.
- Error tipo IIβ (beta)
- No detectar un efecto real. Se controla con la potencia estadística (1 − β).
- Tamaño de muestran
- Número de visitantes necesarios por variante para poder detectar el MDE definido con la confianza y potencia deseadas.
- Duración de la prueba
- Tiempo, en días, que la prueba debe estar activa para alcanzar el tamaño de muestra requerido. Regla estratégica: nunca menos de 14 días, incluso si el cálculo arroja menos, para cubrir ciclos semanales de comportamiento.
- Ciclo de decisión
- Tiempo típico que un usuario tarda en decidir la conversión. Justifica ejecutar la prueba durante al menos dos semanas.
- Ganador válido
- Variante cuya diferencia frente al control es positiva y estadísticamente significativa. Solo entonces es recomendable implementarla.