Recurso gratis · Checklist
Cómo correr un A/B test bien hecho
La lista para montar experimentos que sí te den respuestas en las que puedas confiar
Probar dos versiones de una página suena simple, pero la mayoría de los A/B tests no sirven: se cortan antes de tiempo, prueban diez cosas a la vez o leen como ganadora una diferencia que es pura suerte. Esta lista te lleva por todo lo que debes verificar antes, durante y después de un test para que cada experimento te entregue una conclusión real y no una corazonada disfrazada de dato.
Antes de empezar: la hipótesis
Un test sin hipótesis clara es solo curiosidad cara. Define qué crees que va a pasar y por qué.
- Escribe la hipótesis como afirmación medible: si cambio X, espero que Y mejore porque Z.
- Asegúrate de que el cambio responda a una observación real, no a un capricho de diseño.
- Define una sola métrica principal de éxito antes de mirar resultados.
- Confirma que el cambio sea lo bastante grande como para mover la aguja de forma medible.
Una variable a la vez
Si cambias el titular, la imagen y el botón juntos y mejora, no sabes cuál lo logró. El aislamiento es lo que da aprendizaje.
- Cambia un solo elemento entre la versión A y la B.
- Si quieres probar varios cambios grandes, córrelos como tests separados en secuencia.
- Mantén todo lo demás idéntico: mismo tráfico, mismas fuentes, mismo periodo.
- Anota exactamente qué cambió para poder replicar o descartar el aprendizaje después.
Tamaño de muestra y tráfico
Sacar conclusiones con poco tráfico es el error más común. Sin suficientes datos, cualquier resultado es ruido.
- Estima cuántas conversiones necesitas por versión antes de lanzar, no después.
- No leas resultados con un puñado de conversiones por más tentador que sea.
- Reparte el tráfico de forma pareja y aleatoria entre las dos versiones.
- Si tu tráfico es bajo, prueba cambios grandes: las diferencias pequeñas necesitan mucha muestra.
Duración del test
Cortar temprano por ansiedad arruina más tests que cualquier otra cosa. El tiempo también es parte del diseño.
- Corre el test al menos una o dos semanas completas para cubrir todos los días.
- Incluye fines de semana y días entre semana: el comportamiento cambia según el día.
- No declares ganador el primer día que una versión va arriba; espera a que se estabilice.
- Evita lanzar o cortar el test justo cuando hay un pico anormal de tráfico o una fecha especial.
Leer los resultados sin engañarte
Una diferencia en pantalla no es una diferencia real. Hay que distinguir señal de ruido antes de decidir.
- Revisa la significancia estadística antes de declarar un ganador.
- Desconfía de diferencias pequeñas: pueden desaparecer con más datos.
- Mira también métricas secundarias para confirmar que no rompiste algo más abajo.
- Si el resultado es empate, eso también es información: el cambio no importaba tanto.
Después del test: documentar y actuar
Un test termina cuando aprendes algo, no cuando aparece un número. Lo que hagas con el resultado es lo que compone.
- Implementa la versión ganadora de forma permanente, no la dejes solo corriendo.
- Documenta el aprendizaje para no volver a probar lo mismo dentro de seis meses.
- Usa lo que aprendiste para formular la siguiente hipótesis.
- Comparte el resultado con el equipo: un aprendizaje guardado en una cabeza no escala.
¿Listo para que cada peso de pauta trabaje en serio?
Empezamos con una llamada de 20 minutos para entender tu operación. Si hay encaje, te proponemos el camino.