Cómo ejecutar un test A/B de onboarding móvil fiable

1. Convierte una idea en una decisión

«Acortar el onboarding» es una idea. Una hipótesis comprobable explica qué audiencia verá qué cambio y por qué debería mejorar un resultado. Por ejemplo, mover una preferencia opcional después del primer uso podría facilitar una primera acción útil en 24 horas.

Documenta métrica principal, nivel inicial estimado, efecto mínimo útil, reparto, elegibilidad, ventana y regla de parada. Calcula la muestra con el método estadístico elegido y tráfico realista. No existe un número universal de días o usuarios que vuelva fiable cualquier test.

La finalización ayuda, pero una activación posterior puede representar mejor el valor. Incluye fallos, errores de petición y comportamientos de compra no deseados como guardarraíles. No redefinas el éxito después de ver qué métrica resulta favorable.

2. Mantén asignación y exposición bien definidas

Una instalación debe conservar su grupo tras reiniciar. Si cambia de variante, los resultados dejan de corresponder claramente a la experiencia asignada. Guarda versión y asignación en el contexto de los eventos relevantes.

Asignación, descarga y exposición son hechos separados. Registra exposición cuando se muestra la experiencia. Decide si analizarás todas las instalaciones aleatorizadas o una población expuesta. Filtrar después de asignar puede sesgar el análisis si la variante modifica la probabilidad de exposición.

Prueba ambas ramas, persistencia, duplicados y límites de aplicación antes de recoger la muestra decisiva. Un reparto 50/50 no produce exactamente el mismo tamaño, pero un desequilibrio importante requiere investigación.

3. Expresa el efecto en puntos porcentuales

Imagina 500 finalizaciones entre 1.000 instalaciones en Control A y 540 entre 1.000 en Variante B. Las tasas son 50 % y 54 %. La diferencia absoluta es +4 puntos y la mejora relativa +8 %. Decir solo «8 % mejor» oculta los niveles iniciales.

El gráfico usa resultados inventados. Con una aproximación normal sencilla, binomial independiente y de horizonte fijo, el intervalo aproximado del 95 % para la diferencia va de −0,4 a +8,4 puntos. Los datos siguen siendo compatibles tanto con una pequeña pérdida como con una mejora útil; no demuestran un ganador.

El cálculo ilustrativo utiliza 1,96 veces el error estándar de la diferencia. La aproximación puede fallar con muestras pequeñas o tasas cercanas a cero o uno. Adapta el método al diseño: observaciones repetidas, identidades agrupadas y comparaciones múltiples requieren más cuidado.

4. Respeta la regla de parada

Un intervalo clásico de horizonte fijo no permite mirar repetidamente y parar en cuanto parezca favorable. Elige antes un horizonte o un método secuencial válido. Deja también que madure la ventana de los últimos participantes.

Registra exclusiones, incidentes y versiones durante el experimento. Distingue segmentos previstos de exploratorios: probar muchos países, dispositivos o métricas aumenta la posibilidad de un hallazgo atractivo por azar. Un segmento descubierto después sirve como hipótesis para otro test.

Si el resultado no es concluyente, dilo. El tráfico bajo puede dejar efectos importantes sin resolver. Mejorar instrumentación o probar un cambio coherente mayor puede aportar más que prolongar indefinidamente un análisis improvisado.

5. Decide y supervisa después

La decisión combina evidencia, tamaño útil del efecto, guardarraíles y coste. Una finalización mejor con activación o fiabilidad peores puede no justificar el despliegue. Conserva las versiones exactas y el motivo de la decisión.

Aplyna ofrece configuración y eventos documentados; no declara ni despliega automáticamente un ganador. Las ramas nativas deben estar ya en la aplicación. La configuración remota no entrega código nativo nuevo arbitrario. Consulta las capacidades actuales antes de planificar la publicación.