Proyecto 360: ¿Cómo superar las barreras para el uso de los servicios bancarios digitales?
Realizamos una investigación sobre las barreras y facilitadores en la adopción de servicios bancarios digitales, y diseñamos soluciones.
top of page
Validación experimental
Antes de implementar tus ideas, determina si realmente tendrán el efecto esperado.
Para resolver esta pregunta, algunas organizaciones equivocadamente se limitan a implementar la idea y luego miden los cambios en los resultados. El gran error de este enfoque está en que el efecto observado puede deberse a una serie de circunstancias externas, y no a la variable de interés.
Imagina que tu empresa quiere promover las ventas de un producto y para ello lanza una ambiciosa campaña publicitaria. Luego de dos meses evalúan los resultados y notan un crecimiento en las ventas de 20%. ¿Podrían afirmar con seguridad que la campaña es la causa de dicho incremento?
No.
Debido a que existen otros factores que pueden haber influido en el resultado -por ejemplo, cambios en el mix de marketing de la competencia, alteraciones en el poder adquisitivo de los clientes, o la variación estacional de la demanda- no es posible distinguir con certeza el origen del cambio en las ventas.
La única forma de determinar con seguridad la validez de una idea o solución es mediante un experimento: un procedimiento que sigue el método científico para apoyar o rechazar una hipótesis. Existen distintos tipos de experimentos, pero el más efectivo para determinar la relación causa-efecto es el conocido como Ensayo Controlado Aleatorizado (o RCT por sus siglas en inglés).
Los tomadores de decisiones quieren saber si al implementar sus ideas o posibles soluciones, estas realmente influirán en el comportamiento de los usuarios.
Dicho de otra manera, para determinar cuál es la mejor decisión buscan establecer la relación de causalidad entre sus acciones y los resultados.
Por ejemplo, si modifico la variable X (causa), ¿cambiará el resultado Y (efecto)?
El Ensayo Controlado Aleatorizado
Un Ensayo Controlado Aleatorizado permite revelar con precisión el efecto de un estímulo o intervención sobre el indicador de interés, al aislarlo de otras variables que también podrían estar interviniendo en el resultado. Consiste en tomar una muestra de la población de usuarios y dividirlos aleatoriamente en distintos grupos. Uno de estos grupos es expuesto a un estímulo estándar o status quo (grupo control), mientras que el resto de grupos son expuestos a las distintas variantes o tratamientos que nos interesa testear.
Posteriormente se estiman los promedios de los resultados en cada grupo. Las diferencias entre el promedio del grupo control y los grupos tratamiento nos ofrecen el efecto del estímulo sobre el comportamiento de los usuarios.
Sin embargo, aún no es posible descartar la posibilidad que los efectos observados sean producto del azar.
Para ello, se determina el p-value mediante un análisis estadístico. Cuando dicho valor es menor o igual a un umbral establecido por convención (usualmente por debajo de 5%) podemos afirmar que el efecto no es una casualidad y por lo tanto la intervención funcionó.
Finalmente, con esa certeza estadística ya es posible implementar tu idea o solución a toda la población de usuarios de la organización.
Experimentando para testear ideas
Simulando un proyecto que podrías realizar con los investigadores y especialistas en estadística de Heurística Lab.
Imagina que eres responsable de un producto digital. Recientemente tu equipo implementó una funcionalidad que tiene un gran potencial de éxito. Sin embargo, hasta el momento los resultados no son tan buenos como esperabas: los visitantes del portal web exploran la funcionalidad pero la mayoría no la usa.
Luego de realizar una investigación de tus usuarios, surgen dos posibles caminos de solución. Ambas alternativas son prometedoras, aunque no sabes con certeza cuál implementar. Adicionalmente tienes dudas sobre la conveniencia de cambiar algo ya que este tipo de modificaciones puede ser muy costoso, tanto en recursos como en la satisfacción de los clientes.
La manera óptima de resolver esta disyuntiva es mediante un Ensayo Controlado Aleatorizado. Bajo este procedimiento, el primer paso es tomar una muestra de tu población de usuarios, y de manera aleatoria, asignar estas personas a uno de los tres grupos (Figura 1).
Los integrantes del grupo control interactúan con la versión actual de la web. Como si nada hubiera cambiado. Por otro lado, los grupos tratamiento son expuestos a cada una de las posibles ideas de solución.
Figura 1
En nuestro ejemplo, luego de analizar estadísticamente los resultados, encontramos que las personas expuestas a la idea 2 usan más la nueva funcionalidad que los que ven la versión actual de la plataforma -en el grupo control-. Por lo tanto implementar esa modificación es una buena medida.
En cambio, la idea 1 mostró un menor desempeño que el grupo control, por lo que haberla implementado antes de haber sido testeada habría significado un error, con potenciales graves consecuencias para nuestro negocio.
Toma mejores decisiones poniendo a prueba tus ideas
Testea hipótesis, ideas o productos, y determina su probabilidad de éxito antes de lanzarlas al mercado.
Diseño del experimento (metodología específica, eliminación de confounding variables, cálculo muestral, y aleatorización).
Codiseño de ideas de solución (estímulos experimentales).
Procesamiento de la data y análisis estadístico del experimento.
Interpretación y presentación de resultados, con enfoque en la toma de decisiones del negocio.
Recomendaciones adicionales basadas en análisis inferencial (correlacional).
Casos de éxito
bottom of page