Medir resultados de innovación: antes y después no basta
Antes y después no prueba que el proyecto funcionó, porque mezcla su efecto con todo lo que habría cambiado solo. Para probarlo, compare la unidad que cambió con una parecida que aún no ha cambiado, medidas del mismo modo y en la misma ventana. Se puede hacer sin laboratorio, escalonando la implantación por unidades.
¿Por qué el antes y después engaña incluso cuando el dato es correcto?
Porque el número del "después" arrastra el efecto del proyecto y tres cosas más: la estacionalidad, lo que cambió en el mercado o en el equipo en el mismo periodo y la regresión a la media. El dato puede ser correcto y la conclusión, errónea.
Quien aprueba un proyecto suele ver solo dos fotos. En marzo el indicador estaba en 28, en septiembre está en 21, luego el proyecto lo redujo un 25%. Nada en esas dos fotos separa lo que hizo el proyecto de lo que habría ocurrido de todos modos. La pregunta que debería hacer la dirección es "¿comparado con qué?", y el antes y después no tiene respuesta para ella.
¿Qué es la regresión a la media y por qué favorece a su proyecto?
Es el fenómeno por el que una medida extrema tiende a ser seguida por otra más cercana al promedio. Adrian Barnett, Jolieke van der Pols y Annette Dobson describen el efecto, en un artículo de 2005 del International Journal of Epidemiology, como habitual en datos repetidos y afirman que siempre debe considerarse una posible causa de un cambio observado. Según el resumen, el efecto es más fuerte cuando hay más error de medición y cuando el seguimiento mira solo un subgrupo elegido por un valor de la línea base.
La aplicación a la gestión es nuestra, no del artículo. Un proyecto de innovación rara vez empieza en un buen mes. Empieza después de un trimestre de retrasos o de un pico de devoluciones. Si el indicador estaba en un extremo cuando usted eligió la unidad, parte de la mejora posterior puede venir solo de la vuelta al nivel normal. Lo mismo vale para la unidad elegida porque "es la que más sufre": fue seleccionada por su valor de línea base, que es la situación en la que el efecto pesa más.
¿Qué muestran los experimentos controlados sobre las ideas que parecen funcionar?
Muestran que parecer que funciona es un criterio débil. Ron Kohavi y Stefan Thomke cuentan en la Harvard Business Review de 2017 que en Google y Bing solo entre el 10% y el 20% de los experimentos dan resultado positivo, y que en Microsoft en conjunto un tercio es eficaz, un tercio es neutro y un tercio es negativo. Cada experimento tenía una versión de comparación corriendo al mismo tiempo, y por eso la empresa sabe en cuál de los tercios cayó cada idea.
El mismo artículo trae un caso de Yahoo. La parte observacional del estudio estimaba que los anuncios mostrados en los sitios de Yahoo habían elevado las búsquedas de la marca entre un 871% y un 1.198%. Cuando la empresa hizo un experimento controlado, el aumento fue del 5,4%. Otras variables habían cambiado durante el periodo observado, y el análisis observacional no podía separarlas.
Hay un límite. Son experimentos en línea en empresas de tecnología, con un volumen de usuarios que una operación de cuatro almacenes no tiene. Lo que se aprovecha es el método, no la tasa de aciertos: sin versión de comparación, la idea que funcionó y la que no funcionó quedan iguales en el informe.
¿Cómo crear una unidad de comparación sin montar un laboratorio?
Escalonando la implantación. En lugar de activar el nuevo proceso en todas las unidades el mismo día, actívelo en una parte y deje las demás esperando, con el mismo indicador medido en ambas.
Funciona en cuatro pasos. Primero, elija unidades parecidas en tamaño y tipo de trabajo. Segundo, defina el indicador y la ventana de medición antes de empezar, no después de ver los números.
Tercero, no decida quién entra primero por entusiasmo. Si el responsable más interesado va primero, su unidad probablemente ya era la mejor. En el experimento de Ctrip, empresa china de viajes, los empleados se ofrecieron como voluntarios y un sorteo decidió quién trabajaría desde casa durante nueve meses. El desempeño subió un 13%, unos 9 puntos por más minutos trabajados y 4 por más llamadas por minuto, según Nicholas Bloom, James Liang, John Roberts y Zhichun Jenny Ying (NBER, 2013). El tema era otro. Lo que importa es el diseño: voluntarios y orden fijado por sorteo.
Cuarto, mida las unidades con el mismo sistema. Si una registra en el sistema nuevo y la otra en una hoja de cálculo, la diferencia puede ser de registro y no de resultado. Ese punto es el tema de Medir el ROI de la automatización sin sistema de registro.
Cuando solo existe una unidad, la comparación es más débil, pero no desaparece. Use una serie larga del indicador antes del proyecto, para ver el tamaño de la oscilación normal, y siga un segundo indicador que el proyecto no debería mover. Esa es una práctica nuestra, no de uno de los estudios citados. Si los dos suben juntos, la causa probablemente no es el proyecto.
Un ejemplo práctico: la verificación de pedidos en cuatro almacenes
El escenario es hipotético, y las cifras son ilustrativas, no mediciones. Un distribuidor con cuatro almacenes regionales y 220 personas quiere un sistema de verificación en la expedición. El indicador es el número de pedidos devueltos por error de preparación por cada 1.000 pedidos. En marzo, los cuatro almacenes están en 28.
La responsable de innovación implanta el sistema en los almacenes A y B y deja a C y D esperando seis meses, con el mismo indicador medido en los cuatro. En septiembre, A y B están en 21 y C y D están en 25.
Mirando solo A y B, el antes y después muestra una caída de 7, un 25%. Con la comparación, la caída atribuible al proyecto es de 4: A y B mejoraron 7, y C y D mejoraron 3 sin el sistema. Más del 40% de la mejora aparente habría ocurrido de todos modos, por estacionalidad o por regresión a la media, entre otras causas. El argumento ante la dirección pasa de "bajamos un 25%" a "el proyecto redujo 4 devoluciones por cada 1.000 pedidos, cerca del 14% de la línea base". Esa cifra resiste la pregunta "¿comparado con qué?".
El coste es real: C y D esperaron seis meses por un sistema que parece funcionar. Por eso la ventana y el criterio de parada se acuerdan de antemano. Cuándo medir el resultado de un proyecto de innovación trata de cómo elegir esa ventana sin medir dentro del periodo de transición.
Este tipo de comparación solo existe si los almacenes registran su trabajo en un sistema estructurado. En el caso de SuperVida, la gestión de contratos pasó de una base improvisada en Airtable a un sistema a medida, el tipo de registro que permite medir dos unidades del mismo modo. Por eso el problema de probar un resultado suele ser de arquitectura, no de estadística: sin un registro igual entre unidades, ninguna comparación se sostiene.
Preguntas frecuentes
No veo cómo medir el resultado. ¿Se puede probar sin unidad de comparación?
Se puede estimar, con menos fuerza. Con una sola unidad, use una serie larga del indicador antes del proyecto y siga un segundo indicador que el proyecto no debería mover. La conclusión es más frágil, y el informe debe decirlo.
No puedo justificar la inversión ahora. ¿Dejar una unidad esperando no es un desperdicio?
Es un coste, y aparece en la solicitud. A cambio, la dirección recibe una cifra que resiste la pregunta "¿comparado con qué?", y la aprobación de las demás unidades pasa a apoyarse en datos. La unidad que espera recibe el sistema después, con una implantación ya ajustada por lo que mostraron las primeras.
Temo que el proyecto no elimine de verdad los cuellos de botella. ¿Cómo saber si funcionó o fue suerte?
Compare la diferencia entre unidades con la oscilación normal del indicador antes del proyecto. Si la diferencia cabe dentro de la oscilación habitual, la evidencia no sostiene la conclusión de que el proyecto funcionó. La decisión correcta puede ser esperar otra ventana o ampliar la comparación.
El siguiente paso
Si su próximo proyecto va a ser juzgado por un antes y después, el Diagnóstico de Arquitectura Operacional, una conversación de 30 minutos, es una invitación a diseñar la unidad de comparación, el indicador y la ventana antes de empezar: hable con Yowpi.
Cases relacionados
¿Reconociste tu operación en este artículo?
Agenda el Diagnóstico de Arquitectura Operacional: 30 minutos para mapear dónde está el cuello de botella de tu operación. Sin propuesta en la primera conversación.
Agendar diagnóstico