Precisión de las estimaciones

Aclear16, en una respuesta de otra pregunta, planteó la noción de precisión de las estimaciones . En mi opinión, esta noción no tiene sentido; sin embargo, hablamos de esto a menudo en los círculos de PM.

En una clase de capacitación sobre estimación que impartí, quería demostrar los efectos de la variabilidad aleatoria en los proyectos, resultados que ocurren de forma secundaria a la plétora de variables sobre las que tenemos poco o ningún control. Para hacer esto, literalmente, con un reloj de tiempo, rastreé mi tiempo de puerta en puerta, yendo y viniendo, mi viaje hacia y desde el trabajo durante más de un año. Tracé los resultados:

ingrese la descripción de la imagen aquí

(Sí, odio mi viaje al trabajo).

Entonces, si un viaje al trabajo fuera un proyecto y quisiera apuntar con precisión, con estos datos históricos como entrada para nuestro ejercicio de estimación, ¿dónde reside la precisión?

Si elijo "65" minutos, un objetivo un poco más pesimista que el MODE, y llego a 75, ¿mi estimación "no es precisa"? Por el contrario, si planifico en "80" y llego en "50", ¿eso tampoco es exacto?

Así que aquí está la última pregunta: ¿qué significa una estimación precisa?

(Esta es una pregunta que realmente no tiene respuesta y probablemente viola las reglas; sin embargo, espero que podamos considerar esto, ya que creo que es valioso para comprender un proceso muy importante en la gestión de proyectos. Espero que haya un buen pensamiento crítico y discusión ocurrirá. ¡Gracias a aclear16 por activar esto!)

¿Puedes vincular a la otra pregunta en esta?
Yo lo haría si pudiera. No tengo idea terrenal de cómo. ¿Alguien mas?
¿Puede proporcionar un enlace a él? Lo editaré. No estoy seguro de a qué respuesta de Aclear16 te refieres.
Es la semana de 40 horas uno....
Hola, @DavidEspina y cualquier otra persona con preguntas de edición, consulta la sección de ayuda de edición para obtener consejos de marcado... ¡También, excelente pregunta +1!

Respuestas (7)

Así que aquí está la última pregunta: ¿qué significa una estimación precisa?

Para mí, la estimación precisa es como el unicornio: la gente lo busca, le encanta tener uno en casa, pero en realidad no existe. :-)

En lugar de precisión , tiendo a usar la probabilidad y me concentro en la certeza. Para calcular la probabilidad, estoy usando la distribución de la idea de tiempo de entrega de Kanban (cree un histograma de sus tiempos de entrega y elija el más largo). Usándolo en su ejemplo, daría 87 minutos. Esa es la estimación. Por supuesto, el proyecto se puede terminar antes, pero esa es la fecha que le puedo decir al cliente con la mayor certeza en este momento.

Hay una cosa importante: los datos caducan . Entonces, cuando usamos datos para la estimación, necesitamos otra técnica que clasifique los datos caducados. Por ejemplo, los datos de > 70 minutos se recopilaron cuando se realizó una gran reconstrucción de carreteras en su vecindario. Ya terminó, por lo que eliminar esos datos es una buena medida.

¿Existe algún peligro o sanción al proporcionar o apuntar al tiempo de anticipación más largo, por ejemplo, 87 minutos en este ejemplo?
Apuntar continuamente al tiempo de entrega más largo alienta a su equipo a nunca esforzarse, probablemente aumente sus costos y, en general, no es una buena idea. Creo que es tan perjudicial como elegir continuamente el tiempo de entrega más corto. Los extremos no suelen ser buenos objetivos.
@aclear16 para mí, la mejora continua es lo primero, con la cultura, y su resultado se refleja en la estimación.
@DavidEspina el peligro que conozco es perder mercado. Si elijo el 87 y la competencia ofrece el 67, por ejemplo, la gente optará por el 67. Incluso si la versión del 67 se pospone varias veces, la mantendrán (no renunciarán a su inversión) y no vendrán. por mi 87. Si doy 66 pongo en riesgo a mi empresa, porque tengo que autofinanciar el esfuerzo adicional que provoca el 87-66. Y llegamos al tema de la gestión de riesgos.
@Zsolt: ¿Puede aclarar qué quiere decir con "la mejora continua es lo primero"? ¿Cómo, si es que lo hace, está fomentando esto eligiendo el tiempo de entrega más largo? Además, ¿se refiere a la mejora continua de su personal oa la mejora continua de su proyecto?

Entonces, para comenzar, aquí está la cita de la otra publicación a la que creo que se refiere:

"... para aumentar la precisión de nuestras estimaciones".

Lo cual no tenía la intención de implicar que uno podría esperar lograr una estimación perfectamente precisa (que es casi un oxímoron). Esto no nos impide tratar de llegar allí. Mucha literatura, sistemas de gestión de proyectos y capacitación se ha centrado en la idea de aumentar la precisión de las estimaciones. Diablos, incluso tomé una clase en la universidad en el contexto de la estimación matemática.

Así que aquí está la última pregunta: ¿qué significa una estimación precisa?

Para volver al asunto que nos ocupa, creo que una estimación precisa se refiere a una estimación que cae dentro de una cantidad aceptable de error del valor real. La cantidad de error aceptable obviamente depende del contexto. Estaba tratando de abordar este problema cuando dije que un proyecto debe tener plazos muy firmes a corto plazo y una mayor flexibilidad para plazos más lejanos.

Esta pregunta plantea un muy buen punto; a veces el lenguaje nos fallará por completo. Muchas respuestas preferirán este término o aquel término a una estimación precisa, pero todas intentan capturar esencialmente la misma idea. Y con toda probabilidad, ninguno de ellos explicará completamente la idea a todos los que los escuchen.

Lo más probable es que una estimación precisa sea un rango. Creo que mucha gente se confunde entre exacto y preciso y los números (especialmente por debajo de 1000) inherentemente dan una falsa sensación de precisión. Entonces, por ejemplo, dados los datos anteriores, probablemente respondería la pregunta con un rango utilizando la desviación estándar para crear el rango. Lo lejos que llegué probablemente dependería del riesgo involucrado con el hecho de estar fuera del rango. Para la mayoría de las cosas, dar un rango de 2 desviaciones estándar da aproximadamente un 95 % de precisión, lo que suele ser aceptable. Si no le gusta el extremo inferior del rango, siempre puede otorgar un par de puntos en el extremo superior (estoy seguro en un 70 % de que lo hará X, en un 95 % de que lo hará Y, y 99% seguro que lo hará Z).

En primer lugar, responderé técnicamente a su pregunta y luego analizaré las consideraciones e implicaciones de la gestión de proyectos.

Estimaciones y precisión: antecedentes estadísticos

El tiempo que tardará en entregarse un proyecto es, antes del cierre del proyecto, una distribución estadística, debido a los riesgos del proyecto.

Puede derivar varios números o estimaciones de esa distribución. Por ejemplo, puede calcular la expectativa estadística (tiempo 'promedio' o 'promedio') de la distribución.

La precisión de un sombrero estimado se mide mediante una métrica como el error t-hatt, donde t es el tiempo real que tomó el proyecto, un valor que solo se conoce al finalizar el proyecto.

No puede garantizar una estimación precisa antes del cierre del proyecto. Lo que puede hacer es minimizar la expectativa estadística del error. Si conoce la distribución, la expectativa estadística del tiempo, E(t) le da lo que se llama un estimador insesgado, porque E(E(t) - t) = E(E(t)) - E(t) = 0 (es decir, el error promedio es cero). Todos los demás estimadores estarán sesgados (tendrán un error esperado distinto de cero), pero podrían tener otras propiedades deseables.

Implicaciones de la gestión de proyectos

Las estimaciones de tiempo y costo son útiles en la gestión de proyectos por varias razones, pero es importante que no se utilicen indebidamente. Para muchas de estas aplicaciones, un estimador insesgado no es el más adecuado.

Algunos usos clave de las estimaciones de tiempo y costos en los proyectos:

  1. Ayudar al ejecutivo y al programa o a la gerencia corporativa a decidir si existe o no una justificación comercial continua para un proyecto. Por ejemplo, un proyecto que cueste demasiado o tome demasiado tiempo podría no valer la pena.
  2. Ordenar los recursos que deben planificarse con anticipación correctamente. Por ejemplo, es posible que se requieran miembros del equipo de especialistas o equipos después de que se completen ciertas tareas, y deben reservarse con anticipación. Si están reservados demasiado pronto, será necesario cancelar la reserva o se quedarán sentados sin hacer nada. Si se reservan demasiado tarde, el proyecto tardará más de lo necesario. Esto también incluye la planificación de actividades como fiestas de lanzamiento o eventos para los medios, que no siempre se pueden cambiar.
  3. Ordenar tareas de manera óptima, en base a estimaciones de su costo y duración.

Para diferentes aplicaciones, son apropiados diferentes estimadores; no hay una estimación para gobernarlos a todos.

Al transmitir el tiempo y los costos del proyecto a las partes interesadas, simplemente transmitir una estimación imparcial no es suficiente; en cambio, es mucho mejor asegurarse de que los riesgos se transmitan con precisión (por ejemplo, a través de un Registro de riesgos y una Estrategia de gestión de riesgos) y se aprueben, de modo que las partes interesadas relevantes estén al tanto de la distribución que el proyecto podría tomar en términos de tiempo. y costo

En términos de aprobaciones, idealmente un gerente de proyecto debería buscar que se le den tolerancias para las variables del proyecto como el riesgo, el costo, el tiempo y el alcance. El gerente del proyecto debe buscar optimizar el proyecto, pero tener la aprobación para subir las tolerancias en nuevos pronósticos sin necesidad de buscar más aprobación. Esto es mucho mejor que trabajar con una sola estimación o tener una contingencia sin definir cómo se puede usar.

Al tener en cuenta explícitamente el riesgo, se puede tener en cuenta el apetito por el riesgo de la organización. Por ejemplo, suponga que el proyecto fallaría en sus objetivos y generaría una pérdida si su viaje tomara más de 70 minutos. Entonces existe una posibilidad significativa de que el proyecto fracase. Para algunas organizaciones, los beneficios esperados pueden superar el riesgo de fracaso, pero para otras, no será así. El simple uso de una estimación imparcial no obtendría esto.

En términos de organización de recursos, a menudo se debe fijar una fecha específica por adelantado. Por ejemplo, es posible que haya que reservar la sala para la fiesta de lanzamiento. Si se pierde la fecha, será necesario volver a reservar la habitación, lo que aumentará los costos. En este caso, se necesita una estimación. Una opción es evitar el riesgo siendo flexible en otras variables (p. ej., incluir algunas características que podrían tener, pero dar al director del proyecto la tolerancia para eliminarlas si es necesario para cumplir con una fecha límite). Si no hay más opción que ser firme en la fecha, el mejor enfoque dependerá del apetito de riesgo de la organización y los costos adicionales si se presenta el riesgo de no cumplir con la fecha límite. Una estimación conservadora es una forma de reducir el riesgo (es decir, un estimador imparcial apilado hacia la estimación que excede el tiempo real),

La compensación entre riesgo y beneficios es una consideración comercial importante, y existen técnicas estadísticas que pueden ayudar, como elegir la fecha que minimice la 'pérdida esperada', o elegir una fecha tal que con alguna alta probabilidad (95% o 99%), la pérdida real será inferior a una cierta cantidad.

Una estimación es precisa si el tiempo/costo observado cae dentro de sus tolerancias en torno a la estimación. Como se señaló en otra parte, estas tolerancias pueden ser más o menos estrictas y esto afectará qué parte de su curva de distribución se utilizará para la estimación. Por ejemplo:

  • Para los proyectos que se entregan bajo un contrato de precio fijo en firme, sus tolerancias serán muy estrictas, por lo que es posible que desee establecer su estimación en el percentil 95 o superior (en su tabla, su estimación puede ser de más de 80 minutos).
  • Para proyectos que son de bajo riesgo y baja complejidad, sus tolerancias serán mucho menos estrictas, por lo que puede establecer su estimación en el percentil 65 y continuar desde allí.

Esto se relaciona con el tema de la precisión ("qué tan cerca llegué a mi estimación") frente a la precisión ("cuál es el error esperado en mi estimación"). Creo que se puede argumentar sólidamente que, al comienzo de un proyecto, la precisión de una estimación probablemente se pueda medir en semanas, lo que debería influir en cuán estrictas son sus tolerancias.

Entonces, ¿se trata de que su objetivo sea exacto/preciso o se trata de su capacidad para predecir el futuro? La mayor parte de la variabilidad en el rendimiento que experimentamos es aleatoria e incontrolable. ¿Estás en desacuerdo?
Las cuestiones de la variabilidad del rendimiento y la precisión de las estimaciones están relacionadas. Mi punto es que la exactitud y la precisión son diferentes y tener una precisión excesiva en las estimaciones de uno puede no agregar valor. Ejemplo trivial: para el impuesto sobre las ventas del 12 % en una compra de $1,99, una precisión superior a dos decimales no tiene valor, por lo que el precio final es $1,23 en lugar del (preciso y "correcto") $1,2288. Del mismo modo, si mis estimaciones tienen un error de semanas, ¿por qué dar una fecha objetivo en lugar de una semana/mes objetivo?

Es gracioso, uso exactamente el mismo ejemplo de tiempo de viaje en mis clases de entrenamiento. El punto que trato de explicar es que una estimación (de un solo punto) nunca puede ser exacta (ni precisa, que es un sinónimo , creo), ya que implicaría un 100% de posibilidades de que suceda. La distribución de probabilidad de una tarea bien conocida (conmutar) aclara la variabilidad. De ahí el consejo de usar rangos (Más probable - Peor de los casos) y decidir cuidadosamente qué riesgo desea tomar, cuánto búfer o reserva desea tener en cuenta, etc. (Puedo explicar esto con más detalle, pero la pregunta es sobre 'precisión ' Yo creo).

No veo el sentido de llamar a una estimación de rango 'precisa'; cómo se calculó es más importante y cuánto riesgo está implícito (en el peor de los casos, solo un 20% más alto o un 100%)?

Estoy un poco preocupado por la noción de "caducidad de datos" discutida por Zsolt: sacar los datos de 'bloqueo de carretera' del ejemplo de tiempo de viaje implicaría que no hay otros bloqueos de carretera posibles en su camino al trabajo. A la luz de la gestión de riesgos, ciertamente lo dejaría (a menos que tenga el tiempo / y el dinero para probar y medir todas las rutas alternativas posibles para llegar al trabajo).

Exacto y preciso son diferentes, no sinónimos. Preciso es qué tan cerca está de lo real, mientras que preciso es qué tan seguro está. Decir "Me llevará 1 minuto" es preciso, aunque te lleve 20 minutos. Decir que te llevará 0,5 horas es menos preciso, pero sería más exacto si te lleva 20 minutos.
Puede ser, no soy un hablante nativo de inglés. Pero eso significaría que mi punto sobre la precisión sigue siendo válido, y ¿un 'rango' es preciso? Por cierto, ¿por qué 30 minutos serían menos precisos si estás totalmente seguro de ello (incluso si la realidad te demuestra lo contrario; esto sucede a veces con las estimaciones...)
Así es, la mayor parte del resto de su publicación se mantiene (aparte de la afirmación de que una estimación de un solo punto nunca puede ser precisa, uno puede ser tanto exacto como preciso). Sin embargo, las estimaciones rara vez son ciertas y lo que no hacen las estimaciones de un solo punto es capturar la incertidumbre. Aparte, creo que la "exactitud"/"precisión" normalmente existe en las ciencias y la ingeniería y no en el uso común del inglés, donde se tratan como si fueran lo mismo.
Acabo de ver la edición de tu comentario. El rango es solo un método para capturar la incertidumbre. Existen múltiples formas de capturar la incertidumbre: dar una probabilidad de certeza, un rango y el intervalo de confianza de ese rango, un solo punto más una lista de los principales factores que pueden causar desviación, mejor/más probable/peor de los casos.
Hola @ThomasOwens y Stephan. En realidad, la precisión es el grado en que sus medidas pueden repetirse con los mismos resultados. Entonces, si le toma 15 minutos llegar al trabajo todos los días, es preciso, incluso si predijo que le tomaría 20 minutos, y no es exacto. Por lo tanto, puede ser menos preciso pero muy preciso. Consulte la "Analogía de destino" de precisión y precisión de Wikipedia para obtener más detalles y un gran ejemplo. Mira los dos objetivos de tiro a la derecha.
@ jmort253 En Estimación de software, McConnell usa la precisión como yo lo hago, para reflejar las unidades en la estimación. Una estimación dada en días es más precisa que una dada en meses. También utiliza la precisión para reflejar el uso de dígitos significativos cuando las unidades de la estimación son las mismas, diciendo que una estimación de $1000 es menos precisa que $975,00. Si tiene el libro, consulte las páginas 51-52. Para mí, la repetibilidad solo importa tanto para la exactitud como para la precisión en múltiples proyectos (¿puede obtener una pequeña unidad cercana a la real para cada proyecto) o para estimaciones paramétricas (se mantiene el modelo).
@ThomasOwens, incluso con su explicación, la precisión suena como golpear el mismo objetivo en el mismo lugar repetidamente, en lugar de estar cerca del objetivo cada vez, pero quizás sobreestimar en lugar de subestimar. A riesgo de que esto sea solo un malentendido semántico, estoy de acuerdo en que es más probable que sea preciso y "seguro" con iteraciones más cortas. :)

@Aclear tiene razón: una "estimación precisa" es aquella que se encuentra dentro del margen de error aceptable para esa instancia en particular.

Si digo que el trabajo tomará 5 días y toma 5.5, entonces dentro del alcance general del trabajo, esa puede ser una estimación precisa. A) no había forma de determinar de antemano "exactamente" cuánto tiempo iba a tomar, por lo que 1/2 día en 5 días es probablemente bastante bueno.

Por otro lado, si calculo que tomará 20 minutos llevar a mis hijos a la escuela y salgo con 20 minutos para que comiencen las clases, si toma 25 minutos y llegan 5 minutos tarde, entonces mi estimación no fue precisa. Estaba fuera del margen de error aceptable.

En realidad, una estimación es solo eso, y estimación. Si es preciso o no realmente depende de qué tan preciso NECESITO ser.