El modelo de Kirkpatrick. Fundamentos de evaluación.

Veíamos en un post anterior que el origen del modelo de los cuatro niveles de evaluación fue la tesis doctoral de Donald Kirkpatrick presentada hace más de 60 años. Los que tuvimos la suerte de conocer y aprender directamente de Donald entendimos el porqué del éxito de su modelo: se trata de un planteamiento claro, simple y orientado a resultados. Desde entonces, nuevos modelos han ido surgiendo, aunque en su inmensa mayoría basados en el modelo de D. Kirkpatrick.

El modelo recibe su nombre porque está estructurado en cuatro niveles. No se trata de una taxonomía, como aclaraba con frecuencia Kirkpatrick, sino de un modelo que contempla cuatro niveles de evaluación debidamente ordenados. Es decir, para evaluar en un determinado nivel es imprescindible haber evaluado los anteriores.

Veamos el modelo que iremos profundizando en sucesivos posts:

  • Nivel 1 o de Reacción: Se le conoce también como el nivel de satisfacción porque evalúa el grado de satisfacción de los participantes de una acción formativa. A menudo realizada a través de un simple cuestionario, los datos recopilados aportan información de escaso valor para el cliente interno.
  • Nivel 2 o de Aprendizaje: Mide el nivel de aprendizaje logrado por el participante como consecuencia de la acción formativa. Es decir, cómo se han incrementado sus conocimientos y/o habilidades tras realizar el programa formativo. A menudo confundida con una simple evaluación de conocimientos al finalizar el curso.
  • Nivel 3 o de Conducta: También conocido en inglés como Behavior o en español como de Transferencia. Mide el cambio en la conducta o comportamiento deseado en la persona tras participar en la acción formativa. Cuánto de lo aprendido lo aplica.
  • Nivel 4 o de Resultados: Este nivel mide el impacto que los cambios producidos en la conducta tienen en la organización. También se le conoce por el nivel de Impacto y acostumbra a alinearse a los KPI’s de la organización.

Veamos un ejemplo. Tras una acción formativa sobre “Excelencia en el Servicio: Atención al cliente”:

  • El nivel 1 o de Reacción: Medirá aspectos como la satisfacción del participante por la acción formativa, su organización, logística e instalaciones. También sobre la calidad del instructor, la seriedad del grupo, la adecuación de la metodología…
  • El nivel 2 o de Aprendizaje: Determinará qué conocimientos o habilidades han adquirido los participantes tras pasar por el curso. Evaluará si han aprendido las claves de la excelencia en el servicio, a sonreír incluso por teléfono, a dirigirse por su nombre al cliente, a saludarle al inicio y al final de la interacción…
  • El nivel 3 o de Conducta: Evaluará qué cambios en el comportamiento se han producido. Para ello, probablemente utilizará metodologías como la observación, ya sea con un mistery shopper o no, y evidenciará los cambios producidos.
  • El nivel 4 o de Resultados: Analizará cómo afectan a nivel organizacional los cambios producidos en la conducta. Investigará cómo han evolucionado determinados KPI’s como el incremento del ticket medio, la frecuencia de las visitas del cliente, el nivel de satisfacción, el nps (net promoter score)…

Existen múltiples variaciones sobre el modelo, aunque cabe destacar dos de ellas. Por un lado, el modelo de Jack Phillips quien, tomando íntegramente el modelo de Kirkpatrick como bueno, desarrolla un quinto nivel al que denomina ROI (Return on Investment). Es, sin duda alguna, un planteamiento atractivo al intentar convertir en unidades monetarias el retorno de la inversión realizada en la formación. Sin embargo, y en palabras de Donald Kirkpatrick, solo es un ejercicio de algebra que traduce el resultado del nivel 4 en unidades monetarias.

Un segundo modelo, especial por su interés, es el elaborado por Jim y Wendy Kirkpatrick, hijo y nuera de Donald respectivamente, quienes plantearon a mi juicio de manera muy acertada el acrónimo ROE (Return on Expectations) cuyo propósito consiste en evaluar el nivel de satisfacción del cliente interno, así como de otros stakeholders, como resultado de la acción formativa.

Pero veamos porqué se evalúa poco…y a menudo mal. Más allá de que pocas son las organizaciones que cuentan con una política de evaluación de la formación, el siguiente gráfico nos demuestra que a medida que ascendemos en la pirámide de los niveles de evaluación de la formación la complejidad, así como el valor de la información obtenida, aumentan. Es decir, evaluamos lo que nos es fácil evaluar a pesar de que la información que nos aporta sea de escaso valor.

El nivel 1 obtiene información del participante interesante solo para el propio departamento de Formación. Nos da información sobre la percepción de los participantes sobre aspectos varios. Son señales de alerta ante temas que debemos atender como la adecuación del formador al grupo, la percepción de los participantes sobre el curdso, la bondad de la metodología para el colectivo, la organización del evento… En resumen, nada de interés ni para el participante ni tampoco, lo que es más grave, para el cliente interno. Y sin embargo, ¡es el nivel de evaluación que más se practica!

En cuanto al nivel 2, más importante que el nivel 1, nos aporta información algo más relevante. Cuánto han aprendido como consecuencia de la actividad formativa. ¿Cuál fue el nivel de salida comparado con el de entrada? Va más allá de una simple prueba final y habitualmente se lleva a cabo comparando los resultados de un post test con los de un pretest. ¿Y para qué nos sirve este nivel de evaluación? Prometo desarrollarlo en un próximo post. Sin embargo, quedémonos con una reflexión: ¿En qué beneficia este nivel de evaluación al cliente interno o al participante?

Sobre el Nivel 3 habría mucho que contar. Ya casi no se evalúa y cuando se hace se simplifica enormemente con unos cuestionarios que poco aportan. Recordemos que pretendemos evaluar el cambio en la conducta de los participantes…en su entorno de trabajo…y tras un período prudencial que permita consolidar la nueva conducta en un hábito. Evaluar este nivel supone estar cerca del puesto de trabajo del participante, del supervisor directo. Es decir, trabajar muy de cerca con el cliente interno. ¡Y ahí radica nuestro problema! Estamos demasiado alejados del cliente interno, no conocemos qué pasa en el puesto de trabajo, no implicamos al supervisor del participante para facilitar la transferencia… Y lo que es más grave, que cuando nada ocurre tras una acción formativa se imputa la falta de resultados a Formación… Veamos un ejemplo: ¿Hasta qué punto es responsabilidad de Formación que un empleado no tenga una laptop en su puesto de trabajo y por eso no pueda aplicar los conocimientos adquiridos sobre Office 365? ¿O que tras un curso de trabajo en equipo el supervisor directo transmita el estilo de “aquí cada uno a lo suyo”?

Y si evaluamos poco, y mal, el nivel 3 que responde a la pregunta de cuánto de lo que han aprendido están aplicando, ¿Cómo vamos a saber cómo está impactando en la Organización lo que han aplicado?

Cuanto más suben los niveles menos se evalúa a pesar de que la información es de mayor interés para el cliente interno y para la dirección de la empresa. Parece, pues, que trabajar de manera independiente, alejados o de espalda al cliente interno, nos lleva a no poder formular los objetivos correctamente, a no poder contar con los jefes directos de los participantes para incrementar la transferencia del aprendizaje al puesto de trabajo, a no poder evaluar los niveles 3 y 4 de Kirkpatrick…

¿Estaremos evaluando poco porque no sabemos para quien estamos trabajando?

 

 

Deja un comentario