Evaluación de los conocimientos y habilidades de los alumnos del grado de Farmacia: Prueba ECOE (Evaluación Clínica Objetiva Estructurada)

Una prueba ECOE es una Evaluación Clínica Objetiva Estructurada y se define como “un método de evaluación de competencias clínicas en el que los componentes de estas competencias se evalúan de forma planificada o estructurada, prestando especial interés a la objetividad del examen” (1). 

La potencia de este formato de prueba se sustenta en la mezcla de métodos de evaluación, de manera que es capaz de explorar suficientemente tres de los cuatro niveles de la pirámide de Miller: conocimientos, habilidades y actitudes (véase figura 1).

Figura 1 Relación entre el nivel de competencia según la pirámide de Miller y los instrumentos susceptibles de ser utilizados. Adaptado de la referencia (2)

La prueba ECOE consiste en el desarrollo de sucesivas pruebas, denominadas “estaciones”, en un circuito que simula situaciones reales (3). En cada estación, en base a un tiempo determinado, los estudiantes evaluados interactúan con un paciente simulado para demostrar determinadas habilidades. Los pacientes simulados son personas entrenadas (profesores, investigadores y colaboradores de la universidad) que representan problemas que pueden presentar los pacientes de manera real. En cada una de las estaciones, un observador anteriormente entrenado asigna una puntación de acuerdo con una escala previamente establecida. Los estudiantes, al tener la certeza de que sus habilidades y métodos de comunicación van a ser evaluados, muestran un mayor interés por aprenderlos, incluso reclaman de sus profesores de prácticas más tutorías. Los profesores, viendo el interés mostrado, se sienten también motivados, por lo que el resultado final es una mejora general del proceso de enseñanza/aprendizaje. 

En los últimos años, la educación farmacéutica ha evolucionado considerablemente hacia una profesión más orientada al paciente, presentando mayor énfasis la enseñanza basada en problemas. En este sentido, la ECOE, debido a su fiabilidad y validez, se ha convertido en la prueba estándar para la evaluación de las habilidades clínicas de los estudiantes universitarios de farmacia de todo el mundo (4).

En la actualidad, la ECOE se utiliza como metodología docente para evaluar competencias profesionales en Farmacia en el Reino Unido, Estados Unidos (EE.UU.) y Canadá (5), suponiendo un modelo perfecto de examen para evaluar las competencias y habilidades desarrolladas por los estudiantes del grado en Farmacia en estos países (6,7,8).

La Real Sociedad Farmacéutica de Gran Bretaña, junto con los métodos tradicionales de evaluación, defiende la inclusión del aprendizaje basado en competencias y la evaluación mediante la prueba ECOE (9). Por otra parte, en EE.UU., el incremento de comunicaciones de investigación presentadas en los foros académicos de la titulación de Farmacia demuestra el creciente interés de esta técnica de evaluación (10,11). 

En nuestra Universidad, el examen ECOE se aplica desde el curso académico 2015-16 en la titulación de Medicina. Debido al éxito generado y a partir de un Proyecto CEU Innova con profesores de Farmacia, hace dos cursos académicos se implantó también esta prueba práctica en la asignatura Prácticas Tuteladas de la titulación de Farmacia que se imparte en la sede de Valencia de la Universidad CEU Cardenal Herrera (UCH-CEU) (12). 

Para ello, se establecieron una serie de acciones: 

1. Revisión bibliográfica y análisis de los planes de estudios de Farmacia de otras Facultades donde evalúan con esta prueba ECOE. Para ello se determinaron: 

a) Especificaciones de cada situación (prueba práctica o estación) a la cual el alumno se va a enfrentar: número de la estación, área de conocimiento, ámbito y evaluación.

b) Estaciones. Tipo de estación: práctica mediante actores, examen en papel, etc.

c) Personal. Personas responsables de su ejecución. Actores necesarios para completar la actividad práctica de la forma más real posible. Número de profesores y tutores necesarios en cada estación (actor, evaluador). 

d) Materiales. Recursos necesarios para cada una de las pruebas. Material de laboratorio, fuentes de información, medicamentos, productos sanitarios y cosméticos, etc.

e) Prueba. Duración de cada estación y tipo de prueba a desarrollar. 

f) Evaluación de resultados. Elaboración de rúbricas estandarizadas (check-list) y consensuadas entre los tutores y profesores a fin de asegurar la objetividad, sencillez y claridad de la prueba.

2. Realización de diversas sesiones informativa, tanto al profesorado como al alumnado, sobre la ECOE de Farmacia. 

3. Obtención del Mapa de Competencias. Se identificaron los contenidos de la asignatura para poder establecer según las competencias de Prácticas Tuteladas del Grado de Farmacia las competencias adecuadas para la prueba ECOE. De esta forma, se diseñaron casos concretos acordes a las competencias acotadas en el Mapa de Competencias (véase tabla 1). Dicho mapa fue explicado a cada uno de los profesores.

Tabla 1 Competencias establecidas para la prueba ECOE del grado de Farmacia

4. Elaboración de una ficha genérica de los casos-estaciones, a fin de que cada profesor pudiera diseñar diferentes casos-estaciones para su posterior puesta a punto. Se preparó un formulario de obligada cumplimentación por parte del profeso­rado. 

En los dos últimos cursos académicos, las pruebas ECOE realizadas en la titulación de Farmacia de la UCH-CEU se han realizado en el Centro de Simulación Avanzada de la Facultad de Salud de dicha Universidad (véase figura 2). 

Figura 2 Imágenes obtenidas durante las pruebas ECOE realizadas

Las pruebas han consistido en un circuito multidisciplinar de cinco estaciones (véase ejemplo en la figura 3). El tiempo de duración de cada estación ha sido de 5 minutos y la duración máxima de la prueba, 30 minutos. Durante ese tiempo, 5 minutos, el alumno lee el caso y entra a la estación para resolverlo. En el anexo 1 se describe una de las estaciones diseñadas. 

Figura 3 Ejemplo de uno de los circuitos de estaciones prueba ECOE

En dichas pruebas han participado un total de 79 alumnos de 5º curso matriculados en la asignatura Practicas Tuteladas. En el primer curso en el que tuvo lugar la prueba, la puntuación media obtenida por los 30 alumnos evaluados fue de 6,2/10. En el segundo curso, la puntación media obtenida por los 49 alumnos evaluados fue de 7,0/10, algo superior a la obtenida el curso anterior. No obstante, los resultados de cada estación sugieren aspectos que se pueden mejorar. Así, es deseable que algunas áreas de conocimiento propias de la titulación tengan una mayor participación en la formulación de preguntas y casos para dicha prueba.

Los datos obtenidos a partir de la encuesta de satisfacción realizada a los estudiantes (véase tabla 2) muestran la satisfacción del alumnado con la prueba desarrollada. El valor medio obtenido fue de 4,95/6, siendo el mínimo valor alcanzado en los ítems de 4,12/6.

Tabla 2 Encuesta de satisfacción con la prueba ECOE realizada por el alumnado

Por lo expuesto con anterioridad, se considera que la prueba ECOE es una herramienta muy útil para la evaluación de competencias de alumnos de Grado en Farmacia. Se trata de una prueba de formato flexible, que permite conocer si los estudiantes y, en consecuencia, los programas docentes, cumplen el objetivo de «formar en competencias» de acuerdo con las directrices del plan Bolonia.

Referencias bibliográficas

 1.Harden RM. What is an OSCE? Med Teach. 1988; 10(1):19-22. doi:10.3109/ 01421598809019321

 2.Miller G.E. The assessment of clinical skills/competence/performance. Acad Med. 1990; 65 (suppl 9): 63-67. doi: 10.1097/00001888-199009000-00045

 3.Kamran Z. Khan, Sankaranarayanan Ramachandran, Kathryn Gaunt & Piyush Pushkar. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part I: An historical and theoretical perspective, Medical Teacher. 2013: 35:9, e1437-e1446. doi:10.3109/0142159X.2013.818634 

 4.Shirwaikar A. Objective structured clinical examination (OSCE) in pharmacy education a trend. Pharm Pract. 2015; 13(4): 627. doi:10.18549/PharmPract.2015.04.627

 5.The Pharmacy Examining Board of Canada [Sede Web] Toronto, Canada. 15/01/2020 [último acceso]  https://www.pebc.ca/index.php/ci_id/3374/la_id/1.htm 

 6.Hal Sosabowski M, Gard P.R. Pharmacy Education in the United Kingdom. Am J Pharm Educ. 2008 Dec 15; 72(6): 130. doi:10.5688/aj7206130

 7.Sturpe DA. Objective structured clinical examinations in doctor of pharmacy programs in the United States. Am J Pharm Educ. 2010; 74(8):148. doi:10.5688/aj7408148

 8.Austin Z, O’Byrne CC, Pugsley J, Munoz LQ. Development and validation processes for an objective structured clinical examination (OSCE) for entry-to-practice certification in pharmacy: the Canadian experience. Am J Pharm Educ. 2003; 67(3):76. doi:10. 5688/aj670376

 9.Brian Kirton S, Kravitz L. Objective Structured Clinical Examinations (OSCEs) Compared With Traditional Assessment Methods. Am J Pharm Educ. 2011; 10; 75(6): 111. doi:10.5688/ajpe756111

10.Young A. 107th Annual Meeting of the American Association of Colleges of Pharmacy. San Diego, CA. 2006. Making learning portable: continuing education (CE).

11.Stowe CD, O’Brien CE, Warmack TS, Gardner SF. 108th Annual Meeting of the American Association of Colleges of Pharmacy. Orlando, FL. 2007. Communication skill development: OSCE assessment of lay and healthcare provider encounters.

12.Balaguer-Fernández C, Moreno L, Calatayud-Pascual M.A., López-Castellano A. An Objective Structured Clinical Examination (OSCE) to evaluate clinical/communication skills of pharmacy students. IPAP18 Innovations in Pharmacy. Abstract book; p. 287.