Diseño y validación de un instrumento para medir estrategias de evaluación de docentes de medicina

Resumen

Introducción. La relación entre lo que el estudiante aprende y lo que se le evalúa ha sido un tema de relevancia en la educación superior y un tema de investigación que ha llamado la atención en programas del área de la salud, especialmente en medicina.
Objetivos. El objetivo de este estudio fue diseñar y validar un instrumento que permitiera conocer y describir las estrategias utilizadas por los docentes del programa de Medicina de la Universidad El Bosque, ubicada en Bogotá, Colombia, la cual consolida su modelo pedagógico de aprendizaje centrado en el estudiante a partir de los objeti vos institucionales de aprendizaje, los cuales deben ser evaluados para verificar su consecución. Esto se hizo con el fin de evaluar el nivel de logro de las competencias de formación de los estudiantes. Métodos. Se identificaron dos categorías que debían conformar el instrumento: referentes curriculares y evaluación de la apropiación. Posterior mente se describió el nivel de validez de contenido por medio del acuerdo de jueces a partir del modelo de Lawshe modificado por Tristán y Molgado.
Resultados. Los resultados evidenciaron que el instrumento diseñado permite medir de forma válida las categorías y subcategorías planteadas y que los ítems aportan información valiosa sobre cada una de ellas. Esta herramienta tam bién puede ser usada para fines de investigación educativa realizando los ajustes pertinentes de acuerdo con las par ticularidades propias de la naturaleza de la institución de educación, del programa y de los objetivos de investigación.
Conclusiones. Este instrumento puede ser usado para evaluar el nivel de logro de las competencias de formación de los estudiantes y para fines de investigación educativa.

Abstract

Backgound: The relation between what students learn and what is evaluated has been a relevant issue in higher education, and a research topic that has caught health’s programs attention, especially in medicine.
Objectives: The objective of this study was to design and validate an instrument that would allow to know and des cribe the strategies used by Medicine professors from El Bosque University, in Bogotá, Colombia, which strengthens its pe¬dagogical model of student centered learning based on the Institutional Learning Objectives (OIA), which must be evaluated to verify their achievement. This was done to evaluate the level of achievement of the students’ training competences.
Methods: It was identified two categories that should make up the instrument: curri¬cular references and evaluation of appropriation. Subsequently the level of content validity was described thought judges’ agreement based on the Lawshe model with modifications from Tristán y Molgado.
Results: The results showed that the instrument designed allows measuring the categories and subcategories pro posed and that the items provide valuable information about each of them. The developed test can be used for educational re¬search purposes making the appropriate adjustments, according to the particular characteristics of the educational institution, the program and the research objectives.
Conclusions: The instrument can be used for evaluation of achievement of the students’ training competences and for educational research

Resumo

Introdução. A relação entre o que o aluno aprende e o que é avaliado têm sido uma questão relevante do ensino superior e um tema de pesquisa chama a atenção dos programas da área da saúde, especialmente na medicina.
Metas. O objetivo deste estudo foi delinear e validar um instrumento que permitisse conhecer e descrever as estraté gias utilizadas pelos professores do curso de Medicina da Universidad El Bosque, à procura de consolidar o modelo pedagógico de aprendizagem centrada no aluno, conforme os objetivos institucionais de aprendizagem. O instru mento procura avaliar o nível de aproveitamento e competências que a formação consegue nos alunos.
Métodos. Duas categorias compõem o instrumento: referencial curricular e avaliação da apropriação. O nível de validade de conteúdo foi descrito por meio da concordância dos juízes, segundo o modelo Lawshe modificado por Tristán e Molgado.
Resultados. O instrumento elaborado permite mensuração válida das categorias e subcategorias propostas, os itens fornecem informações valiosas sobre cada uma delas. Trata-se de uma ferramenta que também pode ser utilizada visando pesquisa educacional, se ajustada às particularidades do programa de ensino.
Conclusões. Este instrumento pode ser usado para avaliar o nível de realização das competências de formação dos alunos e para fins de pesquisa educacional.

El aprendizaje es uno de los principales desafíos de la sociedad y en particular de la Universidad El Bosque, ubicada en Bogotá D.C., Colombia, lo que ha evidenciado la necesidad de generar un enfoque educativo centrado en este aspecto (1). Por ello, esta institución ha introducido como modelo pedagógico el aprendizaje significativo, el cual implica que lo aprendido debe perdurar, ser significativo e influir positivamente en los estudiantes (2). Con este objetivo, la universidad ha planteado una estructura de doble vía: una vía sincrónica, lo que significa que los programas de las asignaturas contemplan cómo se van a lograr los Objetivos Institucionales de Aprendizaje (OIA) en consonancia con el Proyecto Educativo Institucional (PEI) y el Proyecto Educativo del Programa (PEP), y una vía diacrónica, en la que se enlaza el PEI con los OIA, el PEP con los correspondientes Objetivos de Aprendizaje del Programa (OAP) y el diseño de los cursos con los Objetivos de Aprendizaje de los Cursos (OAC) (3). Así, teniendo en cuenta los OIA, el programa de Medicina de la citada universidad planteó objetivos de formación y definió las competencias que se espera adquieran los estudiantes (1).
Las investigaciones sobre qué enseñan y cómo evalúan los profesores han mostra do que existe una gran dificultad para establecer una relación lineal entre los conte nidos que los docentes imparten y los contenidos que posteriormente se evalúan (4). Dada la importancia que el proceso evaluativo tiene dentro del modelo centrado en el estudiante, es importante conocer cuáles son las estrategias de evaluación que utilizan los profesores del programa de pregrado de Medicina de la Universidad El Bosque para medir hasta qué punto sus estudiantes adquieren las competencias de formación del programa

Competencias y evaluación por competencias

La competencia es un conjunto de conocimientos, procedimientos y actitudes combi nados, coordinados e integrados que el estudiante debe saber, saber hacer, saber ser y saber estar en coherencia con lo que requiere su ejercicio profesional (5-9); también es la capacidad que tiene el profesional de tomar decisiones y solucionar problemas con base en los conocimientos, habilidades y actitudes vinculadas a su profesión y que son utilizados eficazmente en diferentes situaciones. Se parte entonces de que hay una actuación que se espera que tengan las personas en el marco de su rol como profesio nal y en las circunstancias propias de su campo profesional, lo cual permite identificar cuáles son las competencias profesionales requeridas en cuanto a acciones, contexto o condiciones para así desarrollarlas de manera flexible y proporcionar soluciones va riadas y pertinentes (6,10-14).
El concepto de competencia a nivel educativo contempla aquello que el estudiante es capaz de hacer cuando finaliza su educación y que le ayuda a seguir aprendiendo autónomamente durante la vida. Así, el perfil de egreso comprende un conjunto de competencias profesionales que permitirán al individuo realizar una labor profesional exitosa (13-15). Ahora bien, es necesario tener en cuenta que es común que se presenten dificultades para establecer las competencias específicas de la profesión: existen competencias genéricas que se pueden aplicar a todas las profesiones, competencias transversales que son relevantes para un conjunto de profesiones y competencias bá sicas que son específicas de la profesión. Estas últimas requieren ser identificadas con claridad para garantizar que estén incluidas en los planes de estudio universitarios (6,13,16,17).
En el área de medicina se han introducido e implementado varias formas de ense ñanza-aprendizaje para la resolución de problemas de manera integral. La enseñanza de esta disciplina requiere la adquisición de conocimientos en biomedicina y medicina, así como de habilidades, destrezas y valores del ejercicio profesional, lo cual implica usar métodos de evaluación clave que permitan medir los respectivos avances (7,8,13,18). Además, hay que tener en cuenta tres aspectos básicos en el diseño cu rricular de las carreras de medicina: a) qué conocimientos se desea que adquieran los estudiantes; b) cómo adquieren los estudiantes los conocimientos, habilidades y acti tudes, y c) cómo evaluar que se cumplen las competencias y su dominio (11). En este contexto se ha evidenciado una falta de linealidad entre los contenidos que se enseñan y los contenidos que se evalúan.
La evaluación en educación superior se encuentra ligada a disciplinas, materias y asignaturas, por tanto requiere un planteamiento interdisciplinar, lo que implica tener una adecuada integración de materias y del equipo docente (4,9,19). La evaluación es un proceso sistemático con el que se juzga el cumplimiento de algo, se atribuyen calidades sobre el objeto evaluado y se obtienen valoraciones en relación con lo enjuiciado; a partir de ello se toman decisiones para mejorar la calidad del aprendizaje y el desempeño del estudiante en contextos reales o simulados (2,7,20,21). Debido a que las competencias son complejas, multidimensionales y multifactoriales, la evaluación también se debe abordar con modelos multidimensionales que pueden pronosticar la calidad y el perfil de la práctica. Estas evaluaciones deben basarse en modelos centrados en las evidencias y diseñados para la formación en medicina, y en la elaboración de pruebas de competencias clínicas que utilicen la resolución de casos a partir de rúbricas establecidas con evidencias y un buen nivel de desempeño (13).
Para contar con procesos válidos y confiables de evaluación es necesario que las instituciones de educación tengan estrategias y políticas institucionales coherentes con el enfoque de competencias profesionales, de tal forma que la evaluación no sea aisla da, sino sistémica, y asegure la congruencia del plan de estudios y la metodología de enseñanza-aprendizaje (13,22). La evaluación del aprendizaje ayuda a los estudiantes a aprender, por tanto debe contemplarse como el factor más influyente en los mismos en la medida en que su percepción sobre estos procesos de evaluación influye en la adaptación que tengan sobre su estudio. En este contexto, los requisitos del proceso de evaluación pueden determinar cuánto, cómo y qué se aprende (21,23), y por tanto los métodos y herramientas de evaluación se deben articular con los objetivos de la evaluación (formativa o sumativa) y deben estar enfocados hacia el objetivo que se requiere evaluar y a su complejidad (20,21,24-26). Igualmente, es necesario planificar la evaluación de tal forma que sea flexible y que dé respuesta a qué, cómo y cuándo evaluar; para esta planificación deben tenerse en cuenta aspectos como las competencias a desarrollar, los resultados del aprendizaje, las tareas de evaluación en cuanto a tipología y modalidad, los criterios e instrumentos de evaluación, el entorno en que se evaluará y la retroalimentación que se ofrecerá (3,5,27).
De esta forma, la evaluación debe realizarse desde etapas tempranas y se espera tener en ella diferentes tipos de evaluadores y realizarla en diferentes contextos de tal manera que se verifique que se cumplan los aspectos de confiabilidad, validez, trans parencia, viabilidad, aceptación e impacto educativo, no solo de los instrumentos de evaluación, sino del proceso mismo (12,20,25,28-30). Cortés et al. (31) afirman que, con la evaluación, los profesores pueden mejorar las actitudes e intereses de sus es tudiantes, pero para esto requieren tener instrumentos de medición que les permitan a ellos y a los estudiantes identificar el desarrollo que van teniendo estos últimos a lo largo de la carrera o de la clase.
Existe una gran variedad de instrumentos utilizados por los profesores de los pro gramas de medicina para evaluar el cumplimiento de las competencias del médico. Algunos autores destacan como métodos de evaluación la selección de respuesta o respuesta corta, la respuesta escrita extensa, la evaluación del desempeño y el exa men oral, los cuales pueden medirse a través de diferentes herramientas de evaluación como rúbricas, exámenes, cuestionamientos, debates, listas de chequeo, portafolios, pruebas de desempeño, entre otros (7,8,25,26,28). Salomón et al. (7) indican que los instrumentos de evaluación más usados por parte de los profesores en el área de medi cina son las pruebas escritas, la participación y observación en clase, el trabajo en gru po y el examen clínico objetivamente estructurado. Como instrumentos poco utilizados otros autores mencionan el portafolio, las pruebas de ejecución, las pruebas orales, las rúbricas y los informes orales (28,32).
Igualmente, varias investigaciones resaltan el cambio de paradigma en la evalua ción dado que se ha pasado de la concepción evaluativa basada casi exclusivamente en fundamentos psicométricos, a unos de evaluación apoyados en la descripción de los criterios y el establecimiento de los procesos; de esta forma, la evaluación está más orientada hacia el aprendizaje de carácter colaborativo y centrada en la retroalimen tación eficaz que permita la mejora de los estudiantes (21,24). Lo anterior evidencia la necesidad de que los profesores se actualicen tanto en metodologías de enseñanza, como en temas de evaluación, de tal forma que incorporen actividades que les permi tan evidenciar el cumplimiento de las competencias y desarrollar evaluaciones con las cuales puedan hacer una retroalimentación continua (33).
El poco conocimiento de los criterios de evaluación por parte de los estudiantes es una de las principales dificultades del proceso evaluativo, lo que puede llevarlos a per cibir la evaluación como un proceso arbitrario y producto del azar. Uno de los aspectos significativos de la evaluación es la existencia de rúbricas, las cuales son pautas de evaluación en las que se describen las características particulares de un producto, proyecto o tarea; se trata de una matriz de valoración en la que se presentan criterios de ejecución y la respectiva escala de valoración con textos que indican las pautas para determinar el grado de adquisición de conocimientos. A partir de ellas se refiere la valoración que también proporciona la retroalimentación (22,24,30,32,34). Asimismo, García-Medina et al. (25) afirman que la retroalimentación es fundamental debido a que permite dar información a los estudiantes para que puedan identificar sus logros y saber en qué estado se encuentran con respecto a lo esperado. Esta retroalimentación debe ser descriptiva (informar sobre las fortalezas y debilidades en el cumplimiento), individualizada (detallada para cada estudiante y para cada objetivo de aprendizaje), regular (en varios momentos para identificar los elementos que ya domina y los que debe continuar fortaleciendo) y orientadora (entregar la información e indicar lo que requiere realizar el estudiante para lograr los objetivos).
Todo lo expuesto evidencia la importancia que tiene formar y capacitar a los pro fesores, especialmente de medicina, tanto en procesos educativos como evaluativos (12). Al respecto, López-López et al. (33) destacan que los docentes de educación superior evidencian que existen dificultades en la evaluación en la medida en que con sideran que no es posible evaluar si el estudiante posee la competencia ni su grado de adquisición porque se trabaja sobre situaciones simuladas. Asimismo, Quesada-Serra et al. (27) consideran que los profesores de estas áreas deben fortalecerse principal mente en el diseño y construcción de instrumentos, el uso de herramientas y medios electrónicos y la innovación en la evaluación.
Por lo anterior, el objetivo de este estudio fue diseñar y validar un instrumento que permitiera conocer y describir las estrategias utilizadas por los docentes del programa de Medicina de la Universidad El Bosque para evaluar el nivel de logro de las com petencias de formación de los estudiantes. Para ello se planteó en primera instancia identificar las categorías esenciales que debían conformar el instrumento para así medir las estrategias utilizadas por los docentes y evaluar el logro de las competencias de formación de los estudiantes y, en segunda instancia, describir el nivel de validez de contenido del instrumento para medir las estrategias utilizadas por los docentes de este programa.

Diseño

Se realizó un estudio de corte técnico y tecnológico en la medida en que se buscó tener una herramienta confiable y válida para obtener información sobre el constructo que se pretende medir dado que no es tangible, lo cual requirió todo un proceso de diseño y posterior validación. Para esto, se entendió la validez de contenido como un juicio lógico que tiene como objetivo principal medir el grado en que un instrumento re
fleja un dominio específico de contenido de lo que se está midiendo, es decir, el grado en que esa medición es representativa del concepto que se pretende medir (35,36).
La validez de contenido tiene un doble sentido: uno es la naturaleza del dominio que se pretende medir, sus dimensiones y los elementos que lo componente, y el otro cor responde a la representatividad de los ítems en la medida en que aportan información de cada dimensión (37,38). Uno de los métodos para hallar este tipo de validez es el basado en el juicio de expertos, en el cual se tiene un número de expertos que evalúan los ítems según su relevancia y representatividad usando una escala tipo Likert, y emit en juicios sobre la relación que hay entre los elementos y los contenidos a evaluar (39).
Para realizar la validación de las categorías del constructo y de los ítems del ins trumento se utilizó la técnica de acuerdo entre jueces (se contó con 5 jueces). Esta validación se realizó por dos motivos: para identificar si las categorías establecidas correspondían a aquellas que representaran adecuadamente el constructo y para ana lizar los ítems construidos para estas categorías en cuanto a su contenido, claridad/ redacción, coherencia y lenguaje.
En la técnica de acuerdo por jueces fue importante tener una selección adecuada de los expertos, razón por la cual se tuvo en cuenta la formación y experiencia de los mismos en relación con el constructo (39). Los jueces elegidos para la validación fue ron: un médico doctor en educación y profesor de un programa de titulación de medici na con más de 30 años de experiencia como docente e investigador; un psicólogo epi demiólogo y doctor en salud pública con más de 30 años de experiencia en docencia de pregrado y posgrado; un psicólogo especialista en psicología clínica y de la salud adscrito a una Clínica Privada de Bogotá con 18 años de experiencia como docente; un administrador de empresas especialista en gerencia de proyectos y experto en en tornos virtuales de aprendizaje con 5 años de experiencia en docencia de entornos virtuales de aprendizaje, y un psicólogo psicómetra, magister en bioética y doctorando en educación con 16 años de experiencia como docente en educación superior

Instrumento

El instrumento, titulado “cuestionario de estrategias de evaluación de la apropiación de los objetivos de aprendizaje en los estudiantes de la titulación en Medicina”, fue dise ñado y validado ad hoc a partir de los principios y propósitos planteados en el enfoque educativo centrado en el aprendizaje de la Universidad El Bosque (1,3). Los tipos de pregunta utilizados fueron de selección múltiple con única respuesta, selección múlti ple con múltiple respuesta y lista de chequeo. La forma de aplicación fue autoaplicada y el tiempo aproximado fue 30 minutos. El cuestionario constó de 21 preguntas que se estructuraron de la siguiente manera:
1. Las preguntas 1 a 7 corresponden a información general en la que se obtienen datos del docente, tales como sexo, edad, nivel de formación, escalafón docente, años de experiencia docente y tiempo a cargo de la asignatura que dicta.
2. Las preguntas 8 a 13 corresponden a la categoría de referentes curriculares en donde se abordan aspectos referidos al conocimiento que tiene el profesor sobre los OIA, así como los OAP y los OAC; igualmente se indaga sobre la socialización que realizan de estos aspectos a los estudiantes y se solicita al docente seleccionar aquellos objetivos que busca lograr con su asignatura de un listado de objetivos institucionales y del programa.
3. Finalmente, las preguntas 14 a 21 hacen referencia a la categoría de evaluación de la apropiación de los objetivos de aprendizaje, tanto institucionales como del programa, en donde se abordan aspectos como la relación de las estrategias de evaluación utilizadas para dicho logro, la socialización de estas estrategias y de los criterios de evaluación con los estudiantes, las herramientas de evaluación utilizadas y la existencia de procesos de retroalimentación en la asignatura.
Para la validación por parte de los jueces se diseñó una matriz de revisión del instru mento en donde se presentaron como criterios para de evaluación el contenido, la cla ridad-redacción, la coherencia y el lenguaje. Cada juez debía valorar, en una escala de 1 a 4, el grado de cumplimiento de cada pregunta con respecto al criterio.

Técnicas y recolección de información

Para la recolección de la información se realizó una revisión teórica y empírica sobre los aspectos característicos del constructo a evaluar, a partir de lo cual se identificaron las categorías esenciales que debían conformar el instrumento; luego de esto se diseñaron las preguntas y la matriz de revisión y posteriormente se seleccionaron los jueces expertos de acuerdo con el perfil requerido para el constructo evaluado. El material para la validación se entregó a los jueces y con la información recolectada se realizó el procesa miento y análisis mediante el software estadístico SPSS versión 25 por medio del índice de validez de contenido y la razón de validez de contenido (RVC) de Lawshe (38).

Consideraciones éticas

Como aspectos éticos para este estudio se tuvo en cuenta el respectivo consentimiento informado por parte de cada uno de los jueces expertos, el cual se obtuvo luego de explicar el objetivo del estudio y hacer claridad acerca de que la participación era voluntaria, de que no iban a recibir retribución económica y de que se salvaguardarían los datos de identificación. De igual forma, se solicitó autorización para el uso de los resultados indicados en el formato de validación y de la breve descripción de su perfil profesional, sin hacer referencia a nombres propios o información detallada que permi tiera su identificación.

Resultados

El resultado primordial de este estudio fue el diseño del instrumento denominado “Cuestiona rio de estrategias de evaluación de la apropiación de los objetivos de aprendizaje en los estu diantes de la titulación en medicina”, el cual fue validado por contenido y se puede usar para fines de investigación educativa realizando los ajustes pertinentes de acuerdo con las parti cularidades de cada Institución de educación, del programa y de los objetivos del estudio.
Para la elaboración del cuestionario se identificaron en primera instancia las catego rías esenciales que debía conformar el instrumento para medir las estrategias utilizadas por los docentes del programa de medicina y así evaluar la apropiación de las competencias de formación de los estudiantes y describir el nivel de validez de contenido. Para esto se procedió a hacer la revisión del sustento teórico y empírico que permitiera iden tificar aspectos importantes en el constructo a estudiar, con lo cual se encontraron dos:
1) la planeación y definición, que tiene relación estrecha con la forma en cómo desde las asignaturas y los cursos se da respuesta a las competencias propuestas en coherencia con los OIA y el perfil del egresado, y
2) la evaluación del logro, a partir de la cual se busca determinar la apropiación de las competencias por parte del estudiante.
Se identificó entonces que el constructo debía abordarse desde dos categorías: los referentes curriculares (planeación) y la evaluación de la apropiación (estrategias de evaluación). La Figura 1 presenta la información general sobre las categorías y subca tegorías que componen el instrumento

A partir de lo anterior se procedió a identificar y construir los reactivos que se ten drían en cuenta para medir cada una de las categorías y subcategorías y, posterior mente, la determinación de la validez de contenido del instrumento. Se realizó entonces la valoración de las categorías, subcategorías e ítems por parte de cada uno de los jueces elegidos valorando contenido (los ítems contienen los elementos necesarios para medir la dimensión establecida); claridad-redacción (el ítem se comprende de manera fácil y clara ya que tiene sintaxis y semántica acorde a la categorías evaluada); coherencia (el ítem tiene relación con la categorías que está midiendo), y lenguaje (la terminología utilizada es adecuada de acuerdo a las características de la población).
Los resultados obtenidos fueron procesados haciendo uso de la tabla de validez de contenido que estandariza los elementos de evaluación que inciden en una prueba al especificar cada uno de los ítems y los diferentes aspectos valorados de los mismos. Para realizar la verificación cuantitativa se empleó el índice de validez de contenido y la RVC (38), que consiste en obtener el acuerdo del panel de evaluación de contenido, integrado por los jueces expertos que emitieron su opinión sobre cada ítem y para cada uno de los criterios sobre los cuales evaluaron. El consenso de panelistas para cada aspecto también se calculó con la RVC, la cual se interpreta de la misma forma en que se hace con una correlación; es decir, es negativa si el acuerdo se da entre menos de la mitad de los jueces, es nula si se da la mitad de acuerdos y es positiva si se tiene más de la mitad de acuerdos.
Según Tristán-López y Molgado-Ramos (38), se puede normalizar el número de jue ces, lo cual evita el problema del efecto de tamaño. De esta forma, se estableció como criterio para 5 jueces que a partir de valores >0,58 se garantiza la calidad de la prueba, lo que indica que el reactivo y el instrumento en general son los adecuados y requeri dos para medir los aspectos que se pretenden. A partir de lo anterior, en la Tabla 1 se presenta la RVC por ítem evaluado; todos los resultados se encuentran por encima de 0,58, de tal forma que se concluye que los ítems son adecuados y tienen relación direc ta con el constructo que se pretende evaluar según el juicio de los expertos.

En la Tabla 2 se presenta la RVC de la prueba para cada criterio evaluado; todos los resultados se encuentran por encima de 0,58 de tal forma que se concluye que los aspectos medidos en la prueba se relacionan directamente con el constructo a evaluar según el juicio de los expertos.

Si bien la técnica de acuerdo entre jueces permitió identificar que el instrumento es válido, es importante destacar que la valoración realizada por ellos también se hizo de forma cualitativa, lo que permitió identificar y tener en cuenta algunos aspectos que podrían mejorar la prueba. A continuación, se indican los principales ajustes que se realizaron a la prueba a partir de dichas valoraciones:
1. Para los ítems 8, 9 y 10 se modificó la primera opción de respuesta para que apun tara hacia el grado de conocimiento y no hacia la calidad del mismo.
2. Para el ítem 11 se incluyó en la afirmación a quién se da a conocer los objetivos dado que la pregunta no especificaba que se refería a los estudiantes.
3. En la afirmación de los ítems 12 y 13 se agregó la palabra apropiar con el fin de que tuviera coherencia con otros apartados del instrumento.
4. Dado que los ítems 14 y 15 se responden a partir de lo contestado en los ítems 12 y 13, se incluyó en las opciones de respuesta el número de la pregunta previa para que fuera más fácil para el docente recordar a qué objetivos se estaba refiriendo la afirmación.
5. Finalmente, se invirtió el orden de los ítems 20 y 21 dado que algunos jueces consi deraron que debería abordarse primero el tema de las herramientas utilizadas para la evaluación y posteriormente, el de la retroalimentación.

Discusión

El tema de la enseñanza y la evaluación por competencias es un aspecto relevante en la medida en que es necesario que se establezca una relación lineal entre dichos aspectos (4,9,19). Tener criterios claros en el proceso evaluativo es fundamental ya que permite obtener información válida y confiable sobre el desempeño del estudiante y, especialmente, identificar el cumplimiento que va teniendo en coherencia con los objetivos de aprendizaje establecidos (12,25,28,29). En los programas de medicina, y en cualquier programa de formación, establecer una relación directa entre las com
petencias que se pretenden y las que se evalúan ha tenido mayor auge e interés, es pecialmente en el marco del cambio de paradigma con respecto a la forma tradicional de evaluar, la cual ha pasado de una evaluación numérica a una evaluación más cua litativa y en la que el estudiante es un actor principal dentro del proceso (13,21,22,24).
En la planificación de la evaluación es necesario establecer los aspectos que deben tenerse en cuenta para determinar los criterios de evaluación, los tipos de evaluación que se han de realizar y, especialmente, la retroalimentación que se debe dar al estu diante, de tal forma que le sea posible tener información sobre su desempeño y lo que debe fortalecer o mejorar para el logro de las competencias (3,5,21,24-27,33). En cohe rencia con esto, y en respuesta al objetivo del presente estudio, es importante que los diferentes programas de formación analicen e identifiquen el componente evaluativo que están desarrollando dado que esto permite verificar la linealidad entre la evalua ción y los objetivos de aprendizaje y obtener información rigurosa y confiable. Esto evidencia la importancia de contar con un instrumento que permita identificar cuáles son las estrategias de evaluación que utilizan los profesores para verificar el cumplimiento de las competencias de formación del programa.
A partir de los resultados obtenidos, se logró identificar de forma acertada las ca tegorías esenciales que deben conformar el instrumento para medir las estrategias utilizadas por los docentes del programa de Medicina de la Universidad El Bosque para evaluar la apropiación de los objetivos de formación de los estudiantes. Los re sultados también evidencian que este aspecto debe ser medido teniendo en cuenta dos categorías amplias: la primera son los referentes curriculares, dentro de los cuales se encuentran tres subcategorías: 1) conocimientos de los OIA, los OAP y los OAC, 2) socialización de los OAC y 3) planificación y definición del curso a partir de los OIA y los OAP, mientras que la segunda hace referencia a la evaluación de la apropiación compuesta por cinco subcategorías: 1) estrategias de evaluación articuladas con los objetivos de aprendizaje, 2) socialización de las estrategias de evaluación, 3) socializa ción de los criterios de evaluación, 4) herramientas de evaluación y 5) retroalimentación de los resultados de evaluación.
De otro lado, se describió el nivel de validez de contenido del instrumento mediante el índice de validez de contenido y la RVC. Los resultados evidenciaron un alto nivel de acuerdo entre los jueces, tanto para cada ítem como para la prueba en general, lo que permite concluir que se trata de un instrumento que mide de forma precisa las categorías y subcategorías planteadas y que los ítems aportan información valiosa para cada una de ellas. Es importante recalcar que los comentarios cualitativos que realizaron los jueces a los ítems y a la prueba en general permitieron fortalecer algunos aspectos del instrumento para su mejoramiento en cuanto a la revisión y ajuste de redacción, las opciones de respuesta, el cambio en el orden de las preguntas, entre otros

Conclusiones

La existencia de este instrumento validado por contenido permite responder a los objetivos de un proyecto de investigación que busca identificar las estrategias de evaluación que utilizan los profesores del programa de Medicina de la Universidad El Bosque para comprobar la apropiación de las competencias de formación articuladas con el modelo pedagógico institucional. Entonces, el resultado primordial de este estudio fue la creación de un cuestionario que permite conocer y describir las estrategias utilizadas por los docentes de los programas de formación para evaluar la apropiación de las competencias de los estudiantes. Dicho instrumento fue diseñado para la comunidad colombiana, pero puede ser replicado, revisado y ajustado para ser utilizado en otros campos de aplicación de la educación superior teniendo en cuenta la naturaleza específica de los programas y los objetivos que se esperan alcanzar con la aplicación del mismo. Además, este cuestionario puede ser ajustado y adaptado a otras culturas teniendo en cuenta los aspectos específicos de la misma, especialmente en cuanto a la formación en educación superior, a los diferentes campos del conocimiento y a los objetivos de formación de los programas y de los cursos; lo anterior invita a que la comunidad investigativa en educación use esta publicación para adelantar estudios relacionados con el tema haciendo el respectivo reconocimiento a la autoría del instru mento original.

Conflicto de intereses

Ninguno declarado por las autoras

Financiación

Ninguna declarada por las autoras

Ninguno declarado por las autoras

• Universidad El Bosque. Políticas y Gestión Curricular Institucional. Bogotá D.C.: Universidad El Bosque; 2011.
• Fink LD. Creating significant learning experiences. San Francisco: Jossey -- Bass; 2003.
• Ruiz-Rubiano M, Maquilón-Sánchez JJ. Presente y futuro del aprendizaje y la enseñanza en Colombia: contextualizando a la Universidad El Bosque. Revista Interuniversitaria de Formación del Profesorado. 2015 [citado Agosto 20 2020];83(29):17-33. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=5249432.
• Hernández F. La evaluación de estudiantes. En: Jornet JM, Ramos G, Coordinadores. Estándares e indicadores para analizar la realidad educativa. Valencia: Universidad de Valencia; 2005. p. 187-226.
• Araneda A, Fuentes R. Un marco de referencia para el diseño curricular basado en competencias y su evaluación. Boletín Virtual REDIPE No. 829. 2013 [citado Agosto 18 2020]. Disponible en: https://issuu.com/redipe/docs/boletin_829.
• González MV, González RM. Competencias genéricas y formación profesional: un análisis des- de la docencia universitaria. Revista Iberoamericana de Educación. 2008 [citado Agosto 18 2020];(47):185-209. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=2736795.
• Salomón-Cruz J, Castillo ML, De La Cruz-González C. Evaluación en la enseñanza de la medicina en una institución pública. Perspectivas Docentes. 2015 [citado Agosto 18 2020];(59):5-12. Disponible en: http://www.revistas.ujat.mx/index.php/perspectivas/article/view/1303/1047.
• Segura MA. La evaluación de los aprendizajes basada en el desempeño por competencias. Ac- tualidades Investigativas en Educación. 2009 [citado Agosto 20 2020];9(2):1-24. Disponible en: https://publicaciones.inee.edu.mx/buscadorPub/P1/D/410/P1D410.pdf.
• Tejada J, Ruiz C. Evaluación de competencias profesionales en Educación Superior: Retos e impli- caciones. Educación XX1. 2016;19(1):17-38. DOI: 10.5944/educxx1.12175.
• Hernández-Pina F, Martínez-Clares P, Martínez-Juárez M, Monroy-Hernández F. Aprendizaje y competencias. Una nueva mirada. REOP. 2009; 20(3):312-319. DOI: 10.5944/reop.vol.20. num.3.2009.11505.
• Lafuente JV, Escanero JF, Manso JM, Mora S, Miranda T, Castillo M, et al. El diseño curricular por competencias en educación médica: impacto en la formación profesional. Educ Méd. 2007 [citado Agosto 20 2020];10(2):86-92. Disponible en: http://scielo.isciii.es/pdf/edu/v10n2/colaboracion2.pdf.
• Oriol-Bosh A. El reto de Bolonia: la evaluación de las competencias. Educ Méd. 2010 [citado Agos- to 20 2020];13(3):123-5. Disponible en: http://scielo.isciii.es/scielo.php?pid=S1575-18132010000300001&script=sci_arttext&tlng=es.
• Verdejo P. Modelo para la Educación y Evaluación por Competencias (MECO). En: Proyecto 6x4 UEALC. Informe final. México: Aseguramiento de la Calidad en la Educación y en el Trabajo; 2008 [citado Junio 15 2020]. Disponible en: https://www.researchgate.net/publication/267198724_Modelo_para_la_Educacion_y_Evaluacion_ por_Competencias_MECO.
• Villardón-Gallego ML. Evaluación del aprendizaje para promover el desarrollo de competencias. Educatio Siglo XXI. 2006 [citado Agosto 20 2020];24:57-76. Disponible en: http://revistas.um.es/educatio/article/view/153.
• Álvarez-Santullano MM, De Prada E. Evaluación de las competencias profesionales a través de las prácticas externas: incidencia de la creatividad. Revista De Investigación Educativa. 2018;36(1):203-219. DOI: 10.6018/rie.36.1.275651.
• Hernández-Pina F, Monroy F. A preliminary study of teachers’ perception of core competen- cies for undergraduate students. Psicología Educativa. 2015;21(1):11-16. DOI: 10.1016/j. pse.2015.02.001.
• Rodríguez-Moreno ML. De la evaluación a la formación de competencias genéricas: aproximación a un modelo. Rev. Bras. Orientac. Prof. 2006 [citado Agosto 20 2020];7(2):33-48. Disponible en: http://www.redalyc.org/articulo.oa?id=203016895005.
• Zhang H, Wang B, Zhang L. Reform or the method for evaluating the teaching of medical linguistics to medical students. Chinese Education & Society. 2014;47(3):60-4. DOI: 10.2753/CED1061- 1932470305.
• De la Orden Hoz A. Reflexiones en torno a las competencias como objeto de evaluación en el ám- bito educativo. REDIE. 2011 [citado Agosto 20 2020];13(2):1-21. Disponible en: http://www.scielo.org.mx/pdf/redie/v13n2/v13n2a1.pdf.
• Monereo C, Miquel E. La evaluación de las estrategias de aprendizaje. En: Monereo C, Coordina- dor. Estrategias de Aprendizaje. Madrid: Machado Libros; 2002. p. 115-145.
• Ruay RO, Fuentes R, González R. La evaluación ante los nuevos paradigmas educativos: retos y desafíos para el docente. Boletín Virtual REDIPE No. 829. 2013 [citado Agosto 18 2020]. Disponible en: https://issuu.com/redipe/docs/boletin_829.
• Cubero-Ibáñez J, Ibarra-Sáiz MS, Rodríguez-Gómez G. Propuesta metodológica de evaluación para evaluar competencias a través de tareas complejas en entornos virtuales de aprendizaje. Revista De Investigación Educativa. 2018;36(1):159-84. DOI: 10.6018/rie.36.1.278301.
• Monroy F. Enfoques de enseñanza y de aprendizaje de los estudiantes del Máster Universitario en formación del profesorado de educación secundaria [Tesis de Doctorado]; Murcia: Universidad de Murcia; 2013.
• Fernández-March A. La evaluación orientada al aprendizaje en un modelo de formación por com- petencias en la educación universitaria. Revista de Docencia Universitaria. 2010 [citado Agosto 18 2020];8(1):11-34. Disponible en: http://red-u.net/redu/files/journals/1/articles/144/public/144-130-2-PB.pdf.
• García-Medina AM, Aguilera-García MA, Pérez-Martínez MG, Muñoz-Abundez G. Evaluación de los aprendizajes en el aula. México D.F.: Instituto Nacional para la Evaluación de la Educación; 2011 [citado Marzo 17 2019]. Disponible en: https://publicaciones.inee.edu.mx/buscadorPub/P1/D/410/P1D410.pdf.
• Sureda-Demeulemeester E, Ramis-Palmer C, Sesé-Abad A. The assessment of medical competen- cies. Revista Clínica Española. 2017;217(9):534-42. DOI: 10.1016/j.rceng.2017.05.004.
• Quesada-Serra V, Rodríguez-Gómez G, Ibarra-Saíz MS. Planificación e innovación de la evalua- ción en educación superior: la perspectiva del profesorado. Revista de Investigación Educativa. 2017;35(1):53-70. DOI: 10.6018/rie.35.1.239261.
• Díaz-Plasencia JA, Gamarra-Sánchez JE, Valencia-Mariñas H. Impacto educativo de una evalua- ción basada en el desempeño en residentes de medicina del Programa de segunda especia- lización de la Universidad Privada Antenor Orrego, Trujillo, Perú. FEM. 2016 [citado Agosto 18 2020];19(3):135-45. Disponible en: htp://scielo.isciii.es/pdf/fem/v19n3/original3.pdf.
• Roberts TE. Enseñar, aprender y evaluar el profesionalismo: el mayor reto de todos. FEM. 2017 [citado Agosto 18 2020];20(2):47-51. Disponible en: http://scielo.isciii.es/pdf/fem/v20n2/2014-9832-fem-20-2-47.pdf.
• Verano-Tacoronte D, González-Betancor SM, Bolívar-Cruz A, Fernández-Monroy M, Galván-Sán- chez I. Valoración de la competencia de comunicación oral de estudiantes universitarios a tra- vés de una rúbrica fiable y válida. Rev Bras Educ. 2016;21(64):39-60. DOI: 10.1590/S1413- 24782016216403.
• Cortés MT, Petra I, Acosta E, Reynaga J, Fouilloux M, García R, et al. Desarrollo y crecimiento personal. Construcción y validación de un instrumento para evaluar esta competencia en alumnos de medicina. FEM. 2017 [citado Agosto 18 2020];20(2):65-73. Disponible en: http://scielo.isciii.es/pdf/fem/v20n2/2014-9832-fem-20-2-65.pdf.
• Cano-García E. Las rúbricas como instrumento de evaluación de competencias en Educación superior: ¿uso o abuso? Revista de Currículum y Formación del Profesorado. 2015 [citado Agosto 18 2020];19(2):265-80. Disponible en: http://www.redalyc.org/pdf/567/56741181017.pdf.
• López-López MC, León-Guerrero MJ, Pérez-García P. El enfoque por competencias en el contexto universitario español. La visión del profesorado. Revista de Investigación Educativa. 2018;36(2):529-45. DOI: 10.6018/rie.36.2.314351.
• Sabariego-Puig M. La evaluación de competencias transversales a través de las rúbricas. Revista de Innovación Educativa. 2015;14:50-58. DOI: 10.7203/attic.14.4176.
• Carrion C, Soler M, Aymerich M. Análisis de la validez de contenido de un cuestionario de evaluación del aprendizaje basado en problemas. Un enfoque cualitativo. Form. Univ. 2015;8(1):13-22. DOI: 10.4067/S0718-50062015000100003.
• Urrutia-Egaña M, Barrios-Araya S, Gutierrez-Núñez M, Mayorga-Camus M. Métodos óptimos para determinar validez de contenido. Educ Med Super. 2014 [citado Agosto 18 2020];28(3):547-8. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412014000300014.
• García-Sedeno MA, García-Tejera MC. Estimación de la validez de contenido en una escala de valoración de grado de violencia de género soportado en adolescentes. Acción Psicol. 2013;10(2)41-58. DOI: 10.5944/ap.10.2.11823.
• Tristán-López A, Molgado-Ramos D. Tablas de validez de contenido (TVC). San Luis Potosí: Instituto de Evaluación e Ingeniería Avanzada, S.C.; 2007 [citado marzo 12 2019]. Disponible en: http://itsescarcega.edu.mx/documentos/desacad/Curso%20Taller/TABLAS~1.PDF.
• Pedrosa I, Suárez-Álvarez J, García-Cueto E. Evidencias sobre la validez de contenido: avan- ces teóricos y métodos para su estimación. Acción Psicol. 2013;10(2)3-18. DOI: 10.5944/ ap.10.2.11820.