I. Presentación

El siguiente trabajo se centra en analizar, desde la perspectiva de la gestión institucional, un caso de creación e implementación de un sistema de evaluación de las prácticas de enseñanza desarrolladas en las aulas virtuales de dos carreras universitarias de carácter bimodal. Su contenido se articula en la siguiente estructura:

- Introducción: Se explicita un marco teórico, a modo de encuadre general del tema, en el que se sintetizan los principales aportes de la literatura actual en torno a la cuestión de la evaluación del desempeño docente en entornos virtuales: inclusión en los planes estratégicos institucionales, enfoques y finalidades posibles, fases de desarrollo de un sistema evaluador, posibles fuentes de información, y procedimientos y técnicas para la obtención de datos. Además se especifican en este apartado los objetivos, general y específicos, a los que apunta el trabajo. Metodología: Se definen el enfoque y el diseño seleccionados para la investigación.

- Desarrollo: Se presenta el contexto institucional en el que se inserta el caso objeto de estudio y luego se describen las acciones más relevantes vinculadas con la gestión del sistema de evaluación en el mencionado caso. Dichas acciones se exponen agrupadas en cuatro fases: ideación, desarrollo, implementación y metaevaluación.

- Conclusión: A partir de lo expuesto en el marco teórico contenido en la Introducción y de la descripción de las acciones realizada en el Desarrollo, se deducen las principales fortalezas y debilidades señalables en el caso estudiado y se enumeran una serie de propuestas de mejora orientadas a la optimización del sistema evaluador implementado.

II. Introducción

II.1. Marco teórico

Desde fines de la década de 1990, la educación superior experimenta una fuerte transformación de su oferta académica, derivada de la integración de las Tecnologías de la Información y la Comunicación (tic) en las propuestas curriculares (Altbach et al., 2009). Dentro de esta tendencia se destaca el creciente uso de entornos virtuales de aprendizaje de diverso tipo (plataformas, blogs, wikis, redes sociales), como espacios electrónicos alojados en la red, que posibilitan la interacción didáctica no presencial entre docentes y alumnos. Ello ha dado lugar a un fenómeno de virtualización de la universidad, el cual se caracteriza por la mediación de Internet en los procesos de enseñanza- aprendizaje, como así también en otras actividades propias de estas instituciones, tales como la investigación, extensión y gestión (Silvio, 2009).

En este contexto se ha verificado el surgimiento de experiencias formativas de blended-learning o b-learning, modalidad en la que se conjugan instancias de aprendizaje presenciales, desarrolladas en el aula física, e instancias no presenciales, que tienen lugar en un entorno virtual. De allí que a esta configuración curricular también se le otorgue los nombres de aprendizaje mixto, mezclado, híbrido, bimodal, semipresencial (Llorente Cejudo, 2008), semivirtual (Rama, 2014) o integrado (García Aretio et al., 2007).

Desde la perspectiva de la gestión institucional, la integración curricular exitosa de los entornos virtuales requiere de una sólida planificación estratégica (Duart y Lupiáñez, 2005a; Bates y Sangrà, 2012), ya que ésta permitirá a la organización contar con una definición clara de los propósitos que se persiguen con la introducción de la innovación, los medios para alcanzarlos y los mecanismos para valorar lo actuado y retroalimentarlo en orden a su optimización.

De acuerdo con Bates (2001), el control o evaluación es uno de los componentes fundamentales de los planes estratégicos para la integración didáctica de las tic en los centros universitarios. En efecto, éste supone formas de medir los logros del proyecto y de ajustar las estrategias de acción implementadas, lo que facilitará alcanzar los objetivos que se hayan propuesto. Es así como la existencia de una evaluación sistemática que propicie una mejora continua constituye una de «las mejores garantías de calidad del aprendizaje electrónico» (Bates, 2012: 178).

En la actualidad, la preocupación por asegurar la calidad de las propuestas de formación basadas en la mediación de entornos virtuales, ha derivado en la existencia de dos grandes enfoques para su evaluación (Rubio, 2003). Por un lado, el enfoque parcial, centrado en algún aspecto particular de la enseñanza online, en especial la actividad formativa desarrollada por los profesores, los materiales didácticos, las plataformas tecnológicas y la relación coste / beneficio. Por el otro, el enfoque global, que evalúa el conjunto total de elementos que intervienen en una solución de e-learning, y que se basa tanto en la aplicación de estándares y modelos de calidad total, como en la práctica de procesos de benchmarking.

La perspectiva del enfoque parcial, particularmente en su vertiente de evaluación de la actividad docente del profesorado, ha sido adoptada por muchas instituciones universitarias, dada la reconocida gravitación que esa actividad posee en la configuración de la calidad de una propuesta educativa. Muñoz Cantero et al.(2002:105) definen la evaluación de los profesores como «un proceso de recogida sistemática de información, análisis e interpretación de los resultados de la labor docente, para a continuación emitir juicios de valor como base de la toma de decisiones». Por lo general, el objeto de la evaluación son las prácticas de enseñanza, es decir las actuaciones desarrolladas por los profesores en las instancias de planificación, conducción y evaluación de las situaciones didácticas.

La evaluación del profesorado puede realizarse con dos finalidades distintas, formativa y sumativa (Jornet et al., 1996; de Miguel Díaz, 2003; Pozo Muñoz et al., 2009; Calderón Patier y Escalera Izquierdo, 2008). En el primer caso, la evaluación se focaliza en promover la mejora de las prácticas, por lo que el proceso se orienta a que los profesores puedan detectar fortalezas y debilidades en su desempeño y, a partir de ello, planificar e implementar acciones de mejora. Se trata, por lo tanto, de una evaluación que busca «potenciar el desarrollo profesional del profesor» (de Miguel Díaz, 2003: 35). Normalmente, para ser verdaderamente efectiva, esta evaluación requiere de una participación activa del docente, de tal modo que se implique en un proceso de reflexión acerca de su propia práctica y se comprometa con la puesta en marcha de las mejoras que resulten oportunas. De allí que la evaluación formativa pueda identificarse con un proceso de autorregulación y que suponga el empleo frecuente de estrategias de autoevaluación.

Cuando la evaluación tiene una finalidad sumativa, el análisis de las prácticas busca obtener información para la toma de decisiones de tipo académico- administrativo, típicamente la designación, mantenimiento y/o promoción del profesor, y el otorgamiento de retribuciones o incentivos económicos. Se trata de un proceso asociado a la rendición de cuentas y su principal fuente de información suelen ser los alumnos (Jornet et al., 1996), cuya opinión se recoge a través de cuestionarios o encuestas.

Ambas funciones, formativa y sumativa, son compatibles entre sí y se complementan mutuamente, resultando posible diseñar un sistema de evaluación comprensivo del desempeño docente, en el que se contemplen las dos finalidades (Jornet et al., 1996; Duart y Martínez, 2001; de Miguel Díaz, 2003).

De acuerdo con Mateo (2000), el diseño y puesta en práctica de un sistema de evaluación del profesorado comprende acciones agrupables en cuatro grandes fases: ideación, desarrollo, implementación y metaevaluación. La etapa de ideación se centra en la definición de un modelo de calidad de la docencia propio del centro educativo, coherente con las necesidades, características y objetivos institucionales, que servirá como marco para orientar el proceso evaluador. La fase de desarrollo comprende el enunciado de las funciones y responsabilidades del profesorado, acorde con el modelo de calidad de la docencia definido previamente, la formulación de los criterios de evaluación, así como de sus indicadores, y la fijación de los estándares para la valoración de la actividad docente. La etapa de implementación se focaliza en documentar la actuación del profesor, recurriendo para ello a distintas fuentes y técnicas de recogida de información, emitir los juicios valorativos que correspondan sobre dicha actuación y formular las propuestas de mejora que resulten oportunas. Finalmente, la fase de metaevaluación supone una revisión de todo lo actuado en las etapas anteriores, de tal forma de ratificarlo o rectificarlo, dentro de un ciclo de mejora continua del sistema evaluador.

Numerosos autores coinciden en señalar que el empleo de múltiples y diferentes fuentes de información y procedimientos para la obtención de datos constituye un elemento fundamental para promover la objetividad del proceso de evaluación, así como la fiabilidad de sus resultados (Duart y Martínez, 2001; de Miguel Díaz, 2003; González Such, 2003; Rizo Moreno, 2004). Mateo (2000: 14) precisa que ello es un requisito, entre otros, de una evaluación docente de alta calidad y que:

aporta una imagen mucho más real de la actividad desarrollada por el profesory provee de una plataforma mucho más poderosa sobre la que construir planesde mejora realistas (…). Usar apropiadamente múltiples fuentes en un procesode evaluación potencia enormemente todas sus posibilidades

En efecto, diseñada de esta forma, la evaluación adquiere un carácter multidimensional (Duart y Martínez, 2001) y multimétodo (Pozo Muñoz et al., 2009) y puede fortalecerse a partir de un ejercicio de triangulación de datos, que ofrecerá una visión más integral del trabajo desarrollado por los profesores (Rizo Moreno, 2004).

Entre las fuentes que pueden emplearse para documentar la actividad docente se encuentran los alumnos, los registros de sus resultados académicos, los miembros del equipo vinculados con el dictado de la propuesta (por ejemplo, autoridades, asesores pedagógicos), el propio profesor y sus pares. A su vez, los procedimientos más habituales para la obtención de información son la aplicación de encuestas y cuestionarios, la entrevista, la observación directa de las prácticas, el autoinforme realizado por el profesor y el portfolio docente (Mateo, 2000; iipe-unesco, 2007).

Tal como se ha señalado más arriba, los sistemas centrados en una finalidad formativa suelen conferir un lugar importante al autoinforme, en la medida en que dicho procedimiento aporta una serie de ventajas en orden al logro de la mejora, entre los cuales pueden mencionarse: promover la autorreflexión y toma de conciencia acerca de las fortalezas y debilidades de la propia práctica, motivar actitudes proactivas de cambio y desarrollo profesional, tratar a los docentes como profesionales con capacidad de automejora y reconocer que el cambio en la organización exige también cambios en los procesos personales (Mateo, 2000).

Por otra parte, al momento de diseñar la evaluación, un aspecto importante será contar con instrumentos que permitan la recogida de datos no sólo cuantitativos, sino también cualitativos, ya que éstos últimos posibilitan obtener información más rica y descriptiva (Duart y Martínez, 2001).

II.2. Objetivos

El objetivo general de este trabajo consiste en describir las estrategias desarrolladas por un Departamento universitario para diseñar y gestionar la evaluación del desempeño docente en las aulas virtuales correspondientes a un proyecto de enseñanza-aprendizaje bimodal. En orden a ello se propone como objetivos específicos:

- Analizar el proceso de ideación y desarrollo del sistema de evaluación.

- Examinar las características de su implementación y metaevaluación.

- Identificar las principales fortalezas y debilidades del sistema desdeuna perspectiva organizacional y, en base a ello, formular propuestas deacción para su optimización.

III. Metodología

Se realizó un estudio de caso basado en un enfoque cualitativo. De acuerdo con la clasificación propuesta por Yin (1994, citado por Castro Monge, 2010) se trata de un estudio de caso descriptivo (ya que su objetivo es analizar cómo ocurre un fenómeno particular dentro de su contexto real) y de un estudio de caso único (dado que se refiere a una sola unidad de análisis).

Asimismo, siguiendo la distinción propuesta por Stake (1998), se presenta como un estudio intrínseco de caso, puesto que su propósito es lograr la mayor comprensión del caso en sí mismo, sin enunciar teorías ni generalizar los resultados.

IV. Desarrollo

Para describir el caso de evaluación objeto de estudio, primero se realizará una presentación del contexto institucional en el que se inserta dicho caso, y luego se expondrán las acciones más relevantes vinculadas con la gestión del sistema de evaluación, agrupándolas en las cuatro fases distinguidas por Mateo (2000) mencionadas más arriba, es decir las etapas de ideación, desarrollo, implementación y metaevaluación.

IV.1. Descripción del contexto del sistema de evaluación

El Proyecto Institucional 2011-2016 de la Universidad Católica Argentina «Santa María de los Buenos Aires» (uca), en su capítulo relativo a «Enseñanza y formación» propone, entre otras líneas de acción, la extensión del uso de las Nuevas Tecnologías y, específicamente, de los entornos virtuales de aprendizaje, tanto en las carreras de grado, como en las de posgrado (Consejo Superior-UCA, 2011).

En este marco, el Departamento de Educación de la mencionada Universidad puso en marcha en el año 2012 un proyecto de innovación didáctica, basado en la integración curricular de dichos espacios. La misión del proyecto consiste en promover la vigencia de un modelo de enseñanza-aprendizaje centrado en el alumno, a partir del uso de la tecnología como soporte y ambiente para una apropiación activa, interactiva y colaborativa del conocimiento. A través de su mediación se pretende lograr el planteo de actividades que permitan a los alumnos desarrollar procesos cognitivos y sociales en orden a la comprensión de los contenidos estudiados, y superar así modelos transmisivos, basados en la información transmitida desde el profesor y su reproducción por los estudiantes.

Los entornos virtuales se incorporaron en todas las asignaturas correspondientes a dos carreras ya existentes en el Departamento, Profesorado Superior y Licenciatura en Dirección y Supervisión Educativas, dictadas hasta entonces con modalidad presencial. La primera se encuentra destinada a graduados universitarios, a quienes brinda formación pedagógico-didáctica para obtener un título docente en el ámbito de su especialidad; la segunda tiene por destinatarios a graduados universitarios y profesores titulados en instituciones no universitarias que deseen capacitarse para gestionar centros educativos.

El cursado de todas las asignaturas de las carreras antedichas se reorganizó bajo una modalidad mixta o de blended-learning, con instancias presenciales y no presenciales desarrolladas online. Como se detalla en laTabla 1, se trata de un total de 25 unidades curriculares, de duración cuatrimestral, de las cuales 17 dictan el 50 % de su carga horaria en forma no presencial y las restantes 8 imparten de ese modo el 33 % de la misma. Para la realización de las actividades virtuales cada materia cuenta con su propia aula en la plataforma de la Universidad, la cual se encuentra desarrollada sobre Moodle.

El equipo institucional a cargo de la planificación y desarrollo del proyecto de dictado bimodal está integrado por las siguientes figuras: el director del Departamento, como responsable y supervisor general del mismo; el coordinador del Departamento, a cargo de tareas académico-administrativas, tales como la confección de los horarios de dictado presencial, la habilitación de alumnos y profesores en las aulas virtuales, y el pedido de apertura de estos espacios al administrador de la plataforma; y una asesora técnico-pedagógica, profesional con formación específica en el campo de la educación virtual, entre cuyas funciones se encuentra el dictado de cursos de capacitación inicial y continua destinados a los profesores, el asesoramiento personalizado ante sus consultas y pedidos de ayuda, la creación de materiales de apoyo (ej., tutoriales), y la evaluación del desempeño de los docentes. Esta última tarea comprende el diseño de los instrumentos de evaluación, su aplicación y la formulación de los correspondientes informes de resultados y retroalimentación, acciones que se describirán con mayor detalle en los apartados siguientes.

IV.2. Ideación y desarrollo del sistema de evaluación

Se adoptó un modelo de evaluación de enfoque parcial, centrado específicamente en la actividad docente del profesorado desarrollada en las aulas virtuales. Dentro de las prácticas de enseñanza, se seleccionaron las dimensiones de conducción y evaluación de los procesos formativos. Se excluyó la fase de planificación por no ser un aspecto directamente observable por los alumnos, quienes serían una de las fuentes de información sobre la actuación de los profesores.

Para cada una de esas dimensiones o categorías se definieron una serie de indicadores que se identificaron, de acuerdo con la literatura y las prácticas vigentes en el campo de la educación virtual, con buenas prácticas propias o características de una docencia de calidad. En total se enunciaron diez indicadores, tal como pueden observarse en la Tabla 2, que se utilizarían como criterios de evaluación del desempeño docente.

Estos indicadores fueron incluidos en todos los instrumentos de evaluación aplicados a las distintas fuentes, de tal forma de poder realizar una triangulación de los datos aportados por cada una de ellas. Resulta importante destacar que estos indicadores fueron explicitados y dados a conocer a los docentes antes del inicio de sus actividades en las aulas virtuales. Asimismo, una vez comenzado el dictado online, fueron incluidos en un material de apoyo formulado por el Departamento y destinado a los profesores, que se denominó «Lista de cotejo para el análisis de propuestas didácticas virtuales».

El proceso evaluador fue concebido con una finalidad formativa, como mecanismo y oportunidad para la mejora tanto de las prácticas de cada docente, como de la propuesta académica de las carreras en su conjunto. Asimismo, la evaluación fue entendida como una estrategia institucional de apoyo o estímulo destinada a los profesores, e incluida dentro de una estructura más amplia de incentivos, integrada por otras acciones, tales como el servicio de asesoramiento permanente técnico-pedagógico y el dictado de propuestas de formación. Diversos autores han señalado la importancia de este tipo de políticas de soporte para promover la integración curricular exitosa de las tic en los centros educativos (Ellsworth, 2000; Epper y Bates, 2004; Duart y Lupiáñez, 2005b).

De acuerdo con esta perspectiva conceptual, se definieron como los principales objetivos del sistema de evaluación:

- Sistematizar procesos de reflexión en los profesores acerca de sus propias prácticas, que les permitan detectar fortalezas y debilidades en su desempeño.

- Favorecer la formulación de propuestas de mejora de las actuaciones docentes por parte de distintos actores vinculados con el dictado de las titulaciones (profesores, alumnos, asesora técnico-pedagógica).

- Obtener información que posibilite al Departamento generar estrategias institucionales de intervención, orientadas a la optimización del dictado de las carreras.

IV.3. Implementación del sistema de evaluación

Para tratar de asegurar la objetividad de la información resultante de la evaluación, se adoptó un enfoque multidimensional, basado en la consideración de tres fuentes de información (alumnos, profesores y asesora técnico-pedagógica) y multimétodo, apoyado en el empleo de tres procedimientos para su recolección (cuestionario, autoinforme y observación no participante). Por lo tanto, de acuerdo con la clasificación establecida por Denzin (1989, citado por Flick, 2004) el sistema aplicado supone dos tipos de triangulación, de datos y entre métodos.

Por otra parte, siguiendo la distinción formulada por Cid Sabucedo et al. (2013), el cuestionario y el autoinforme han permitido acceder a información sobre las actuaciones docentes de modo indirecto o mediado, ofreciendo por lo tanto datos sobre «prácticas declaradas» (lo que los alumnos y los profesores dicen que se hace). La observación, por su parte, ha posibilitado el acceso directo a las acciones docentes, brindado información relativa a «prácticas realizadas». Asimismo, la pluralidad de fuentes ha posibilitado desarrollar un sistema basado en la evaluación tanto externa como interna del desempeño de los profesores (Duart y Martínez, 2002): la primera a cargo de los alumnos destinarios de dicho desempeño, y la segunda a cargo de los propios profesores y la asesora miembro del equipo de gestión del proyecto.

Los instrumentos que se construyeron para la recolección de la información fueron un cuestionario autoadministrado dirigido a los alumnos, un cuestionario de autoinforme destinado a los profesores y un protocolo de observación de las prácticas docentes.

El cuestionario aplicado a los alumnos se divide en cinco secciones: Dimensión didáctica de la experiencia, Dimensión tecnológica de la experiencia, Dimensión soporte técnico de la experiencia, Valoración general de la experiencia y Otros comentarios. La primera de ellas es la directamente vinculada con el objeto propio de este trabajo, es decir con la evaluación del desempeño docente en las aulas virtuales. Dicha sección consta de preguntas cerradas y abiertas, las cuales apuntan tanto a obtener información sobre las prácticas de los profesores, como a lograr que los alumnos autoevalúen su propio desempeño.

En este cuestionario, y en lo que respecta a la evaluación de la actuación docente, para cada asignatura cursada se plantean preguntas cerradas, referidas a los indicadores ya expuestos en la Tabla 1. Las respuestas a estas preguntas se estructuran a través de una escala de frecuencia, cuyas opciones son: Siempre (4), Casi siempre (3), A veces (2) y Nunca (1). Asimismo, se añade una pregunta cerrada relativa a la calidad de la tutoría de las actividades por parte de los profesores, para cuya respuesta se utiliza una escala tipo Likert, integrada por los valores: Totalmente de acuerdo (4), De acuerdo (3), En desacuerdo (2) y Totalmente en desacuerdo (1). Finalmente, se plantea una pregunta abierta en la que se apunta a que los alumnos expresen qué aspectos del desempeño docente les parecería necesario cambiar o mejorar.

Este instrumento se publica online utilizando el alojamiento de Google Drive y se aplica al finalizar el dictado de las asignaturas. Dentro de un lapso establecido, los alumnos pueden responder el cuestionario en cualquier momento y desde cualquier lugar. De este modo, la publicación del instrumento en la red facilita la accesibilidad al mismo, así como la posterior tabulación de los datos obtenidos. La participación es optativa, ubicándose la tasa promedio de respuesta para el cuatrienio 2012-2015 en un 52 %. En la Tabla 3 puede observarse el detalle de la cantidad de alumnos participantes a lo largo del periodo mencionado:

Tal como se ha mencionado, el sistema implementado contempla la evaluación del desempeño docente por los propios profesores, a través del completamiento de un autoinforme. Como en el caso anterior, este instrumento consta de varias secciones, siendo la primera de ellas la correspondiente a la dimensión didáctica de la experiencia. En ella se incluyen una serie de preguntas cerradas, relativas a los indicadores de calidad ya mencionados, para cuyas respuestas se emplea una escala de frecuencia. Asimismo, se plantean otras preguntas cerradas referidas a las estrategias y técnicas de enseñanza-aprendizaje empleadas, las herramientas de la plataforma utilizadas como soporte de las mismas, el porcentaje de alumnos que cumplió regularmente con las actividades propuestas y la valoración de la calidad de sus producciones. Finalmente, se incluyen preguntas abiertas destinadas a que los profesores expliciten las principales fortalezas y debilidades detectadas en el propio desempeño, y a que reflexionen sobre posibles mejoras que hayan introducido en su actuación en el ciclo lectivo en curso. La participación por parte de los docentes es optativa, ubicándose la tasa promedio de respuesta para el cuatrienio 2012-2015 en un 61 %. En la Tabla 4 puede observarse el detalle de la cantidad de profesores participantes a lo largo del periodo mencionado.

Cabe aclarar que, como en el caso del cuestionario de los alumnos, se incluyen otras secciones con preguntas relativas a otras dimensiones de la experiencia de enseñanza virtual, en concreto: Dimensión tecnológica, Dimensión soporte técnico-pedagógico, Valoración general y Otros comentarios.

Este cuestionario de autoinforme también se publica online a través de Google Drive y se aplica al finalizar el dictado de las asignaturas.

La información obtenida a través de estas evaluaciones dirigidas a alumnos y profesores es procesada por la asesora técnico-pedagógica, quien formula cuatro informes diferentes. Se reitera que en todos ellos se consideran los mismos indicadores de calidad de la actuación docente. Los informes se refieren a:

1. 1. Resultados de la evaluación por los alumnos: para cada materia, presenta las valoraciones correspondientes al desempeño docente en cada indicador. Los datos obtenidos permiten también comparar la actuación de cada docente en relación con la del resto de sus pares en cada indicador y determinar en qué prácticas su actuación se encuentra por encima o por debajo de la media general observada para el mismo.
2. 2. Resultados de la autoevaluación de los profesores: presenta la autovaloración que cada docente formula sobre su propia actuación en relación con cada uno de los indicadores establecidos. También recopila la enumeración de fortalezas y debilidades acerca de su actuación, junto con las reflexiones sobre las posibles mejoras que hayan introducido en su desempeño durante el ciclo lectivo en curso.
3. 3. Resultados comparados de la evaluación por los alumnos y la autoevaluación de los profesores: este informe permite contrastar la valoración de ambos actores sobre las prácticas desarrolladas. El objetivo es que los profesores puedan confrontar su valoración con la opinión de los alumnos y tomen así conciencia de las similitudes y discrepancias entre ambas. Asimismo, esta comparación permite al equipo de gestión del Departamento contar con una visión más realista del desempeño docente, en la medida que comprende las percepciones de ambos protagonistas involucrados en el desarrollo del proceso de enseñanza-aprendizaje.
4. 4. Resultados comparados interanuales: este informe pone en evidencia las tendencias históricas en el desempeño de cada docente en relación con cada uno de los indicadores. Recopila y compara los resultados obtenidos desde el inicio del dictado de las materias en el espacio virtual (año 2012) hasta el presente.

Como retroalimentación, cada profesor recibe por correo electrónico una copia de estos informes en lo que corresponde a su propia asignatura.

Los datos obtenidos a partir de las fuentes y técnicas descriptos se complementan con los que proceden de las observaciones que la asesora técnico- pedagógica realiza de las actividades desplegadas por los profesores en sus respectivas aulas virtuales. Cada aula recibe una visita de observación, desarrollada en base a un protocolo que contiene los mismos indicadores incluidos en los demás instrumentos de evaluación (Cfr. Anexo 3). Cada profesor recibe, vía correo electrónico, un informe con una valoración cualitativa correspondiente a su desempeño, seguida de un comentario en el que se destacan las fortalezas en lo actuado y se formulan sugerencias de mejora para los aspectos que podrían optimizarse. Estas observaciones han sido concebidas con un carácter netamente formativo, orientador y motivador, de allí que se realicen al promediar el cuatrimestre, de tal forma que el profesor pueda contar con recomendaciones que le permitan mejorar sus propuestas didácticas mientras el dictado de la materia aún se encuentra en curso.

Finalmente, cabe destacar que los resultados de las evaluaciones y de las observaciones son también enviados por correo electrónico a la Dirección del Departamento para su análisis.

El sistema de evaluación descripto fue diseñado e implementado en el año 2012, es decir desde el inicio del dictado de las carreras con modalidad b-learning, y continúa aplicándose hasta la actualidad.

Como síntesis de lo expuesto hasta este punto, la Figura 1 muestra los principales componentes del sistema de evaluación implementado.

IV.4. Metaevaluación del sistema

La fuente que se emplea para metaevaluar el sistema son los profesores implicados en el proyecto. En concreto, dentro del cuestionario de autoinforme, en la sección correspondiente a la «Dimensión soporte técnico y didáctico de la experiencia», se indaga su opinión acerca de la utilidad que le otorgan a los informes de las distintas evaluaciones y de la observación de su desempeño, en orden a la mejora de sus prácticas. Las preguntas que se formulan son: «¿Qué grado de utilidad para la mejora de su desempeño docente virtual le otorgaría a los informes que se le enviaron sobre la evaluación de su cátedra en el curso pasado?» y «¿Qué grado de utilidad para la mejora de su desempeño docente virtual le otorgaría a los comentarios que se le enviaron sobre las actividades desarrolladas en su aula en este curso?»

Tal como puede observarse en las Tablas 5 y 6, la valoración es altamente positiva. En todos los cuatrimestres prevalece la opción «Muy útil» para calificar la retroalimentación en relación con la optimización de su desempeño.

No existe otra instancia de metaevaluación del sistema implementado, más allá de estas consideraciones ofrecidas por los profesores.

V. Conclusión

Si se revisa lo expuesto en el marco teórico contenido en la Introducción de este trabajo, puede observarse que el sistema de evaluación implementado en el Departamento de Educación (uca) para sus carreras bimodales se encuentra alineado con muchas de las recomendaciones propuestas por la literatura en relación con el adecuado diseño y aplicación de estrategias evaluadoras del desempeño docente en entornos virtuales. Asimismo, tal como se infiere de los datos presentados en la Tablas 5 y 6, a lo largo de los años los docentes han reconocido la utilidad de este sistema para la optimización de sus prácticas. Sin embargo, y como contracara, el sistema presenta una serie de falencias, que disminuyen su alcance y efectividad en orden al logro de la mejora, principal objetivo perseguido por el sistema.

En efecto, un análisis de las características del sistema en sus fases de ideación, desarrollo, implementación y metaevaluación descriptas en el punto anterior, permite señalar las siguientes fortalezas y debilidades (Tabla 7).

El análisis de estas fortalezas y debilidades pone en evidencia que tanto unas como otras se vinculan básicamente con dos tipos de cuestiones: metodológicas, relativas al diseño mismo de la evaluación (por ejemplo, la triangulación de datos y de métodos, como un aspecto positivo, y la falta de cálculo de confiabilidad de los instrumentos de medición, como uno negativo); y organizacionales, propias del ámbito de la gestión institucional del proceso evaluador (por ejemplo, participación de una experta en el proceso evaluador, como un atributo positivo, y ausencia de reuniones «cara a cara» entre la asesora y los profesores y entre aquélla y la dirección del Departamento, como una falencia).

Las debilidades expuestas indican que un plan de mejora del sistema debería incluir la realización de las siguientes acciones por parte del equipo de gestión del proyecto de enseñanza bimodal: definición de un modelo de calidad propio de la docencia virtual, del cual pueda derivarse la explicitación del perfil del docente virtual adoptado por el Departamento; establecimiento del carácter obligatorio de la evaluación, de tal forma de mejorar la tasa de respuesta por parte de profesores y alumnos, y además promover que todos los actores se comprometan en una reflexión acerca de su desempeño en las aulas virtuales; verificación de la confiabilidad del cuestionario autoadministrado diseñado para los alumnos y del cuestionario de autoinforme aplicado a los docentes, a través del cálculo del coeficiente correspondiente en cada caso; naturalizar y sistematizar la propuesta de planes de mejora de sus prácticas por parte de los profesores, con la mención de objetivos y estrategias de acción concretas, cuya aplicación resulte verificable por el Departamento al finalizar el dictado de la asignatura; reforzar la retroalimentación del desempeño docente efectuado a través de informes escritos con la realización de entrevistas personales docente-asesora, con el fin de reflexionar sobre los resultados de las evaluaciones y consensuar propuestas para potenciar los logros positivos y optimizar lo que resulte necesario; organización de reuniones de trabajo «cara a cara» entre la dirección y la asesora pedagógica para analizar los informes de las evaluaciones y observaciones, y diseñar estrategias de intervención orientadas tanto a la mejora de la propuesta académica, como a la del propio sistema de evaluación.

La planificación y realización de algunas de estas acciones podría contar también con la participación de los profesores, en especial aquéllas que los involucran en forma más directa, tales como la definición del modelo de calidad y perfil docente y el establecimiento de pautas para la formulación de planes de mejora de su desempeño.

Referencias

Altbach, P. G.; Reisberg, L.; Rumbley, L. E. (2009). Tras la pista de una revolución académica: Informe de las tendencias actuales para la Conferencia Mundial sobre la Educación Superior organizada por la unesco en 2009. Resumen ejecutivo. París: unesco. Disponible en:< http://unesdoc.unesco.org/images/0018/001831/183168s.pdf [23 de marzo de 2016].

Bates, A. W. (2001). Cómo gestionar el cambio tecnológico. Estrategias para los responsables de centros universitarios. Barcelona: Gedisa.

Bates, A. W.; Sangrà, A. (2012). La gestión de la tecnología en la Educación Superior. Estrategias para transformar la enseñanza y el aprendizaje. Barcelona: Octaedro- Instituto de Ciencias de la Educación, Universidad de Barcelona.

Calderon Patier, C.; Escalera Izquierdo, G. (2008). La evaluación de la docencia ante el reto del Espacio Europeo de Educación Superior (eees), en: Educación xxi, 11: 237-256. Disponible en: < http://revistas.uned.es/index.php/educacionXX1/article/view/316/272 [30 de marzo de 2016].

Castro Monge, E. (2010). El estudio de casos como metodología de investigación y su importancia en la dirección y administración de empresas, en: Revista Nacional de Administración, 1 (2): 31-54. Disponible en: < https://dialnet.unirioja.es/servlet/articulo?codigo=3693387 [20 de abril de 2016].

Cid Sabucedo, A.; Pérez Abellás, A. ; Zabalza Beraza, M. A. (2013). Las prácticas de enseñanza realizadas/observadas de los «mejores profesores» de la Universidad de Vigo, en: Educación xx1, 16 (2): 265-296. Disponible en: < http://revistas.uned.es/index.php/educacionXX1/article/view/10342/9880 [18 de abril de 2016].

Consejo Superior de la Pontificia Universidad Catolica Argentina «Santa María de los Buenos Aires» (2011). Proyecto Institucional 2011-2016. Disponible en: http://www.uca.edu.ar/uca/common/grupo3/files/UCA-Proyecto-Institucional-2011-2016.pdf [6 de abril de 2016].

De Miguel Díaz, M. (2003). Evaluación y mejora de la actividad docente del profesorado universitario, en: Educación Médica, 6 (3): 34-37. Disponible en: < http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S157518132003000300012 [30 de marzo de 2016].

Duart, J. M.; Lupiáñez, F. (2005a). La perspectiva organizativa del e-learning. Introducción, en: Duart, J. M.; Lupiáñez, F. (coords.). Las tic en la universidad: estrategia y transformación institucional [monográfico en línea], en: rusc. Revista de Universidad y Sociedad del Conocimiento, 2 (1): 1-4. Disponible en: < http://rusc.uoc.edu/index.php/rusc/article/view/v2n1-perspectivaorganizativa-elearning/v2n1-introduccion [24 de marzo de 2016].

Duart, J. M.; Lupiáñez, F. (2005b). E-strategias en la introducción y uso de las tic en la universidad, en: Duart, J. M.; Lupiáñez, F. (coords.). Las tic en la universidad: estrategia y transformación institucional [monográfico en línea], en: rusc. Revista de Universidad y Sociedad del Conocimiento, 2 (1): 5-31. Disponible en: < http://rusc.uoc.edu/ojs/index.php/rusc/article/view/243 [19 de abril de 2016].

Duart, J. M.; Martínez, M. J. (2001). Evaluación de la calidad docente en entornos virtuales de aprendizaje. uoc. Universitat Oberta de Catalunya. Disponible en: < http://ww.uoc.edu/web/esp/art/uoc/0109041/duartmartin.html [31 de marzo de 2016].

Ellsworth, J. B. (2000). Managing innovation and change, en: A Survey of Education Change Models: 153-166. Disponible en: < http://www.unescobkk.org/fileadmin/user_upload/ict/e-books/ICT_Teacher_Education/Teacher_Ed-_ChapterVII.pdf [19 de abril de 2016].

Epper, R. M.; Bates, A. W. (2004). Enseñar al profesorado cómo utilizar la tecnología. Buenas prácticas de instituciones líderes. Barcelona: Editorial uoc.

Flick, U. (2004). Introducción a la investigación cualitativa. Madrid: Morata.

García Aretio, L. (coord.); Ruiz Corbella, M. y Domínguez Figaredo, D. (2007). De la educación a distancia a la educación virtual. Barcelona: Ariel.

Gonzalez Such, J. (2003). Modelos, procedimientos e instrumentos de evaluación de la actividad docente, en: Educación Médica, 6 (3): 32-33. Disponible en: < http://scielo.isciii.es/pdf/edu/v6n3/ponenciaiv_1.pdf [31 de marzo de 2016].

Instituto Internacional de Planeamiento de la Educacion iipe-unesco (2007). Herramientas para la gestión de proyectos educativos con tic. Buenos Aires: Instituto Internacional de Planeamiento de la Educación iipe-unesco. Disponible en: < http://unesdoc.unesco.org/images/0015/001580/158068s.pdf [28 de marzo de 2016].

Jornet, J. M.; Suárez, J. M.; González, J.; Pérez, A. (1996). Evaluación de la Actividad Universitaria. (:189-243). En: Quintás, G. (ed.). Reforma y evaluación de la Universidad: Valencia: Universidad. Disponible en: < http://www.uv.es/~gem/archivos/Evaluacion_actividad_universitaria.pdf [30 de marzo de 2016].

Llorente Cejudo, M. del C. (2008). Blended Learning para el aprendizaje en nuevas tecnologías aplicadas a la educación: un estudio de caso. Universidad de Sevilla, Biblioteca, Tesis doctorales. Disponible en: < http://fondosdigitales.us.es/tesis/tesis/656/blended-learning-para-elaprendizaje-en-nuevas-tecnologiasaplicadas-a-la-educacion-un-estudio-decaso/ [24 de marzo de 2016].

Mateo, J. (2000). La evaluación del profesorado y la gestión de la calidad de la educación. Hacia un modelo comprensivo de evaluación sistemática de la docencia, en: Revista de Investigación Educativa, 18 (1): 7-34. Disponible en: < http://revistas.um.es/rie/article/view/121451/114141 [31 de marzo de 2016].

Muñoz Cantero, J. M.; Rios de Deus, M.P.; Abalde, E. (2002). Evaluación docente vs. Evaluación de la calidad, en: Revista Electrónica de Investigación y evaluación educativa (relieve), 8 (2): 103-134. Disponible en: < http://www.uv.es/RELIEVE/v8n2/RELIEVEv8n2_4.pdf [29 de marzo de 2016].

Pozo Muñoz, C.; Giménez Torres, M. L.; Bretones Nieto, B. (2009). La evaluación de la calidad docente en el nuevo marco del eees. Un estudio sobre la encuesta de opinión del Programa docentia-andalucia, en: xxi, Revista de Educación, 11: 43- 64. Disponible en: < http://tecnologiaedu.us.es/mec2011/htm/mas/5/51/14.pdf [30 de marzo de 2016].

Rama, C. (2014). La virtualización universitaria en América Latina, en: rusc. Revista de Universidad y Sociedad del Conocimiento, 11 (3): 33-43. Disponible en: < http://journals.uoc.edu/index.php/rusc/article/view/v11n3rama/v11n3-rama-es [24 de marzo de 2016].

Rizo Moreno, H. E. (2004). Evaluación del docente universitario. Una visión institucional, en: Revista Iberoamericana de Educación, 34 (4). Disponible en:< http://rieoei.org/edu_sup34.htm [31 de marzo de 2016].

Rubio, M. J. (2003). Enfoques y modelos de evaluación del e-learning, en: Revista Electrónica de Investigación y Evaluación Educativa (relieve), 9 (2): 101-120. Disponible en: http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.pdf [28 de marzo de 2016].

Silvio, J. (2000). La virtualización de la Universidad: ¿Cómo transformar la educación superior con la tecnología? Caracas: unesco-iesalc. Disponible en: < http://tecnologiaedu.us.es/cuestionario/bibliovir/La_virtualizacion_univ.pdf [23 de marzo de 2016].

Stake, R. E. (1999). Investigación con estudio de casos. Madrid: Morata.