Protocolos de Evaluación de Software Educativo

Agenda 16

La evaluación de un software educativo se puede realizar en diversas etapas, por ejemplo durante el desarrollo para perfeccionar o corregir o bien durante la utilización real de los usuarios para ver su efectividad y los resultados que se obtienen con él. En este caso nos enfocamos al segundo de ellos.

Estas evaluaciones son generalmente hechas por ingenieros en sistemas pero se enriquecería mucho su trabajo si se contará con la colaboración de un evaluador educativo o pedagogo; ya que en nuestro caso la finalidad de la evaluación es conocer si su uso pedagógicamente es adecuado.

Entre las diferentes evaluaciones que existen hay algunas como la desarrollada por François Richaudeau (Richaudeau 1981) que más que una evaluación formal, los evaluadores realizan un ejercicio de reflexión, centrado en el uso pedagógicamente viable del programa, en esta no se ponderan los criterios sino se lleva a cabo más bien una reflexión.

Por supuesto que esto también depende de los objetivos que tenemos al realizar la evaluación.

En general lo más importante a evaluar es la usabilidad que se como “Medida en que el sistema es fácil de aprender y fácil de utilizar”(Gonzalez). De acuerdo a ello retomo la parte acerca de ver el software como objeto pedagógico.

A. Contenido
1. Contenido Científico: Se trata de evaluar la calidad y cantidad de la información ofrecida:
Indicadores
exactitud, actualidad: Fechas de edición; referencias o fuentes citadas; términos técnicos; datos estadísticos. Visión de Ciencia; visión de tecnlogía.
adecuación: valor absoluto: significatividad de los contenidos en sí mismos; valor relativo: adecuación en nivel de tratamiento a la situación pedagógica dada.
2. Contenido socio-cultural e ideológico: qué representación de la sociedad encierra el programa; cómo representa otras sociedades.
Indicadores
visión sociocultural: a qué grupos sociales (o culturales) se refieren los ejemplos, los personajes, los problemas planteados. Qué muestran las ilustraciones: representación racial, género, referencias geográficas, etc.
personajes: reales, imaginarios; sexo; edad; raza; nacionalidad; condición o estado, patronos, obreros, campesinos, militares...
marcos espacio-temporales: contexto geográfico (urbano, rural, mar, montaña); medio de referencia (flora, fauna, estaciones); épocas de referencia; medio tecnológico y objetos de la vida cotidiana
contexto social: representación del trabajo; categorías socioprofesionales representadas; familia (composición); habitación (casa, cabaña, finca, conjunto urbano...)
situaciones y temas: vida cotidiana (en la casa en la escuela, en el trabajo); situaciones excepcionales (crisis; héroes)
ideología implícita: justicia y autenticidad (presentación de los hechos sin distorsión y en perspectiva).
valores: contribución a la paz, a la tolerancia, a la formación de actitudes culturales y ecológicas
3. Contenido pedagógico: Se trata de determinar la adecuación pedagógica de los objetivos y contenidos, frente a los usuarios, su nivel y el programa que están desarrollando.
Indicadores
Intenciones formativas: lo que pretende el programa, los objetivos de aprendizaje que persigue, explícita o implícitamente
Conocimientos previos: si los usuarios dominan los conocimientos previos, en caso que el programa los requiera
niveles de aprendizaje: qué niveles de aprendizaje (hechos, conceptos, principios, habilidades valores) pretende desarrollar el programa
organización: la progresión del aprendizaje responde a qué tipo de secuencia pedagógica: rígida, espiral o controla por el usuario. En este caso, ¿son necesarias instrucciones o de progreso o es preferible que el usuario encuentre sus propias secuencias?
adecuación curricular: los objetivos y contenidos del programa se pueden integrar con facilidad al curriculum vigente
organizadores y autoevaluación: contiene síntesis (resúmenes), ejercicios (con o sin respuesta), complementos informativos. Contiene evaluaciones, autoevaluacionesrespuestas razonadas, refuerzo, sistema de seguimiento de logros, evaluación sumativa

B. Comunicación. Se trata de evaluar la forma del mensaje (significante), es decir el conjunto de recursos que permiten transmitir un mensaje de un emisor a un receptor.
1. Sentido de la comunicación: dirección y control de la interacción programa-usuario Unidireccional, bidireccional, control del usuario sobre la secuencia, mutitareas, multivías...
2. Formas del mensaje.: los aspectos formales de los códigos elegidos (text, audio, fotos, animación, gráficos, colores) se justifican en sí y frente a la función que se espera de ellos.
Indicadores
estética: las formas elegidas son visualmente agradables, manteniendo su sentido comunicativo (no están ahí sólo llenando bellamente espacio)
integración: están integrados entre sí los lenguajes verbales y figurativos
innovación: en qué medida son innovadoras las formas de presentación
adecuación: los códigos verbales y figurativos son descifrables por los usuarios, facilitan la comprensión.
densidad: la densidad de la información ofrecida (en cada pantalla) es excesiva, adeucuada, escasa
C. Método. Qué metodología, implícita o explícita, contiene el Sw para la exposición de las ideas, la organización del trabajo, las formas de uso que determina.
1. Organización: estructura del manual, forma de exposición y organización de las secuencias.
Indicadores
secuencias: se componen de una serie de partes que están presentes regularmente
estructura: el programa es un elemento de enseñanza, de aprendizaje o de enseñanza-aprendizaje.
guías o manuales: el programa viene acompañado de un manual para el maestro, el alumno, el usuario en general.
elementos de organización interna: el programa incluye instrucciones de empleo, índices, objetivos, léxico, preguntas/ejercicios/, respuestas razonadas, recapitulaciones, evaluaciones
facilitadores: modo de empleo, indice de materias, lista de objetivos, léxico, referencias, fuentes, plan de capítulos, resúmenes, preguntas, ejercicios, tareas, correcciones control de logro, llamadas.
papel del maestro: se limita a dar instrucciones de uso; es necesario para complementar, aclarar o integrar la información; es hacer un seguimiento del uso y de los logros del estudiante
exigencias de aprendizaje: el programa exige principalmente ( con mayor frecuencia, como acciones centrales) al estudiante acciones y habilidades para: memorizar información, construir conceptos, seguir instrucciones, construir secuencias aprendizaje propias, hacer preguntas, construir respuestas originales, relacionar lo aprendido con otros conocimientos, colaborar con compañeros.
distribución de tiempos: un estudiante típico, en una sesión de trabajo normal con el programa, distribuye su tiempo en (% aprox.) : aprender a navegar y buscar información desplazandose por el programa, leer texto, escuchar narración; plantear preguntas al programa; responder preguntas, realizar tareas o ejercicios.
2. Adaptabilidad: en qué medida el Sw impone obligaciones para su uso: materiales; metodológicas (maestro); pedagógicas (alumno); o es metodológicamente abierto.
Indicadores
materiales: medida en que el Sw exige el uso de materiales y equipos determinados; implicaciones para la organización del ambiente de aprendizaje
limitaciones metodológicas: el programa impone un método al docente, o éste tiene opción de escoger objetivos, ritmos de trabajo, secuencias.
limitaciones para el alumno: El program ofrece diferentes maneras de entrada; ofrece ejercicios diferentes y graduados según el nivel de los alumnos; posibilidades diferentes de utilización, de acuerdo con las necesidades e intenciones del usuario.


Conclusiones

Será la finalidad de la evaluación así como los criterios personales lo que defina el protocolo de evaluación a utilizar sin dejar de lado las normas desarrolladas con dichos fines tal como la ISO/IEC FDIS 9126-1 mencionada por Sandra en su comentario en el foro.

Bibliografía

González, Miguel. Evaluación de software educativo: Orientaciones para su uso pedagógico (En línea). Disponible en http://discovery.chillan.plaza.cl/~uape/actividades/etapa2/software/doc/evalse.htm
Consultado el 28 de mayo de 2007.

Cataldi, Z. (1999). Ingeniería de software educativo. Universidad de Buenos Aires. (En línea). Disponible en: http://www.fi.uba.ar/laboratorios/lsi/c-icie99-ingenieriasoftwareeducativo.pdf. Consultado el 28 de mayo de 2007.