Hacia un modelo de evaluación de la calidad de instituciones de educación superior

León R. Garduño Estrada (*)

El artículo presenta un breve análisis del concepto de calidad de la educación desde diferentes perspectivas. Desde un enfoque sistémico, se concluye que el concepto se puede expresar como las características o rasgos de los insumos, procesos, resultados y productos educativos que singularizan esa calidad y la hacen distinguirse. No obstante esa aparente neutralidad del concepto, se reconoce el compromiso con la búsqueda sistemática y continua de la excelencia, y que este compromiso con el mejoramiento está implícito en el propósito de la educación. Sin embargo, la calidad requiere un juicio valorativo que viene dado por la evaluación. La evaluación es lo que nos permite calificar lo adecuado, lo bueno, lo malo, etc., de los atributos de la educación. Es la que permite determinar la calidad educativa. Con tales fundamentos, el trabajo presenta un modelo de evaluación de la calidad de la educación universitaria. En él se señala la importancia de avanzar sobre la mera evaluación de la dimensión descriptiva sobre los insumos, procesos y productos educativos, y se establece la necesidad de la evaluación sobre dimensiones relacionales que permitan un mejor acercamiento al tema de la calidad. Finalmente, se plantea la necesidad de validar el modelo, a la vez que llevar a cabo un trabajo de evaluación riguroso.

(*) León Rafael Garduño Estrada es profesor-investigador en la Universidad de las Américas, Puebla, México.

1. Introducción

Uno de los grandes desafíos de la educación es, sin duda, el mejoramiento de la calidad de los sistemas educativos. El auge de las soluciones cuantitativas a partir de los sesenta y hasta los setenta se expresó en muchos países en aumentos en el gasto en educación, en el incremento del número de años de enseñanza obligatoria, en una disminución de la edad de ingreso a la escuela, en el desarrollo de teorías económicas sobre la educación como explicación del crecimiento, etc. Sin embargo, de acuerdo con Lesourne (1993), es a partir de los ochenta cuando las preguntas de carácter cualitativo se empiezan a hacer.

Aunque términos como «excelencia» o «logro» ya eran parte del léxico de educadores y políticos desde hace muchos años, el tema de la calidad de la educación comenzó a ser un área prioritaria en los Estados Unidos y en Europa a finales de los ochenta (OCDE, 1991). Soria (1986) indica que la preocupación por la calidad ya existía desde hacía veinte años.

Sin el propósito de entrar en un análisis detallado sobre el concepto, sí es importante destacar que existen muchas definiciones y aproximaciones al tema. Calidad significa cosas diferentes para distintos autores (Doherty, 1997).

El propósito de este trabajo es dar una breve reflexión sobre el tema de la calidad de la educación, para presentar después un modelo conceptual de evaluación de la misma.

2. Educación

Existen dos concepciones antagónicas acerca de la educación (Sanjuán, 1974). La primera la considera como un proceso de enriquecimiento del educando. En ésta la actividad del educador es la de conducir al estudiante de manera sistemática y planeada al logro de ciertos objetivos. El papel del educando es pasivo.

La segunda concepción estima a la educación como una actividad en la que el educador estimula al educando para que este alcance su propio desarrollo. Aquí el educador observa al educando como una persona que se forma a sí misma, y donde la responsabilidad personal y la originalidad son características claves del proceso. El papel del estudiante es activo.

No obstante esta aparente dificultad en definir el concepto, podemos observar que ambos enfoques coinciden en que la educación es un proceso que tiene una cierta intencionalidad, y ésta es la del mejoramiento. Así, podemos decir que la educación es el proceso dirigido al perfeccionamiento del ser humano como tal, y a la forma en que puede contribuir activamente en la sociedad.

3. Calidad

Aunque son comunes las expresiones que utilizan la palabra calidad como adjetivo (p. ej.: esta tela es de calidad), también existen las que la utilizan para indicar el grado en que este constructo está presente (p. ej.: esta tela es de mejor calidad que aquella). Sin embargo, el empleo de la palabra «calidad» como equivalente de «excelente» o «de clase inmejorable» presenta el problema de la dificultad en establecer diferentes niveles de esa calidad. Así, por ejemplo, no es posible decir que un vino es de mediana calidad porque estaríamos diciendo que es de mediana excelencia, o, peor aún, cuando decimos que el vino es de mala calidad. Parece que esta aproximación al concepto adolece del problema del todo o nada. Bajo tal enfoque y llevado a un extremo, la valoración de la calidad no se determina por sus características sino que viene a ser un fenómeno que es evidente.

En un nivel diferente de conceptualización, Juran la define como «adaptada para usar» y «libre de defectos». De acuerdo con una síntesis de varios autores, Reyes (1998) concluye que calidad es «un principio de acción hacia la congruencia entre una oferta y una demanda percibida». Sin embargo, él la define en términos de un conjunto de elementos de un producto o servicio que está dirigido a la satisfacción de necesidades. Un punto de vista complementario sobre la calidad expresado por Reyes (op. cit), aunque no lo comparto del todo, es el que manifiesta que es el «impulso interior» que cada individuo decide emplear en su perfeccionamiento, lo que invade lo que es, hace y tiene y que no puede alterarse por ninguna técnica.

Así, mientras algunos autores abordan el concepto haciendo énfasis en el logro de objetivos, otros lo tratan desde una perspectiva más empresarial: satisfacción del cliente basada en los usuarios, en el valor, en la manufactura, etc. Otros emplean la palabra calidad como adjetivo, la identifican con ausencia de defectos o como útil para ciertos propósitos. Cabe hacer notar que, de manera implícita, muchas de estas definiciones incluyen la idea de evaluación y contienen un juicio valorativo de «bueno» o «malo». Si decimos, por ejemplo, que «la educación en esta institución es de calidad», la palabra calidad es ambigua e involucra una serie de valores y marcos de referencia particulares. Así, calidad significa cosas diferentes para distintas personas. Para el propósito de este trabajo nos referiremos a la calidad como el rasgo o característica, o conjunto de ellos, que singularizan y hacen peculiar a un objeto o a un servicio. No obstante esta aparente definición estática, la calidad implica una búsqueda constante de mejoramiento sobre las características del objeto, tanto sobre aquellos inherentes al mismo como su color, su forma, su textura, etc., como sobre aquellos relacionados con su funcionamiento y propósito. Este compromiso con la búsqueda de excelencia lo establece, sin embargo, el mismo propósito del objeto o servicio.

4. Calidad de la educación

Considerando la definición anterior, la calidad de la educación desde un enfoque sistémico la podemos expresar como las características o rasgos de los insumos, procesos, resultados y productos educativos que la singularizan y la hacen distinguirse. Como se señaló antes, la calidad de la educación implica un proceso sistemático y continuo de mejora sobre todos y cada uno de sus elementos. Este compromiso con el mejoramiento viene dado por el propósito de la educación.

En este punto debemos distinguir entre las características que son propósito de la educación y lo que son los productos últimos; los resultados, que son propósitos intermedios o secundarios; aquellos que son característicos del proceso y elementos de apoyo; y los insumos, que se refieren a los recursos disponibles. Como ejemplo de productos educativos podemos citar a los egresados de una institución educativa que se encuentran desempeñando alguna función dentro del área de su formación. Por otro lado, un ejemplo de resultado educativo será el número de egresados que una institución gradúa en el año, su aprovechamiento y actitudes de acuerdo con alguna prueba. Por su parte, las características del proceso son primarias y secundarias. Las primarias son aquellas que participan directamente en el proceso de la educación. Ejemplos de ello son el profesor que enseña frente a su grupo, el uso de la biblioteca y los servicios que presta, los programas educativos en operación, etc. Por lo demás, los procesos secundarios o indirectos son aquellos que apoyan la organización y administración de los primarios. Ejemplos de tales procesos son la administración de una institución educativa y los sistemas de registro e informáticos que emplea. Por último, los insumos se refieren a los recursos tanto materiales como humanos que se encuentran al alcance. Ejemplos de esto son los equipos y materiales disponibles, las actitudes de estudiantes y profesores, las características de formación docente del profesorado, etc. La diferencia, p. ej., entre los programas educativos como parte del proceso o como insumo, es que en la primera los programas se encuentran en marcha y son parte activa de la operación de la institución como sistema, mientras que como insumo los programas son solamente propuestas de intervención.

La calidad de la educación está histórica y culturalmente especificada, y se construye en cada espacio. Esto es, los elementos que en cierto momento y en determinado contexto se definen como importantes, no son necesariamente los mismos para otro momento o lugar. Por lo tanto, a lo más que podremos aspirar es a proponer un abordaje amplio que permita, en los momentos y lugares pertinentes, identificar los elementos de la calidad que se consideren importantes.

5. Evaluación de la calidad de la educación

Otro concepto a incluir en esta reflexión es el de evaluación. Generalmente se entiende la evaluación como una actividad científica cuyo resultado se expresa como un juicio sobre el mérito o valor de un objeto o servicio. Scriven menciona que tales juicios son los residuos carnosos que quedan como producto de una actividad sistemática de evaluación. Expresiones como «bueno», «malo», «superior», «mejor que», «peor que», «suficiente», etc. son ejemplos de ello. Así, cuando nos referimos a la evaluación de la calidad de la educación la podemos expresar como un juicio de valor sobre un atributo o un conjunto de atributos acerca de los insumos, procesos, resultados o productos educativos, o de las relaciones entre ellos. Entendida de este modo, la calidad requiere un juicio valorativo que viene dado por la evaluación. La evaluación es lo que nos permite calificar lo adecuado, lo bueno, lo malo, etc. de los atributos de la educación. De esta manera, la palabra calidad adquiere un sentido descriptivo. Por lo tanto, es importante hacer la distinción entre calidad y evaluación, pues mientras la calidad de la educación implica un proceso de mejora continuo sobre sus elementos, también requiere necesariamente de la evaluación. Aunque muchas veces calidad y evaluación son equiparadas, cada concepto es único y tiene su propia función. La calidad de la educación plantea el propósito hacia el mejoramiento, y la evaluación pone la herramienta metodológica, el juicio crítico y las propuestas para el mejoramiento.

Si la evaluación se postula como una actividad importante con un propósito concreto, los juicios que se establezcan precisarán de un trabajo sistemático y científico sobre el objeto o servicio. En otras palabras, el juicio expresado debe resultar del uso de alguna metodología como actividad sistemática, válida, objetiva y fiable. Cuando se expresa la calidad de un objeto como un juicio, inmediatamente se establecen, cuando menos, tres supuestos: 1) una referencia a ciertas características del objeto; 2) un conocimiento real o inferido de la persona que lo expresa sobre la participación de las características y sus relaciones; y 3) una comparación del objeto con algún tipo de referente o con otros objetos similares. Así, cuando expresamos un juicio, por ejemplo, sobre un servicio en términos de «rápido», este implica una referencia a ciertos atributos conocidos del servicio y a que tienen un cierto valor en nuestro contexto, a la vez que indicamos una comparación sobre otros servicios menos rápidos, o bien en términos del tiempo que emplea. La evaluación de la calidad deberá abordar estos supuestos de manera sistemática.

Uno de los primeros asuntos a resolver cuando uno propone evaluar la calidad es el de la identificación clara de la instancia o entidad que se abordará. No se puede hablar solamente de evaluación de la calidad de la educación. Deberemos precisar si se trata de un programa educativo, de la actividad del profesor en el aula, de una institución o de un sistema, ya que para cada uno existen diferentes características o propiedades, indicadores y referentes de comparación particulares. La evaluación de la calidad podrá dirigirse a apreciar estos elementos en particular o cuando se encuentran en interacción.

Como ya se mencionó, con un enfoque sistémico al estudio de instituciones educativas muchos autores han distinguido los insumos, procesos y productos. Así, cuando hablamos de calidad de la educación de una escuela —por ejemplo—, podemos hacer referencia a ese conjunto de atributos de los insumos, procesos, resultados y productos de manera absoluta —descriptiva— o —relacional-explicativa—, y es entonces cuando podemos decir que su calidad es buena, mala, regular, por encima del promedio, etc. La dimensión relacional o explicativa será abordada más adelante. De esta manera, la calidad de la educación de una instancia es el resultado, expresado como un juicio, de la participación o interacción de los atributos pertinentes a la instancia, juicio que puede ser diferente en momentos diferentes.

El juicio que se hace sobre la calidad de un objeto no supone inmovilismo. La calidad, y por lo tanto el juicio sobre la misma, son cambiantes. La búsqueda de los propósitos institucionales se plantea de manera amplia y establece un compromiso permanente con su logro. También idealmente los responsables institucionales buscan el mejoramiento en todo momento. De esta manera podemos decir que el mejoramiento de la calidad institucional es un proceso permanente y, por ende, inalcanzable. Siempre habrá mejores formas de hacer las cosas, o propósitos más nobles que la institución deberá perseguir para el beneficio del propio estudiante y para el desarrollo social en una relación bidireccional. Es decir, la universidad deberá atender de diferentes maneras tanto a las necesidades y problemas que ésta plantee, como ser motor de nuevas ideas, conocimientos, avances científicos, etc.

6. Dimensiones de la evaluación de la calidad de la educación

Podemos identificar dos dimensiones de la evaluación de la calidad: una absoluta, descriptiva, y otra relacional-explicativa. La dimensión absoluta, descriptiva, es aquella cuyos juicios de valor se expresan sobre cualquiera de los componentes de los insumos, procesos, resultados o productos de manera aislada. Por ejemplo, una afirmación en el sentido de que el número de computadoras es suficiente para el número de estudiantes, o establecer que la biblioteca cuenta con instalaciones apropiadas para el servicio de aquellos, son ejemplos de juicios evaluativos sobre los insumos. Acerca de los procesos, los juicios se pueden expresar como «El profesor emplea una metodología de enseñanza excelente en la que todos sus estudiantes participan activamente». Los juicios sobre los resultados se expresan como «El número de estudiantes aprobados en este curso es satisfactorio». Sobre los productos, los juicios que se pueden expresar son como el siguiente: «Los egresados se encuentran desempeñando funciones adecuadas a la formación que recibieron».

Sin embargo, la contribución más importante que la evaluación puede hacer a la calidad de la educación es aquella que tiene como propósito determinar su relevancia, eficacia, efectividad, congruencia y eficiencia, que son las dimensiones explicativas-relacionales de la calidad. A continuación se presenta una breve descripción de ellas:

Acerca de la relevancia, entendemos ésta como la relación entre los propósitos institucionales y los requerimientos sociales, ya sea para la solución de problemas prácticos o de carácter de conocimiento científico o tecnológico. Esta dimensión destaca el vínculo entre los fines educacionales propuestos por la institución y los problemas sociales y/o académicos. Una institución de educación superior cuyos programas estén fuertemente vinculados al mejoramiento social o al desarrollo de la ciencia y la tecnología, será de mejor calidad que aquella que proponga programas obsoletos o desvinculados del contexto. Así, cuando hablamos de relevancia, el problema al que uno se enfrenta es al de resolver la duda de si los objetivos son importantes de alcanzar. También se presenta el problema de responder a la pregunta ¿objetivos para quién? El diseño de una evaluación de tipo holístico sobre la calidad de una institución de educación superior deberá iniciarse con una evaluación sobre estas interrogantes.

La dimensión de eficacia se entiende como el logro de los propósitos y objetivos propuestos por los estudiantes y egresados, y responde a la pregunta de si una institución logra que sus estudiantes aprendan lo que deben aprender. Permite establecer relaciones entre los propósitos y objetivos propuestos con los alcanzados. Así, una institución será de buena calidad si sus estudiantes y egresados demuestran los niveles de aprendizaje de contenidos, habilidades, destrezas, actitudes y valores establecidos.

La dimensión de efectividad o validez educativa de una institución se refiere al grado en que los procesos educativos en el aulacontribuyen al logro de sus resultados y productos. Esto es, tal dimensión establece una relación entre procesos, resultados y productos. En dicha dimensión se incluyen también los procesos de apoyo al estudiante como elementos que contribuyen al logro de resultados: tutorías, asesorías, programas de mejoramiento de hábitos de estudio, etc.

Sobre la eficiencia, una institución será eficiente si los recursos y procesos que emplea son utilizados apropiadamente y éstos cumplen su función. Tal dimensión cumple un propósito doble: por un lado, está interesada en relacionar el uso apropiado de los recursos en el desarrollo de los procesos; por otro, permite establecer una vinculación entre los procesos seguidos y los resultados alcanzados. Esta segunda función tiene un propósito explicativo. Una institución será eficiente cuando la proporción entre los estudiantes que ingresan y los que egresan es apropiada, o cuando el tiempo y las etapas en el proceso administrativo para la admisión a la universidad es adecuado, o cuando se encuentra una buena relación entre el número de profesores y la cantidad de proyectos de investigación.

Acerca de la congruencia, una institución será de buena calidad si existe correspondencia entre los insumos humanos y físicos, los procesos y los resultados propuestos. En otras palabras, deberá existir congruencia, por ejemplo, entre las características de los estudiantes que ingresan, los recursos físicos con que se cuenta o que se adquieren, las políticas institucionales, las acciones abiertas o encubiertas de los participantes en el proceso educativo, etc., y los propósitos y objetivos propuestos. Uno de los propósitos de esta dimensión es estudiar los efectos del curriculum oculto.

Estas cinco dimensiones de la calidad son indispensables en la construcción de un modelo de evaluación de la calidad.

Una aproximación que plantea que cada una de las cinco dimensiones de la calidad está relacionada con los propósitos y objetivos institucionales y curriculares, saca a relucir la importancia del planteamiento de tales metas. Una implicación de esto es que esas metas manifiestan los puntos de vista de un grupo en particular, a la vez que las necesidades sociales y académicas consideradas por ellos como importantes. Dicha consideración implica que un modelo de evaluación holístico de la calidad deberá incluir también una ponderación de los elementos involucrados para los propósitos y objetivos propuestos, actividad que forma parte de la relevancia. Una segunda implicación es que, como ya se mencionó antes, el tema de la calidad y su evaluación no es absoluto, y el sistema de criterios e indicadores que se utilice dependerá del momento en que se establezca y variará de institución a institución. También el juicio que se exprese sobre la calidad en cada una de sus dimensiones deberá estar medido por el peso relativo de cada meta.

Otro conjunto de elementos a considerar para la construcción de un modelo de calidad institucional es el referente a las funciones que generalmente se le atribuyen a la educación superior. La docencia, la investigación y la extensión son las llamadas funciones sustantivas de las instituciones de educación superior. En general, el propósito de la docencia es el de la formación de profesionales. La investigación, por su parte, está comprometida con el avance del conocimiento y con el desarrollo tecnológico. La extensión se interesa por la difusión del conocimiento y de la cultura. El desarrollo de este modelo de evaluación de la calidad deberá dirigirse hacia esas grandes funciones.

7. Modelo de evaluación de la calidad

Como ya se mencionó anteriormente, la calidad de la educación tiene dos dimensiones: una descriptiva y otra relacional-explicativa. Aunque como ya se indicó para ciertos propósitos es importante la evaluación de la dimensión descriptiva de la calidad, un modelo de evaluación holístico de la calidad de la educación deberá dirigirse a la evaluación de las dimensiones relacional-explicativas de las tres funciones sustantivas de la universidad. Dentro de esta dimensión, la evaluación deberá iniciarse con la de la relevancia. Ninguna de las otras dimensiones será importante de evaluar si no se ha abordado el problema de la relación entre los propósitos institucionales y los requerimientos del contexto. La evaluación de dicha dimensión es lo que da sentido y justifica la de las demás.

La figura siguiente muestra el modelo de evaluación de calidad propuesto. Como se puede observar, la evaluación de las funciones sustantivas de la educación superior puede ser abordada desde la perspectiva de cualquiera de las dos dimensiones, descriptiva o relacional-explicativa de la calidad. El papel de la evaluación es el de llevar a cabo estudios empíricos sobre estas dimensiones, concluir sobre la bondad o mérito de cada una, y proporcionar la información necesaria a fin de promover el mejoramiento de ellas. La doble línea expresa esta función de realimentación. Los requerimientos del contexto son importantes sólo para evaluar la dimensión relacional de la relevancia, de la que, sin embargo, las demás dimensiones cobran sentido. Es por ello por lo que el factor de requerimientos del contexto se muestra dentro de una elipse.

Modelo de evaluación de la calidad de la educación.

8. Conclusiones sobre el modelo

Existe el problema de la diversidad de juicios que diferentes individuos pueden expresar sobre un mismo objeto. No obstante las dificultades que conlleva, un abordaje al estudio de la calidad, expresado como un juicio, resulta más completo y enriquecedor que aquel mencionado como grado de satisfacción, relaciones costo-beneficio, etc. Una definición de calidad, en el sentido propuesto, supone también un compromiso con el mejoramiento y con la búsqueda constante de la excelencia; en última instancia, con la educación.

El empleo de este acercamiento al asunto de la calidad como juicio deberá considerar que diferentes sujetos podrían llegar a diferentes conclusiones, dependiendo de los indicadores para cada dimensión así como de los pesos relativos que utilicen, además de lo ya mencionado sobre las metas. Por ello, una actividad de evaluación de la calidad de la educación de una institución de educación superior en particular, supondrá no sólo llegar a consensos sobre las características y propiedades de los indicadores y su ponderación, sino también sobre sus metas específicas y requerimientos del contexto en un tiempo determinado. Adicionalmente a lo anterior, habrá que agregar el asunto de la determinación de las estrategias de obtención y análisis de la información que deberá utilizarse.

Bibliografía

DOHERTY, Geoffrey: Desarrollo de sistemas de calidad en la educación. Madrid, La Muralla, S.A., 1997.

LESOURNE, Jacques: Educación y sociedad. Barcelona, Gedisa, 1993.

O.C.D.E.: Escuelas y calidad de la enseñanza. Barcelona, Paidós, 1991.

REYES, Alejandro: Técnicas y modelos de calidad en el salón de clases. México, Ed. Trillas, S. A., 1998.

SANJUÁN, Manuel: Ciencias de la educación: Pedagogía fundamental. Zaragoza, Librería General, 1974.

SORIA, Óscar: Calidad, eficiencia y equidad en la educación superior. Jalisco, Universidad Autónoma de Guadalajara, 1986.