Respuestas educativas de IA: Calidad y confiabilidad en ChatGPT y Gemini

Abstract

La integración de modelos de lenguaje de gran escala en la educación superior ha generado un creciente interés por evaluar la calidad y confiabilidad de sus respuestas en tareas académicas. Sin embargo, persiste una carencia de estudios comparativos que combinen métricas algorítmicas con la percepción de expertos humanos y que consideren el diseño del prompt como variable clave del rendimiento. Este estudio analiza comparativamente el desempeño de ChatGPT 4.5 y Gemini 2.5 en tareas educativas e investigativas mediante un enfoque metodológico mixto explicativo-secuencial. En la fase cuantitativa, las respuestas generadas por cada modelo ante prompts estructurados con técnicas ASPECCT, CLEAR y Chain of Thought fueron evaluadas en siete parámetros de calidad (precisión terminológica, adecuación epistémica, contextualización disciplinar, tipo de razonamiento, nivel cognitivo, claridad y sintaxis). En la fase cualitativa, 78 evaluadores con perfiles académicos diferenciados valoraron las respuestas mediante rúbricas especializadas. Los resultados evidencian que Gemini 2.5 obtuvo el mejor desempeño promedio general (92.68/100), con ventaja significativa en contextualización disciplinar y niveles cognitivos, mientras que ChatGPT 4.5 mostró mayor estabilidad en análisis de datos cuantitativos. El análisis cualitativo reveló una actitud de confianza cautelosa entre los evaluadores, quienes reconocen a los modelos como codiseñadores textuales potentes, pero epistemológicamente frágiles. Se concluye que la eficacia de la IA generativa en contextos académicos depende críticamente del diseño del prompt, la supervisión experta y la adaptación disciplinar, posicionando la ingeniería de prompts como una competencia clave para el uso riguroso de estos sistemas.