La maldición del conocimiento

Un nuevo estudio de universidades estadounidenses que examina más de 20 modelos de lenguaje grandes revela que incluso los sistemas de IA más avanzados sufren de una "maldición del conocimiento" que les impide entender qué preguntas de examen confunden a los estudiantes humanos

Los modelos lograron correlaciones de Spearman por debajo de 0.50 cuando se compararon con datos reales de dificultad estudiantil en los dominios de medicina, lectura y matemáticas, con GPT-5 obteniendo solo 0.34 en general mientras que el más antiguo GPT-4.1 tuvo un mejor desempeño con 0.44, y en el examen de licencia médica USMLE, más del 70% de las preguntas que los humanos encontraron más difíciles fueron resueltas correctamente por el 90% de los modelos de IA probados

Los hallazgos generan preocupaciones sobre el papel creciente de la IA en la evaluación educativa y la generación automatizada de exámenes, particularmente porque "tutoría y educación" se clasifica como el segundo caso de uso más popular de ChatGPT en Alemania según los datos de uso de OpenAI, mientras que el ex investigador de OpenAI Andrej Karpathy ha pedido que las escuelas asuman que todas las tareas involucran asistencia de IA y trasladen las evaluaciones a entornos presenciales

La preocupación principal es que, aunque los modelos de IA son muy buenos para responder preguntas o resolver exámenes, no entienden realmente qué es lo que resulta difícil para los humanos.
Esto genera varios problemas:

La preocupación no es que la IA sepa poco, sino que sabe tanto que puede perder de vista qué resulta difícil para una persona que recién está aprendiendo. Puede resolver un examen, escribir una función o explicar un concepto complejo y, aun así, no detectar dónde te trabaste, qué conocimiento te falta o por qué algo que para el modelo parece trivial a vos te cuesta. Esa especie de “maldición del conocimiento” puede producir explicaciones demasiado avanzadas, ejercicios mal calibrados y una falsa sensación de dominio: leés una respuesta clarísima, sentís que entendiste todo y después, cuando intentás hacerlo solo, no sabés por dónde empezar. Onda… la IA puede ser muy sabia y bastante poco pedagógica.

Por eso me parece más útil usarla como sparring que como profesor infalible. Primero intentá resolver, explicar o escribir algo vos, aunque quede incompleto; después pedile que cuestione tu respuesta, encuentre lagunas, sugiera tests, compare alternativas o te haga preguntas hasta que llegues a una conclusión. Si hace falta, pedile que explique como si fuera tu primera vez con el tema, como si tuvieras cierta edad o como si fueras de bokita (no se enojen, che, es un chiste), pero no confundas una explicación fácil de leer con aprendizaje real: cerrá la respuesta e intentá reconstruirla con tus palabras. Lo mismo con el código: no copies y pegues una solución mágica sin entenderla. Pedile la lógica, los posibles bugs y los trade-offs, reescribí partes vos mismo y verificá lo importante con documentación o fuentes confiables. Gepeto puede ayudarte muchísimo, pero el esfuerzo mental y las decisiones clave tienen que seguir siendo tuyas; porque si mañana no está, ¿qué hacés, papu?

Les dejo la fuente para que la lean si les interesa: https://the-decoder.com/the-curse-of-knowledge-means-smarter-ai-models-arent-better-at-understanding-human-learning-gaps/