IA y Testing: El curso definitivo

¡Hola! Esta primera clase te va a servir para entender cómo es la dinámica del curso.

Cada maestro con su librito como dicen en mi país, así que me pareció importante que entiendas el tono, lo que vas a recibir y lo que espero de vos mientras tengamos esta relación de profe & estudiante.

Este módulo es la base para entender de qué hablamos cuando decimos “IA” y cómo encajan los Modelos de Lenguaje Grande en este mundo.

Acá vas a encontrar clases cortas y claras donde vemos qué es la IA, cómo funciona el aprendizaje profundo, qué papel tiene el NLP, qué son los LLMs y conceptos clave como temperatura o RAGs. La idea es que termines con un mapa mental bien armado para no perderte cuando empecemos a hablar de testing y calidad en sistemas con IA.

En este módulo te muestro cómo medir la calidad y el rendimiento de los modelos de IA de forma clara y práctica, más allá de solo “funciona o no funciona”.

En estas clases vamos a explorar:

• Cómo entender y aplicar métricas de evaluación en IA.

• Formas prácticas de calcular métricas con ejemplos reales.

• Evaluación de la veracidad de las respuestas de los modelos.

• Cómo medir el conocimiento y desempeño general de un modelo.

• Métodos para evaluar generación de código y contenido textual.

• Herramientas y conceptos para establecer una referencia de resultados correctos (ground truth).

La idea es que termines con un conjunto de conceptos y métodos que te permitan evaluar cualquier modelo de IA, con flexibilidad para agregar nuevas métricas o enfoques en el futuro.

Este módulo te muestra cómo cambia nuestro trabajo como testers cuando el software no es solo código tradicional, sino sistemas que aprenden y generan resultados.

La idea es que termines con una visión clara de qué tipos de pruebas existen, cómo se aplican y qué herramientas o enfoques conviene usar según el tipo de IA que estés evaluando.

En este módulo vamos a enfocarnos en pruebas que no solo verifican si la IA funciona, sino cómo lo hace bajo distintas condiciones y restricciones. Aquí evaluamos aspectos como rendimiento, escalabilidad, confiabilidad y seguridad del modelo, más allá de su salida inmediata.

Vas a aprender a:

• Medir la robustez y estabilidad de un modelo frente a entradas variadas o atípicas.

• Evaluar el rendimiento y tiempos de respuesta, especialmente en aplicaciones críticas.

• Analizar la consistencia y reproducibilidad de los resultados.

• Revisar aspectos de seguridad, privacidad y manejo de datos, esenciales en entornos reales.

Es clave para testers que quieren asegurarse de que la IA no solo funcione bien en pruebas aisladas, sino que resista y se comporte de manera confiable en escenarios del mundo real.

En este módulo vamos a explorar el marco ético y regulatorio que rodea a la Inteligencia Artificial, algo fundamental para testers que quieren garantizar que los sistemas sean responsables y confiables.

Vas a aprender:

• Principios éticos en IA: transparencia, justicia, privacidad, seguridad y responsabilidad.

• Cómo los sesgos y decisiones automatizadas pueden afectar a usuarios y comunidades.

• Normativas y regulaciones actuales, nacionales e internacionales, que impactan el desarrollo y uso de IA.

• Buenas prácticas para que los testers contribuyan a la gobernanza, asegurando que la IA cumpla con estándares legales y éticos.

• Cómo documentar hallazgos y generar reportes que respalden decisiones de cumplimiento.

La idea es que termines con una visión clara de cómo evaluar no solo el desempeño de un modelo, sino también su impacto social, legal y ético, aportando seguridad y confianza a cualquier proyecto de IA.

Sobre testear sistemas de IA. El foco es entender cómo funcionan los modelos de lenguaje (LLMs), la IA generativa y los sistemas de visión por computadora, y qué estrategias de testing aplicar sobre ellos. No es un curso de automatización con herramientas de IA.

No. El curso arranca desde los fundamentos: qué es la inteligencia artificial, qué son los LLMs, cómo funciona el aprendizaje automático y qué es la IA generativa. Está pensado para testers que quieren entender este mundo sin venir de un perfil técnico de data science.

No es un requisito, pero hay demos prácticas en Python para calcular métricas de evaluación. Son ilustrativas: el objetivo es que entiendas los conceptos, no que salgas programando modelos.

El curso cubre pruebas funcionales (validación semántica, factual y de polaridad), testing adversarial (incluyendo prompt injection), pruebas de alineación, invariance testing, long-term drift testing, y testing no funcional como robustez, creatividad, sesgos y preservación de contexto.

Es una disciplina que busca encontrar cómo un sistema de IA puede ser manipulado o engañado. En el curso se explica qué es la inyección de prompts, se muestran ejemplos prácticos de ataques adversariales, y se trabaja en cómo detectar y reportar estas vulnerabilidades.

Sí, y es uno de los módulos más densos. Se trabajan métricas como Precisión, Recall, F1 Score, Perplexity, BLEU y TER, además de benchmarks estándar de la industria como TruthfulQA, MMLU y HumanEval para evaluar veracidad, conocimiento general y generación de código.

Sí. Hay un módulo completo sobre los desafíos éticos del testing en IA: regulación en la Unión Europea, privacidad, propiedad intelectual, alucinaciones, desinformación y pruebas de moderación de contenido con servicios de Google y OpenAI.

Sí, cada módulo tiene su actividad. También se recomienda participar en la comunidad de Discord para potenciar el aprendizaje y discutir los ejercicios.