Free Range Testers/IA y Testing: El curso definitivo

  • $60 o 6 pagos mensuales de $11

IA y Testing: El curso definitivo

  • Curso online
  • Acceso a Discord

¡Embarcate en un viaje hacia el futuro de la tecnología con nuestro curso de Inteligencia Artificial y Testing de Software! Aprende a fusionar la IA con las mejores prácticas de pruebas para crear sistemas más robustos y eficientes. Descubre cómo la IA puede revolucionar tus estrategias de testing. ¡Domina la intersección entre IA y testing en este curso único!

¿Querés ver qué te vas a encontrar en las 6 horas de curso que tenés por delante aprendiendo a testear AIs?

El skill del que todos hablan...bien aprendido

¿Por qué aprender Testing en el contexto de proyectos de IA?

Veamos por qué este curso es el recurso ideal para equiparte con uno de los skills menos comprendidos y más demandados del mercado

Preparado para el futuro

Aprender IA aplicada al Testing de Software es una apuesta future proof porque te prepara para un futuro donde los sistemas inteligentes serán la norma. Los testers que entienden cómo funciona la IA y cómo validarla tendrán un rol clave en equipos modernos de calidad, manteniéndose relevantes y con alta demanda en un mercado en constante evolución.

Mejora tu capacidad de análisis y toma de decisiones

Entender cómo los modelos de IA procesan datos y toman decisiones te permite diseñar mejores pruebas, detectar sesgos y validar comportamientos complejos que no siguen reglas tradicionales. Esto eleva tu perfil como tester analítico y estratégico.

Te abre nuevas oportunidades laborales

Cada vez más empresas integran IA en sus productos y buscan testers con conocimientos específicos en este campo. Capacitarte en IA no solo te diferencia, sino que te posiciona para roles más técnicos, mejor remunerados o enfocados en calidad de sistemas inteligentes.

Programa del curso

Bienvenida y dinámica del curso

¡Hola! Esta primera clase te va a servir para entender cómo es la dinámica del curso.

Cada maestro con su librito como dicen en mi país, así que me pareció importante que entiendas el tono, lo que vas a recibir y lo que espero de vos mientras tengamos esta relación de profe & estudiante.

🤖Bienvenida al curso de IA de Free Range Testers
❓¿Cómo consulto mis dudas al profesor?
🧑🏻‍💻¿Va a haber actividades para hacer?
✅Consejos para sacar el mayor provecho al curso

Fundamentos de la Inteligencia Artificial y los LLMs

Este módulo es la base para entender de qué hablamos cuando decimos “IA” y cómo encajan los Modelos de Lenguaje Grande en este mundo.

Acá vas a encontrar clases cortas y claras donde vemos qué es la IA, cómo funciona el aprendizaje profundo, qué papel tiene el NLP, qué son los LLMs y conceptos clave como temperatura o RAGs. La idea es que termines con un mapa mental bien armado para no perderte cuando empecemos a hablar de testing y calidad en sistemas con IA.

🦾¿Qué es la Inteligencia Artificial?
🧠El rol de Testing frente al uso de IA
👾¿Qué son los Modelos de Lenguaje Grande (LLMs) y dónde encajan en la IA?
🐜 La importancia de los RAGs en los LLMs.
👨🏻‍🎓¿Qué es el Aprendizaje Profundo?
🌡️ El concepto de temperatura
🗣️Procesamiento de Lenguaje Natural (NLP)
🦹🏻‍♂️Tipos de Aprendizaje Automático: Supervisado
👻Tipos de Aprendizaje Automático: No Supervisado
🥷🏻¿Qué es la Generative AI (Gen AI)?
🤓¿Qué son los Transformadores?
👓Mecanismo de Autoatención
🔰Modelo basado en Matrices
🧠 Actividad: Fundamentos de la Inteligencia Artificial y los LLMs
🧠 Cuestionario: Fundamentos de la Inteligencia Artificial y los LLMs

🧪Evaluación y Métricas en Modelos de IA

En este módulo te muestro cómo medir la calidad y el rendimiento de los modelos de IA de forma clara y práctica, más allá de solo “funciona o no funciona”.

En estas clases vamos a explorar:

  • Cómo entender y aplicar métricas de evaluación en IA.

  • Formas prácticas de calcular métricas con ejemplos reales.

  • Evaluación de la veracidad de las respuestas de los modelos.

  • Cómo medir el conocimiento y desempeño general de un modelo.

  • Métodos para evaluar generación de código y contenido textual.

  • Herramientas y conceptos para establecer una referencia de resultados correctos (ground truth).

La idea es que termines con un conjunto de conceptos y métodos que te permitan evaluar cualquier modelo de IA, con flexibilidad para agregar nuevas métricas o enfoques en el futuro.

🪐Entendiendo las métricas de evaluación en IA
⚽️¿Cómo calcular métricas en Python (Demo)
🎱TruthfulQA: Evaluando la veracidad
📚MMLU: Evaluación del conocimiento general
👀 Evaluación de código con HumanEval
🪲 Métricas lingüísticas: BLEU y TER
🧙🏻‍♂️ Ground Truth Table: ¿Qué son y para qué sirven?
📊 Actividad: Evaluación y Métricas en Modelos de IA
📊 Cuestionario: Evaluación y Métricas en Modelos de IA

Tipos de Testing en IA y LLMs

Este módulo te muestra cómo cambia nuestro trabajo como testers cuando el software no es solo código tradicional, sino sistemas que aprenden y generan resultados.

La idea es que termines con una visión clara de qué tipos de pruebas existen, cómo se aplican y qué herramientas o enfoques conviene usar según el tipo de IA que estés evaluando.

🥷🏻 Introduccion a las pruebas en IA
📚 Presentación de Testing en IA
👨🏼‍🚒 Pruebas funcionales en IA
📼 Introducción a sistemas de detección por video
🧩 La complejidad de testear AI para vigilancia y video
⚗️ Testing de IAs Generativas
🧪 Actividad: Tipos de Testing en IA y LLMs
🧪 Cuestionario: Tipos de Testing en IA y LLMs

Testing Adversarial y Seguridad

🤖 Introducción al Testing Adversarial en AI
🦿 Inyección de Prompts y Prompt Engineering
🦾 Ejemplos de Inyección de Prompts
🪖 Invariaciones y testing bidireccional
⛵️ Long term drift
📝 Testing de lineamiento
🧨 Actividad: Testing Adversarial y Seguridad en Modelos de IA
🧨 Cuestionario: Testing Adversarial y Seguridad en Modelos de IA

Testing no funcional de Inteligencia Artificial

En este módulo vamos a enfocarnos en pruebas que no solo verifican si la IA funciona, sino cómo lo hace bajo distintas condiciones y restricciones. Aquí evaluamos aspectos como rendimiento, escalabilidad, confiabilidad y seguridad del modelo, más allá de su salida inmediata.

Vas a aprender a:

  • Medir la robustez y estabilidad de un modelo frente a entradas variadas o atípicas.

  • Evaluar el rendimiento y tiempos de respuesta, especialmente en aplicaciones críticas.

  • Analizar la consistencia y reproducibilidad de los resultados.

  • Revisar aspectos de seguridad, privacidad y manejo de datos, esenciales en entornos reales.

Es clave para testers que quieren asegurarse de que la IA no solo funcione bien en pruebas aisladas, sino que resista y se comporte de manera confiable en escenarios del mundo real.

🚛 Introducción al Testing no Funcional en IAs
👨🏼‍🏫 La Explicabilidad en modelos de inteligencia artificial
🧶 Testing de preservacion de contexto en AIs
🎿 Pruebas de Robustez en Gen AI
🎨 Testing de Creatividad en Gen AI
🗜️ Performance Testing en modelos de AI
🫵🏻 Sesgos en IA
📚 Presentación de Sesgos
⚙️ Actividad: Testing No Funcional en IA
⚙️ Cuestionario: Testing No Funcional en Inteligencia Artificial

Ética y Regulación en sistemas con IA

En este módulo vamos a explorar el marco ético y regulatorio que rodea a la Inteligencia Artificial, algo fundamental para testers que quieren garantizar que los sistemas sean responsables y confiables.

Vas a aprender:

  • Principios éticos en IA: transparencia, justicia, privacidad, seguridad y responsabilidad.

  • Cómo los sesgos y decisiones automatizadas pueden afectar a usuarios y comunidades.

  • Normativas y regulaciones actuales, nacionales e internacionales, que impactan el desarrollo y uso de IA.

  • Buenas prácticas para que los testers contribuyan a la gobernanza, asegurando que la IA cumpla con estándares legales y éticos.

  • Cómo documentar hallazgos y generar reportes que respalden decisiones de cumplimiento.

La idea es que termines con una visión clara de cómo evaluar no solo el desempeño de un modelo, sino también su impacto social, legal y ético, aportando seguridad y confianza a cualquier proyecto de IA.

👮🏻‍♂️ Regulacion de sistemas de IA
🔐 Privacidad de datos e IA
👨🏻‍🎤 Propiedad intelectual e IA
⚖️ Test de moderación
🗞️ Fake news
🔮 Desafios futuros
📚 Presentación de Desafíos Éticos y Regulatorios
⚖️ Actividad: Ética y Regulación en IA
⚖️ Cuestionario sobre ética y marcos regulatorios

Reportes en Testing de LLMs

📊 ¿Qué hay que incluir en un reporte QA de LLMs?
🙆🏻‍♂️ Comparación y diferencias entre reportes para modelos de AI y software tradicional
🙋🏻‍♀️¿Cuándo Testing es suficiente para un sistema con LLM?
🧾 Actividad: Reportes en Testing de IA

✌🏻 Despedida

🧘🏻 Conclusiones, reflexiones y otras yerbas

Incluido con el curso

  • Certificado incluido al finalizar el curso ✅

  • Prácticas con el framework creado 🧑🏻‍💻

  • Actualizaciones todos los años ♻️

  • Una comunidad que acompaña y ayuda 🦾

  • Respuestas a preguntas todas las semanas 🤖