Ingeniero de Aseguramiento de Calidad (QA)

Descripción

Resumen: Buscamos un Ingeniero de Aseguramiento de Calidad (QA) de nivel intermedio o senior para asumir la responsabilidad de la calidad en sistemas impulsados por IA, centrándonos especialmente en sistemas no deterministas y en la prueba avanzada de funciones potenciadas por IA. Aspectos destacados: 1. Gestionar de extremo a extremo las pruebas de calidad (QA) para agentes de IA, tuberías de prompts e integraciones. 2. Diseñar estrategias de prueba para sistemas de IA no deterministas. 3. Trabajar en problemas novedosos de QA para IA y contribuir a definir la cultura de pruebas. ### **El puesto** Buscamos un Ingeniero de Aseguramiento de Calidad (QA) (nivel intermedio o senior) capaz de asumir la responsabilidad de la calidad en sistemas impulsados por IA y en las integraciones asociadas. Esto no es QA tradicional de aplicaciones. Probarás funciones impulsadas por modelos de lenguaje grande (LLM), tuberías de prompts, flujos de trabajo de agentes, integraciones con MCP y tuberías de entrega basadas en GitHub que los sustentan. Trabajarás directamente dentro de nuestros repositorios (incluidos degen-engine y skeleton), colaborarás con ingenieros que utilizan Claude Code y Gemini Code Assist, y ayudarás a definir cómo verificamos sistemas no deterministas. Si la pregunta «¿cómo se realiza QA sobre un LLM?» es algo que ya has comenzado a responder, sigue leyendo. ### **Tus responsabilidades** * Gestionar de extremo a extremo las pruebas de calidad (QA) para Skeleton: agentes de IA, tuberías de prompts, integraciones con el servidor MCP, trabajos programados (Vercel Cron), ingesta de datos (Apify) y flujos de base de datos (Drizzle ORM). * Diseñar estrategias de prueba para sistemas no deterministas: entornos de evaluación, conjuntos de datos de referencia (golden datasets), suites de regresión para prompts, puntuación de la calidad de las salidas, detección de alucinaciones y derivas. * Escribir y mantener pruebas de integración en toda nuestra pila tecnológica (Next.js, TypeScript, pnpm, Vercel, Sentry, Jira), incluidas pruebas de contrato de API para integraciones con terceros. * Realizar pruebas directamente en GitHub: revisar solicitudes de extracción (PR), ejecutar suites de pruebas en CI/CD, validar despliegues automáticos en main y verificar correcciones antes de su lanzamiento. * Colaborar con ingenieros que usan Claude Code, Gemini Code Assist y nuestro flujo general de desarrollo con IA —incluida la redacción de prompts de prueba, la validación de salidas del uso de herramientas y las pruebas de estrés sobre estrategias de caché de prompts. * Construir y mantener monitoreo y observabilidad para funciones de IA en producción (Sentry, paneles de evaluación personalizados, seguimiento de costos y latencia). * Definir puertas de calidad y criterios de lanzamiento para funciones impulsadas por IA, y colaborar con el equipo de ingeniería en la respuesta ante incidencias cuando las salidas en producción presenten derivas. * Diagnosticar y reproducir incidencias en sistemas integrados: cuando algo falla, rastrearás el problema desde la notificación en Slack hasta los registros de Vercel, las trazas de Sentry, la base de datos y, finalmente, hasta el prompt correspondiente. ### **Qué buscamos** ### **Nivel intermedio (3–5 años)** * 3 o más años de experiencia en QA / SDET / Ingeniería de pruebas en software en producción. * Experiencia práctica probando funciones impulsadas por IA / LLM en producción (OpenAI, Anthropic, Gemini o similares) — evaluaciones de prompts, validación de salidas, pruebas de regresión. * Conocimientos sólidos de TypeScript / JavaScript; capacidad para leer y escribir código, no solo realizar pruebas de caja negra. * Experiencia con pilas web modernas: Next.js, APIs REST/GraphQL, computación sin servidor (Vercel / AWS Lambda) y al menos un ORM (Drizzle, Prisma, etc.). * Dominio de Git y flujos de trabajo en GitHub: revisión de PR, protección de ramas, tuberías CI/CD y comprobaciones de estado. * Experiencia escribiendo pruebas automatizadas con frameworks modernos (Vitest, Jest, Playwright, Cypress). * Capacidad para trabajar en repositorios junto a ingenieros y contribuir directamente con código de pruebas —no únicamente reportando incidencias. ### **Nivel senior (5+ años)** * Todo lo mencionado para nivel intermedio, además de: experiencia profunda definiendo estrategias de QA para sistemas de IA / ML en producción. * Historial comprobado construyendo marcos de evaluación para salidas de LLM (LLM como juez, conjuntos de datos de referencia, pruebas A/B de prompts, suites de regresión para sistemas no deterministas). * Experiencia con MCP (Model Context Protocol), uso de herramientas / llamadas a funciones, frameworks de agentes o flujos de trabajo multi-paso con LLM. * Capacidad para trabajar con pilas de observabilidad (Sentry, Datadog, paneles personalizados) y construirlas cuando no existan. * Experiencia mentorizando a ingenieros en prácticas de calidad y moldeando una cultura de pruebas en todo el equipo. * Conocimiento práctico de caché de prompts, selección de modelos, gestión de contexto y otras técnicas para mantener sistemas de IA rápidos y económicos en producción. ### **Deseable** * Experiencia directa con Claude (API, Claude Code, SDK de Anthropic), Gemini Code Assist u otras herramientas similares para desarrollo con IA. * Experiencia con Apify, Playwright u otros frameworks de scraping o automatización de navegadores. * Antecedentes en pruebas de tuberías de datos, flujos ETL o sistemas analíticos. * Experiencia con automatización de Jira, aplicaciones de Slack o API de Notion. * Contribuciones de código abierto a herramientas para IA o frameworks de pruebas. * Curiosidad por la ingeniería de prompts, el diseño de agentes o la ciencia detrás de la evaluación de modelos de lenguaje. ### **Por qué te encantará trabajar aquí** * Trabajar en problemas verdaderamente novedosos: el QA para sistemas de IA se está inventando ahora mismo, y tú ayudarás a inventarlo aquí. * Acceso directo a un pequeño equipo senior que construye desde cero tuberías de IA en producción —no es un rol de mantenimiento, sino uno fronterizo. * Pila tecnológica moderna, herramientas modernas, sin deuda técnica heredada que ralentice el progreso.