Usar IA todos los días no garantiza aprovecharla bien. Evaluaciones, contexto, costos y agentes: veinte prácticas para detectar errores silenciosos y mejorar procesos que ya están en marcha.
Por Colegiales Noticias | Tecnología e innovación
La primera etapa consiste en conseguir que la inteligencia artificial haga una tarea. La siguiente es bastante más exigente: lograr que la haga de manera consistente, con costos previsibles y resultados que puedan auditarse. Entre ambas aparece una distancia que las demostraciones comerciales suelen dejar afuera.
Quien ya trabaja con modelos, documentos y automatizaciones conoce el problema: una respuesta puede parecer excelente y contener una condición inventada; una búsqueda puede recuperar información correcta que el sistema interpreta mal; un agente puede completar una operación y repetirla porque no recibió la confirmación.
Para estudios profesionales, agencias, desarrolladores y empresas de Colegiales, mejorar el uso de IA exige mirar esas fallas menos visibles. Los siguientes veinte ajustes forman una propuesta práctica de revisión: deben adaptarse al riesgo, al volumen y a las condiciones de cada proyecto.
Evaluación: cómo descubrir los errores que una buena respuesta disimula
1. Definí el éxito antes de cambiar el prompt
“Respondé mejor” no permite evaluar una mejora. “Extraé correctamente importe, moneda, vencimiento y número de factura” sí establece un resultado comprobable.
Separá requisitos obligatorios de preferencias. Un resumen puede tener un estilo poco atractivo y conservar todos los hechos; otro puede sonar impecable y omitir una excepción contractual. La evaluación debe distinguir esos resultados.
2. Construí un conjunto de casos que incluya problemas reales
Guardá ejemplos representativos y sus resultados esperados: documentos incompletos, nombres parecidos, archivos ilegibles y pedidos fuera de alcance.
Reservá una parte para evaluar sin utilizarla durante los ajustes. Si corregís instrucciones mirando siempre los mismos ejemplos, podés mejorar sobre esa colección sin resolver el problema general. La documentación de Anthropic sobre evaluación de agentes destaca la importancia de diseñar tareas y criterios que midan correctamente el comportamiento buscado. anthropic.com
3. Medí la gravedad del error, además de su frecuencia
Un acento omitido y un destinatario equivocado no deberían sumar como fallas equivalentes. Clasificá los errores según sus consecuencias: presentación, trabajo adicional, pérdida económica o exposición de información.
Un sistema con pocos errores puede resultar inaceptable si esos errores afectan acciones críticas. El promedio necesita acompañarse de un registro de incidentes graves.
4. Probá varias veces las tareas sensibles
Una ejecución exitosa demuestra que el sistema pudo resolver ese caso en esas condiciones. No demuestra consistencia.
Repetí casos relevantes y observá si cambian los hechos, las herramientas elegidas o las acciones. Registrá versión del modelo, configuración y fecha. Incluso con esos datos, servicios externos y actualizaciones pueden impedir una reproducción exacta.
5. Verificá el estado final, no solamente el mensaje del agente
“Archivo guardado” es una afirmación. La comprobación consiste en encontrar el archivo, abrirlo y verificar su contenido.
Si la tarea era crear un registro, comprobá su existencia en el sistema de destino. Si era modificar código, examiná el cambio y ejecutá las verificaciones pertinentes. El relato de una operación no reemplaza la evidencia de que ocurrió.
Contexto y documentos: cómo mejorar la información que recibe el modelo
6. Eliminá contexto que ya no sirve
Una conversación extensa puede acumular precios vencidos, decisiones descartadas e instrucciones contradictorias. Antes de una etapa importante, prepará un estado de trabajo actualizado con objetivo, restricciones, decisiones vigentes y pendientes.
Anthropic trata el contexto como un recurso finito que debe seleccionarse y mantenerse. Agregar más texto no garantiza una mejor ejecución. anthropic.com
7. Separá instrucciones, fuentes y observaciones
Identificá qué contiene reglas del proceso, qué constituye material de consulta y qué registra resultados intermedios.
Esa separación facilita depurar fallas. Si un documento comercial incluye una orden dirigida al asistente, debería tratarse como contenido del documento, no adquirir autoridad para cambiar la tarea. La estructura ayuda, aunque por sí sola no constituye una barrera de seguridad.
8. Diagnosticá la búsqueda antes de culpar al modelo
Cuando una respuesta basada en documentos falla, revisá si el sistema recuperó los fragmentos necesarios.
Si no los encontró, investigá extracción, consultas, filtros y segmentación. Si los encontró y respondió mal, revisá interpretación e instrucciones. Recuperar información e interpretarla son etapas distintas y conviene evaluarlas por separado.
9. Conservá metadatos que permitan comprobar cada dato
Un fragmento aislado puede perder la fecha de vigencia, la moneda o la excepción que aparecía en otra página.
Guardá identificador del documento, versión, ubicación y fecha cuando corresponda. Para presupuestos o contratos, pedí que cada condición relevante pueda vincularse con su fuente exacta.
10. Exigí respaldo para cada afirmación importante
Una bibliografía al final puede dar apariencia de rigor sin mostrar qué documento sostiene cada dato.
En una prueba de investigación o análisis, seleccioná afirmaciones verificables y contrastalas con las fuentes citadas. Medí tanto la existencia del enlace como su pertinencia. Una página auténtica puede no respaldar la conclusión atribuida.
Agentes y automatización: dónde poner los controles
11. Aplicá permisos mínimos desde la infraestructura
Si el agente necesita leer una carpeta, evitá habilitar toda la cuenta. Si debe preparar borradores, restringí las funciones de envío.
OWASP identifica la autonomía excesiva como un riesgo asociado con herramientas, permisos y capacidad de acción demasiado amplios. Los controles deben existir fuera de las instrucciones conversacionales. OWASP Gen AI Security Project
12. Separá la preparación de la ejecución
El sistema puede preparar una transferencia, una publicación o una respuesta comercial y mostrar los datos para revisar antes de ejecutarla.
La aprobación tiene que corresponder a la acción concreta: destinatario, importe, archivo o contenido. Si cualquiera de esos elementos cambia después, corresponde volver a validar según el riesgo del proceso.
13. Diseñá operaciones que puedan reintentarse sin duplicarse
Si una conexión se interrumpe después de crear una factura, un reintento puede generar otra. Cuando la integración lo permita, usá un identificador único de operación y comprobá si ya fue procesado.
Esta propiedad se llama idempotencia. Su implementación corresponde al sistema que ejecuta la acción; pedirle al modelo que “no repita” no ofrece el mismo control.
14. Definí condiciones de parada
Una tarea necesita límites de duración, llamadas, gasto y reintentos. También debe detenerse ante determinadas contradicciones o fallas.
Por ejemplo: si falta el identificador del cliente, el agente deriva el caso; si una herramienta falla repetidamente, informa el problema. Los umbrales deben elegirse a partir del proceso y revisarse con evidencia.
15. Tratá las salidas estructuradas como datos que necesitan validación
Recibir un JSON válido facilita procesar la respuesta, pero no demuestra que los valores sean correctos.
Validá tipos, campos obligatorios, monedas, rangos, relaciones entre fechas e identificadores. Un importe negativo puede ser sintácticamente válido y comercialmente imposible en esa operación.
Costos y rendimiento: qué medir cuando el sistema ya funciona
16. Calculá el costo por caso aceptado
El precio por consulta deja afuera reintentos, herramientas, revisión y correcciones.
Costo por caso aceptado = costo total del proceso ÷ cantidad de casos que cumplen los criterios.
Ejemplo hipotético: si procesar cien casos cuesta $20.000 y ochenta cumplen los requisitos, el costo es de $250 por caso aceptado. Si otro flujo cuesta $24.000 y entrega cien aceptados, su costo es de $240. El proceso más caro en total resulta más económico por resultado útil.
17. Observá las demoras extremas
Un tiempo promedio razonable puede ocultar operaciones que quedan esperando varios minutos.
Medí la mediana y percentiles como el P95: un valor que permite observar el tiempo dentro del cual termina aproximadamente el 95% de las ejecuciones medidas. Revisá también errores y abandonos; excluir las operaciones fallidas puede embellecer artificialmente el indicador.
18. Derivá por dificultad usando resultados propios
Podés probar un modelo menos costoso para tareas simples y escalar casos difíciles. La derivación necesita criterios medidos: documentos ilegibles, falta de evidencia o incumplimiento de validaciones.
No conviene tomar “estoy muy seguro” como una probabilidad calibrada de acierto. Para decidir, utilizá señales verificables y desempeño observado sobre tus casos.
Mantenimiento: cómo evitar que una mejora rompa lo que funcionaba
19. Versioná el proceso completo
Guardá instrucciones, modelo, configuración, herramientas y versión de los documentos. Si un cambio empeora resultados, necesitás identificar qué se modificó.
Los registros deben ser útiles sin acumular información sensible innecesaria. Definí accesos y plazos de conservación. Tener trazabilidad tampoco autoriza a guardar indefinidamente todos los datos que pasaron por el sistema.
20. Convertí cada incidente relevante en una prueba permanente
Cuando el sistema confunda dos clientes o interprete mal una excepción, registrá un caso de prueba con datos ficticios o debidamente protegidos.
Después de corregir, verificá que ese problema no reaparezca y que otros resultados sigan funcionando. Una solución aplicada al último error puede introducir otro: por eso el historial de fallas debe convertirse en una colección de pruebas de regresión.
Una prueba profesional: cambiar una sola variable
Para aplicar estas prácticas, elegí un proceso existente y registrá su desempeño actual. Después modificá un elemento: instrucciones, recuperación de documentos, modelo o permisos. Compará calidad, costo, tiempo y consecuencias de los errores sobre los mismos casos de evaluación.
Los ejemplos, fórmulas y procedimientos de esta nota son propuestas de aplicación. No representan garantías de rendimiento ni umbrales universales. Un borrador interno, una respuesta a un cliente y una operación financiera necesitan controles diferentes.
Para un profesional que ya usa IA, el avance más valioso puede aparecer en una falla que deja de repetirse, una operación que puede auditarse o un costo que finalmente se entiende. La calidad se vuelve visible cuando el proceso sostiene sus resultados y permite explicar sus límites.
Meta descripción: Veinte prácticas avanzadas para trabajar con inteligencia artificial: evaluación, contexto, agentes, permisos y costo por resultado aceptado.
Slug: inteligencia-artificial-profesionales-20-ajustes