Amazon ha implementado un cambio significativo en su sistema interno de gestión de tickets al reemplazar el modelo de lenguaje Sonnet 4.6 por Strands Decider, un modelo de decisión lanzado hace un mes. Según informó Strands Agents en un comunicado oficial, esta sustitución ha permitido mantener una precisión similar en el etiquetado de tickets, mientras se reduce el costo en un 98%, lo que se traduce en un ahorro de millones de dólares anuales.
Optimización del etiquetado de tickets con modelos de decisión
El sistema interno de Amazon procesa una gran cantidad de tickets que incluyen desde escalaciones de clientes hasta solicitudes de capacidad y alertas automatizadas, clasificándolos en 20 categorías. El modelo Sonnet 4.6 generaba respuestas en formato JSON con un razonamiento basado en un conjunto fijo de etiquetas. En contraste, Strands Decider funciona como un modelo de decisión que, dado el estado del ticket y un conjunto de opciones, devuelve probabilidades y un puntaje de confianza para cada opción.
Inicialmente, Amazon probó la versión original de Strands Decider 2B, pero tras evaluar resultados en un conjunto de pruebas, adoptaron la versión E4B Gemma 4, que superó en rendimiento a Sonnet 4.6. La implementación se realiza en instancias SageMaker ml.g5.xlarge, con un tiempo promedio de respuesta de 640 ms por solicitud y un uso de memoria de aproximadamente 19 GiB.
Te puede interesar
Estados UnidosDocumentos falsos para cruzar a EE.UU.: claves del nuevo escenario informativoAnte el endurecimiento de controles en el río Grande, bandas criminales cobran hasta 5,000 dólares por documentos falsif…Leer la nota Reducción significativa de costos y mejora en eficiencia
El cambio de modelo no solo redujo el costo por ticket de manera drástica, sino que también disminuyó la duración promedio de ejecución de las funciones Lambda encargadas del etiquetado en un 74%, según datos internos de Amazon. En términos económicos, el costo estimado por millón de tickets para Strands Decider es de aproximadamente 500 dólares, comparado con 22,000 dólares para Sonnet 4.6, representando una reducción del 98% en costos de tokens.
Metodología y control de calidad
Para garantizar la calidad y evitar errores, Amazon implementó un sistema de conmutación de tres vías mediante AWS AppConfig que permite operar en tres modos: solo Sonnet, ambos modelos en paralelo para comparación, y solo Strands Decider. Esta estrategia facilitó la evaluación continua y la transición segura entre modelos.
Un hallazgo relevante fue que el orden de las claves JSON afectaba las probabilidades de salida del modelo, por lo que se estandarizó el orden de las claves para mantener consistencia en los resultados.
Contexto y perspectivas
Este cambio refleja una tendencia creciente en la industria tecnológica hacia modelos de decisión para tareas específicas de clasificación, especialmente cuando el catálogo de opciones es cerrado y el volumen de datos es alto. Sin embargo, los expertos señalan que esta solución es adecuada cuando las etiquetas no requieren explicaciones extensas y el contexto puede ser comprimido en pocas miles de tokens.
Amazon continúa monitoreando y ajustando su sistema para optimizar costos y rendimiento, lo que podría servir de referencia para otras empresas que manejan grandes volúmenes de clasificación automatizada.
