“La primera vez que construí un flujo de trabajo de agentes, fue como ver la magia, es decir, hasta que tardó 38 segundos en responder a una simple consulta del cliente y me costó 1,12 dólares por solicitud”. Cuando comienzas a construir flujos de trabajo de agentes en los que los agentes autónomos planifiquen y actúan en procesos multi-paso, es fácil dejarse llevar.La flexibilidad es increíble!Pero también es la sobrecarga que viene con ella.Algunos de estos puntos de dolor incluyen la ejecución lenta, el alto uso de la computación y un desorden de piezas en movimiento. El medio en los flujos de trabajo de Agentic es donde los problemas de rendimiento y las mejores oportunidades de optimización suelen aparecer. En el último año, he aprendido cómo hacer que estos sistemas sean dramáticamente más rápidos y más rentables sin sacrificar su flexibilidad, y he decidido crear este manual. 
 
 
 Antes de hablar de optimización, quería asegurarme de que todos sabéis lo que quiero decir cuando uso las siguientes palabras: 
 
 
 
 Flujos de trabajo: secuencias predeterminadas que pueden o no usar un LLM en su totalidad. : Self-directing, and they can decide which steps to take and the order in which they choose to execute. Agents Flujos de trabajo de agentes: Este es un híbrido en el que establece un camino general pero da a los agentes en su flujo de trabajo la libertad de moverse dentro de ciertos pasos. Antes de hablar de optimización, quería asegurarme de que todos sabéis lo que quiero decir cuando uso las siguientes palabras: 
 
 
 
 Flujos de trabajo: secuencias predeterminadas que pueden o no usar un LLM en su totalidad. Agentes: Autodirigidos, y pueden decidir qué pasos tomar y el orden en el que eligen ejecutar. Flujos de trabajo de agentes: Este es un híbrido en el que establece un camino general pero da a los agentes en su flujo de trabajo la libertad de moverse dentro de ciertos pasos. Recomendamos el Step Count Algo que todo el mundo necesita tener en cuenta al diseñar flujos de trabajo de agentes es que cada llamada de modelo agrega latencia. Cada salto adicional es otra oportunidad para un tiempo extra. Y no olvidemos cómo también aumenta nuestra posibilidad de alucinaciones, lo que lleva a que se tomen decisiones que se alejan del objetivo principal. Las directrices aquí son simples: 
 
 
 
 Fusionar los pasos relacionados en un único prompt Evite las micro-decisiones innecesarias que un único modelo podría manejar en un solo movimiento Diseño para minimizar las rondas de viaje Cuando diseño un flujo de trabajo, siempre empiezo con un único agente (porque tal vez no necesitamos un flujo de trabajo en absoluto) y luego lo evalúo contra ciertas métricas y controles que tengo en lugar. Basado en dónde falla, comienzo a descomponer las partes donde las puntuaciones de evaluación no cumplieron los criterios mínimos, e iterar desde entonces. Paralelizar todo lo que no tenga dependencias Tomando en préstamo el contexto desde el punto anterior, las cadenas secuenciales también son trampas de latencia.Si dos preguntas no necesitan la salida de la otra, ejecutelas juntas! Como ejemplo, quería imitar un flujo de trabajo de agentes de soporte al cliente donde puedo ayudar a un cliente a obtener su estado de pedido, analizar el sentimiento de la solicitud y generar una respuesta. Comenzé con un enfoque secuencial, pero luego me di cuenta de que obtener el estado de la solicitud y analizar el sentimiento de la solicitud no dependen entre sí. Una vez que tuviese estas dos respuestas, luego alimentaría el estado de orden y el sentimiento detectados al generador de respuesta, y que fácilmente rasparía el tiempo total tomado de 12 segundos a 5. Cortar llamadas de modelo innecesarias Todos hemos visto las publicaciones en línea que hablan de cómo ChatGPT puede ser un poco iffy cuando se trata de matemáticas. Bueno, eso es un buen recordatorio de que estos modelos no se construyeron para eso. También, si sabemos el tipo de cálculo que necesita tener lugar, ¿por qué no simplemente codificarlo en una función que se puede usar, en lugar de tener una figura de LLM que sale por sí sola? Si una regla, regex, o una función pequeña puede hacerlo, salte la llamada de LLM. Este cambio eliminará la latencia innecesaria, reducirá los costos de token y aumentará la fiabilidad todo en un paso. Compara el modelo con la tarea “No todas las tareas se construyen igual” es un principio fundamental de gestión de tareas y productividad, reconociendo que las tareas varían en su naturaleza, demandas e importancia. De la misma manera, necesitamos asegurarnos de que estamos asignando las tareas correctas al modelo correcto. Los modelos ahora vienen en diferentes sabores y tamaños, y no necesitamos un modelo Llama 405B para realizar una tarea simple de clasificación o extracción de entidades; en cambio, un modelo 8B debería ser más que suficiente. Es común en estos días ver a las personas diseñar sus flujos de trabajo de agentes con el modelo más grande que ha salido, pero eso viene a costa de la latencia.Cuanto mayor sea el modelo, más el cálculo requerido, y por lo tanto la latencia.Seguramente, usted podría alojarlo en una instancia más grande y salir con él, pero eso viene a un costo, literalmente. En cambio, la forma en que voy a diseñar un flujo de trabajo de nuevo sería comenzar con el más pequeño. Mi modelo de paso es el Llama 3.1 8B, que ha demostrado ser un guerrero fiel para tareas descompuestas. Comienzo por tener a todos mis agentes usando el modelo 8B y luego decido si necesito encontrar un modelo más grande, o si es lo suficientemente simple, tal vez incluso bajar a un modelo más pequeño. Aparte de los tamaños, ha habido muchos sobre qué sabores de los LLM hacen mejor en cada tarea, y eso es otra consideración a tener en cuenta, dependiendo del tipo de tarea que esté tratando de realizar. Conocimiento tribal Repensando su prompt Es un conocimiento común ahora, pero a medida que pasamos por nuestras evaluaciones, tendemos a añadir más guardias al prompt del LLM. Esto comienza a inflar el prompt y, a su vez, afecta a la latencia. Hay varios métodos para construir prompts efectivos que no entraré en este artículo, pero los pocos métodos que acabo de usar para reducir mi tiempo de respuesta de vuelta fueron Prompt Caching para instrucciones y esquemas estáticos. Esto incluyó la adición de contexto dinámico al final del prompt para una mejor reutilización de la caché. Establecer límites claros de longitud de respuesta para que el modelo no consuma tiempo, dándome información innecesaria. Esconde todo En una sección anterior, hablé de Prompt Caching, pero eso no debería ser donde dejes de tratar de optimizar con el caché. El caché no es solo para las respuestas finales; es algo que debe aplicarse donde sea aplicable. Mientras intenta optimizar ciertas llamadas de herramientas caras, he cached los resultados intermedios y finales. Incluso puedes implementar cachés KV para los estados de atención parcial y, por supuesto, cualquier dato específico de sesión como los datos del cliente o los estados del sensor. Decodificación especulativa Aquí está uno para la multitud avanzada: use un pequeño modelo de "diseño" para adivinar el siguiente token rápidamente y luego tener un modelo más grande para validarlos o corregirlos en paralelo. Guardar Fine-Tuning por último - y hacerlo de forma estratégica Finetuning es algo que mucha gente habló en los primeros días, pero ahora, algunos de los adoptantes más recientes de los LLM no parecen saber ni siquiera por qué o cuándo usarlo. Bueno, esto es algo de lo que no mucha gente habla, pero hay una razón por la que hablo de esta optimización la última vez, y llegaré a eso en un poco.Cuando ajustes un LLM para hacer una tarea, el prompt necesario en la inferencia es considerablemente menor que lo que tendrías de otro modo, porque ahora, en la mayoría de los contextos, lo que pones en el prompt se cocina en los pesos a través de tu proceso de ajuste fino. Esto, a su vez, se alimenta en el punto anterior sobre la reducción de su longitud instantánea y, por lo tanto, ganancias de latencia. Monitoreo Invisible Este es el paso más importante que he tomado al intentar reducir la latencia. Esto establece las bases para cualquiera de las optimizaciones listadas anteriormente y le da claridad sobre qué funciona y qué no. Aquí están algunas de las métricas que he utilizado: 
 
 
 
 
 
 Tiempo para el primer token (TTFT) Tokens por segundo (TPS) Ruta de precisión Cache Hit Rate Hora de coordinación de múltiples agentes Estas métricas te dicen dónde optimizar y cuándo porque sin ellas, estás volando ciego. Líneas inferiores Los flujos de trabajo de agentes más rápidos y confiables no ocurren sólo. Son el resultado de cortes de pasos despiadados, paralelización inteligente, código determinista, tamaño correcto del modelo y caché en cualquier lugar que tenga sentido. Haga esto y evalúe sus resultados, y debe ver que las mejoras de velocidad de 3-5 veces (y probablemente incluso grandes ahorros de costes) están absolutamente a su alcance.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Este audio es producido en el idioma original de la historia!

Cómo reducir la latencia del flujo de trabajo de agentes de 3 a 5 veces sin aumentar los costos del modelo

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps