Este workflow automatiza el proceso de testeo de múltiples modelos de lenguaje locales utilizando LM Studio y OpenAI. Inicia con un trigger que detecta mensajes de chat. Luego, obtiene una lista de modelos disponibles desde una URL local (‘http://192.168.1.179:1234/v1/models’). Para cada modelo, el workflow captura la hora de inicio, ejecuta el modelo con entradas dinámicas usando el nodo ‘@n8n/n8n-nodes-langchain.lmChatOpenAi’ de OpenAI, captura la hora de finalización, calcula la diferencia de tiempo y analiza las métricas de la respuesta del LLM. Finalmente, guarda los resultados (incluyendo tiempos de ejecución y métricas) en una hoja de cálculo de Google Sheets. El workflow utiliza nodos para manipular fechas y horas, preparar los datos para el análisis, dividir la lista de modelos para ejecutarlos por separado y agregar un prompt al sistema. El análisis de las métricas de la respuesta del LLM se realiza mediante un nodo de código personalizado.
- Automatización completa del proceso de testeo de LLMs.
- Integración con LM Studio para obtener la lista de modelos.
- Uso de OpenAI para ejecutar los modelos de lenguaje.
- Análisis de métricas de respuesta del LLM mediante código personalizado.
- Almacenamiento de resultados en Google Sheets para facilitar el análisis posterior.