Firebase Genkit Monitoring: Monitorea el rendimiento de tu IA Generativa

30 abr. 2025

GenkitGenkit MonitoringFirebaseOpenTelemetryObservabilityLLM

Firebase Genkit Monitoring: Monitorea el rendimiento de tu IA Generativa

Hace unos días, probando una aplicación que hice con Genkit, me percaté de que demoraba al momento de generar una imagen con Imagen 3. Tenía la duda de si era una caída del LLM, si el tiempo de respuesta del modelo estaba demorando más de lo normal o si mi petición se había caído antes de llegar a generar la imagen. Si bien durante el desarrollo local podemos depurar fácilmente nuestros proyectos, ¿qué pasa cuando los llevamos a producción? ¿Cómo podemos monitorear su comportamiento y detectar problemas inesperados?

Por suerte, al desarrollar mi aplicación, agregué Firebase Genkit Monitoring y pude encontrar el problema. En este artículo les explicaré qué es y cómo configurarlo en tus proyectos.

Firebase Genkit Monitoring

Es una función de Firebase que proporciona herramientas para observar y monitorear tus funciones de Genkit directamente desde la consola de Firebase. Te ayuda a ver el uso, comprender el estado, el rendimiento y el comportamiento de tus aplicaciones basadas en IA en un entorno real.

Al momento de escribir este artículo, Firebase Genkit Monitoring se encuentra en una fase de vista preliminar pública. La disponibilidad general y las funcionalidades podrían variar en el futuro.

Panel de Monitoring AI en la consola de Firebase

Genkit está completamente instrumentado con OpenTelemetry y proporciona enlaces para exportar datos.

El complemento de Google Cloud exporta la telemetría al conjunto de operaciones de Cloud (Logging, Metrics y Trace).

¿Por qué es importante el monitoreo para IA Generativa?

Imagínate tener una aplicación en producción y necesitar calcular el uso de tokens para optimizar costos o comprender su escalabilidad. O quizás te enfrentas a llamadas fallidas a los modelos de lenguaje (LLM) y necesitas identificar las razones, como problemas de conexión o errores en la formulación de las consultas.

Esto es crucial cuando la IA generativa es un componente central de tu propuesta de valor, ya que incluso retrasos mínimos pueden deteriorar la experiencia del usuario y, a largo plazo, impactar negativamente en el éxito de tu proyecto. Aquí es donde la capacidad de observar y analizar el rendimiento de tus funciones de IA se vuelve indispensable.

¿Qué métricas y datos proporciona Firebase AI Monitoring?

Desde la consola de Firebase se puede ver el menú donde está la opción de Genkit; al hacer clic podremos ver el panel de Genkit AI Monitoring, donde nos muestran gráficos acerca de métricas de uso, índice de éxito y la latencia (p95).

  • Métricas de Uso: permite entender el consumo de recursos y optimizar costos.
  • Índice de éxito: indica la fiabilidad de tus funciones y ayuda a identificar problemas.
  • Latencia (p95): muestra el tiempo de respuesta en el 95% de las solicitudes, crucial para la experiencia del usuario.

Panel de métricas de Genkit AI Monitoring

Además, si queremos ver los detalles de cada función, en el panel podremos encontrar esa información. Por ejemplo, si queremos ver la cantidad de tokens usados, podremos verlo en la columna de Entrada y salida.

Lista de funciones de mi proyecto FoodFit

Ahora, si queremos ver los detalles de una función, podremos verlo haciendo clic en una de ellas.

Detalles de la función foodSuggestionFlow desde la consola de Firebase

En la sección de Métricas de estabilidad, podemos ver gráficos que muestran detalladamente cuántos tokens usamos, a qué hora nuestra función se disparó más e información adicional que nos puede ayudar con nuestro proyecto.

Métricas de estabilidad de la función foodSuggestionFlow

Si queremos ver la traza de nuestra petición al modelo, podemos hacer clic en un registro y veremos los detalles.

Registro de una petición a la función foodSuggestionFlow

Con toda esta información podremos ir analizando nuestras funciones.

Guía para usar Firebase Genkit Monitoring

Para habilitar la monitorización de IA en tu aplicación Genkit, importa el complemento de Firebase en tu proyecto y configura la telemetría de la siguiente manera:

import { enableFirebaseTelemetry } from '@genkit-ai/firebase';

enableFirebaseTelemetry();

Desde la consola de tu proyecto de Google Cloud, se deben tener estas APIs habilitadas:

Además, debes agregar unos permisos adicionales a tu cuenta de servicio predeterminada de Firebase:

  • Escritor de métricas de supervisión: esta función proporciona los permisos para enviar métricas.
  • Agente de Cloud Trace: puede escribir datos de seguimiento.
  • Escritor de métricas de telemetría de Cloud: acceso para escribir registros.

Detalles de la cuenta de servicio predeterminada

Y con esto, volver a desplegar tu proyecto a producción.

En resumen, Firebase Genkit Monitoring se presenta como una herramienta invaluable para cualquier desarrollador que trabaje con IA generativa en Genkit y Firebase. Proporciona la visibilidad necesaria para entender el rendimiento, optimizar costos y solucionar problemas en entornos de producción.