Cómo ejecutar Gemma 4 localmente con Genkit y Ollama

23 jul. 2026

GenkitOllamaGemma 4Local AITypeScriptLLM

Cómo ejecutar Gemma 4 localmente con Genkit y Ollama

Tradicionalmente, desarrollar aplicaciones con IA ha implicado depender de APIs como Gemini, OpenAI o Claude. Aunque son excelentes servicios, también implican costos, latencia y el envío de información a servidores externos.

Hoy es posible desarrollar completamente de forma local gracias a herramientas como Ollama y modelos abiertos como Gemma 4. En este artículo veremos cómo integrarlos con Genkit para construir aplicaciones de IA sin depender de servicios de IA en la nube ni de claves API.

¿Por qué ejecutar modelos de forma local?

El desarrollo de aplicaciones potenciadas por Inteligencia Artificial suele depender de llamadas a APIs en la nube. Aunque esto facilita el inicio, tiene desafíos:

  • Costos: el uso intensivo puede incrementar el gasto debido al cobro por tokens.
  • Privacidad: los datos deben enviarse a servicios externos para ser procesados.
  • Latencia: cada solicitud depende de la conexión y del tiempo de respuesta del proveedor.

Ejecutar modelos localmente con herramientas como Ollama soluciona estos puntos, permitiéndote desarrollar, experimentar e iterar rápidamente de forma segura, privada y gratuita.

¿Qué herramientas utilizaremos?

1. Genkit

Genkit es el framework open-source desarrollado por Google para construir, desplegar y depurar aplicaciones listas para producción potenciadas por IA. Facilita la integración con diferentes proveedores de modelos y bases de datos vectoriales a través de un ecosistema de plugins.

2. Ollama

Es una herramienta ligera que permite descargar, configurar e interactuar con modelos de lenguaje de gran tamaño (LLMs) localmente en macOS, Linux y Windows de forma sencilla.

3. Gemma 4 (12B)

Gemma 4 es la última generación de la familia de modelos abiertos y ligeros de Google, construidos a partir de la misma investigación y tecnología utilizadas para crear los modelos Gemini. La variante de 12B ofrece un balance ideal entre velocidad, consumo de recursos y capacidad de razonamiento complejo en hardware local.

Arquitectura de la Solución Local

La integración se realiza directamente en tu máquina de la siguiente manera:

Arquitectura de la Solución Local

El servidor local de Ollama levanta un endpoint que es consumido por el plugin oficial de Ollama para Genkit (genkitx-ollama), procesando todo el flujo de generación en tu propio procesador/tarjeta gráfica.

Pasos para construir la aplicación

Para facilitarte la vida y evitar configuraciones iniciales tediosas, he preparado un boilerplate listo para usar con TypeScript, Genkit y Ollama.

Requisitos

Antes de comenzar necesitarás:

  • Node.js 20 o superior
  • Ollama instalado
  • npm
  • Al menos 16 GB de RAM recomendados para ejecutar Gemma 4 (12B)

Paso 1: Instalar y levantar Ollama

  1. Descarga e instala Ollama desde su sitio web oficial: ollama.com.
  2. Abre tu terminal y ejecuta el siguiente comando para descargar el modelo gemma4:12b:
ollama pull gemma4:12b

Esto descargará el modelo localmente en tu sistema operativo.

Paso 2: Clonar y configurar el proyecto

Clona el repositorio del boilerplate que he creado y accede a él:

git clone https://github.com/lperezp/genkit-template.git
cd genkit-template

Si tienes alguna duda sobre el boilerplate, puedes dejarme un comentario o escribirme directamente por mis redes sociales.

Instala las dependencias necesarias:

npm install

Paso 3: El core (src/index.ts)

En el archivo principal src/index.ts realizaremos la inicialización de Genkit, registraremos el plugin de Ollama apuntando al modelo local y definiremos un Flow.

En Genkit, un Flow representa una unidad reutilizable de lógica de IA. Puede recibir entradas, ejecutar llamadas al modelo y devolver una respuesta tipada.

import { genkit, z } from 'genkit';
import { ollama } from 'genkitx-ollama';

// Definimos el modelo y el servidor local de Ollama por defecto
const OLLAMA_MODEL = 'ollama/gemma4:12b';
const OLLAMA_SERVER = 'http://127.0.0.1:11434';

// Configuramos Genkit con el plugin de Ollama
const ai = genkit({
  plugins: [
    ollama({
      models: [{ name: OLLAMA_MODEL }],
      serverAddress: OLLAMA_SERVER,
    }),
  ],
});

// Ejemplo de un Flow: sugiere un plato de comida basado en una temática de restaurante
export const menuSuggestionFlow = ai.defineFlow(
  {
    name: 'menuSuggestionFlow',
    inputSchema: z.string(), // Recibe una temática (ej: "Italiana moderna")
    outputSchema: z.string(), // Retorna una propuesta de menú sugerida por Gemma 4
  },
  async (restaurantTheme) => {
    const { text } = await ai.generate({
      model: OLLAMA_MODEL,
      prompt: `Invent a menu item for a ${restaurantTheme} themed restaurant.`,
    });
    return text;
  }
);

El plugin genkitx-ollama registra un proveedor de modelos dentro de Genkit. A partir de ese momento, cualquier Flow puede utilizar un modelo alojado en Ollama exactamente igual que usaría Gemini u OpenAI, simplemente cambiando el identificador del modelo.

Una de las principales ventajas de Genkit es que cambiar de proveedor resulta muy sencillo. Si en el futuro deseas utilizar Gemini, OpenAI u otro proveedor compatible, normalmente solo tendrás que cambiar la configuración del plugin sin modificar la lógica de tus Flows.

Paso 4: Levantar la interfaz de desarrollo de Genkit

Una de las mejores características de Genkit es su interfaz gráfica de desarrollo (Developer UI). Ejecuta el siguiente comando para levantar tu servidor local con hot-reload:

npm run genkit:dev

Esto abrirá la UI de Genkit en tu navegador (típicamente en http://localhost:4000), donde podrás interactuar con tus flujos.

Captura de la interfaz de desarrollo de Genkit donde aparecerá tu flujo menuSuggestionFlow

Paso 5: Probando el flujo localmente

Dentro de la UI de Genkit, dirígete al flujo menuSuggestionFlow, introduce un parámetro (por ejemplo, "space travel") y presiona Run.

Captura del flow menuSuggestionFlow

Verás cómo Gemma 4 genera una propuesta de menú de forma local y en tiempo real, mostrándote además la traza detallada del tiempo de ejecución y la respuesta del modelo, todo sin realizar una sola petición fuera de tu máquina.

¿Por qué Genkit y no consumir Ollama directamente?

Aunque Ollama expone una API HTTP que puede consumirse sin intermediarios, Genkit aporta una capa de abstracción que facilita la definición de Flows, el tipado de entradas y salidas, la observabilidad mediante la Developer UI y la posibilidad de cambiar de proveedor sin modificar la lógica de la aplicación.

Conclusiones

Hace apenas unos años ejecutar un modelo de este tamaño requería infraestructura especializada. Hoy basta instalar Ollama y unas pocas líneas de código para comenzar a desarrollar aplicaciones completamente locales con Genkit.

Esta combinación convierte a Genkit y Ollama en una excelente alternativa para desarrollar, probar agentes y construir pipelines de IA sin depender de servicios externos tanto durante el desarrollo como en escenarios donde la privacidad y el control de los datos son fundamentales.

¿Ya probaste Gemma 4 de forma local? Déjame tus comentarios, dudas o cualquier aporte que quieras compartir. 🦙💻

Si quieres comenzar de inmediato, puedes clonar el boilerplate que preparé con toda la configuración lista para usar en GitHub: lperezp/genkit-ollama-boilerplate.

Si te resulta útil, no olvides dejar una ⭐ en el repositorio.