Cómo configurar en local un compañero de IA gratuito y sin censura (sin GPU)

Puedes probar el modelo ahora mismo con comandos de ollama. Pero la terminal olvida cada mensaje, y lo que instalaste es un modelo en blanco, sin nombre ni personalidad.

Así que te preparé una pequeña página de chat. Se ejecuta en tu navegador, habla directamente con tu Ollama local y lo mantiene todo en local. Defines una sola vez un nombre, un avatar y una personalidad.

Todo lo anterior supone solo CPU, que es deliberadamente el mínimo común denominador: funciona en un portátil de hace diez años. Si tienes una GPU parada, un modelo local más grande se vuelve realista, y el atractivo es el mismo que el de la configuración con CPU, nada sale de tu equipo, y encima tienes una memoria y una coherencia claramente mejores en una sesión larga de rol de lo que puede dar un modelo de 4B.

El modelo al que apuntar aquí es Qwen 3.8 27B, un escalón por encima del 4B abliterated que esta guía instala por defecto. Con cuantización Q4_K_M (unos 14 GB) cabe en una sola GPU de consumo de 16 GB de VRAM junto a 32 GB de RAM del sistema, y rinde unos 25 a 35 tokens por segundo. Si pasas a Q3_K_M (unos 12,5 a 13 GB) en esa misma tarjeta de 16 GB, el rendimiento sube a unos 41 tokens por segundo, con un pequeño coste en calidad. Ejecutarlo en la RAM del sistema en vez de en una GPU (los pesos BF16 de precisión completa, unos 55 GB, que necesitan 64 GB o más de RAM) baja el rendimiento a unos 4 tokens por segundo, un cuello de botella de ancho de banda que lo hace más lento que la configuración de 4B solo con CPU de arriba en vez de una mejora sobre ella, así que este modelo solo merece la pena con una GPU a la que descargar trabajo.

En cuanto al coste, ejecutar Q3/Q4 en una sola tarjeta de clase RTX 3090/4090 a unos 250 W supone unos 0,37 USD por millón de tokens de salida con tarifas eléctricas residenciales típicas de EE. UU., frente a unos 3,00 USD por millón de tokens de salida en un endpoint cloud FP8 comparable con menor rendimiento. Lo confirmamos nosotros mismos en una sesión de rol con la versión abliterated, y no únicamente en el benchmark de programación/agentes en el que se midió al principio: misma velocidad por nivel, mismo coste, y usarlo como compañero en lugar de como asistente de código no cambia las cifras.

Lo local es la opción por defecto correcta para la privacidad, y es la única configuración con la que puedes seguir chateando sin conexión, con CPU o GPU. Pero no es automáticamente la mejor experiencia. Incluso un modelo local acelerado por GPU se queda por debajo de lo que puedes alquilar por token, y en conversaciones largas esa diferencia se nota en una memoria más escasa y respuestas más planas.

Elige lo local cuando la privacidad es lo importante, cuando quieres coste de funcionamiento cero o cuando quieres que funcione sin conexión. Elige una API alojada cuando quieras un modelo más grande de lo que cabe en tu propio hardware.

Qué modelos alojados permiten rol sin censura es una cuestión aparte, así que escribimos qué APIs alojadas permiten de verdad el rol sin censura para dar algunas soluciones.