IA local
Modelos de lenguaje ejecutándose en hardware propio: motores de inferencia (llama.cpp, Ollama, vLLM), cuantización, despliegue en Kubernetes, evaluación y coste frente a las APIs en la nube.
LLaMA.cpp: Compilación, cuantización y benchmarking
Guía práctica de llama.cpp: compilación para CPU, CUDA, Metal y Vulkan, formato GGUF y cuantización, uso de llama-cli y llama-server con API compatible OpenAI, y benchmarking con llama-bench
LM Studio: LLMs locales con interfaz gráfica
Guía práctica de LM Studio: instalación, descarga y gestión de modelos, configuración de context length y GPU offload, servidor local con API compatible OpenAI, y CLI lms
LiteLLM: gateway unificado para LLMs
Guía de LiteLLM: una API OpenAI-compatible para 100+ proveedores, proxy server con config.yaml, claves virtuales, presupuestos, cost tracking, fallbacks, load balancing y despliegue en Docker/Kubernetes
Ollama: Instalación y primeros pasos
Guía completa de Ollama: instalación, gestión de modelos locales, APIs REST, integración con Docker y casos de uso en DevOps
vLLM: servir LLMs a escala con alto throughput
Guía avanzada de vLLM: PagedAttention, continuous batching, servidor OpenAI-compatible, tensor parallelism multi-GPU, cuantización AWQ/GPTQ/FP8, tuning de memoria y benchmarking
MeshLLM: inferencia LLM distribuida en malla P2P
Guía de Mesh LLM: agrupa GPUs de varias máquinas en una malla P2P sobre iroh y expón un único endpoint OpenAI-compatible en localhost:9337/v1
Análisis de Logs y Troubleshooting con LLMs
Uso de Large Language Models para análisis automático de logs, detección de errores y sugerencias de solución de problemas
Chatbots Locales con LLMs
Construcción de chatbots conversacionales usando Ollama y LLaMA.cpp, con integración a Slack, Discord y Telegram
Generación de Contenido Técnico con LLMs
Automatización de documentación, generación de posts de blog y resumen de artículos técnicos usando Large Language Models
Despliegue de LLMs a Escala con Kubernetes
Guía completa para desplegar y escalar modelos de lenguaje grandes (LLMs) en entornos de producción usando Kubernetes, vLLM y estrategias de optimización avanzadas.
Evaluación de Coherencia en LLMs
Evaluación de consistencia, reproducibilidad y detección de sesgos en modelos de lenguaje
Fine-tuning Básico de LLMs
Introducción completa al fine-tuning de modelos de lenguaje: preparación de datos, técnicas de entrenamiento, evaluación y deployment
Introducción a Large Language Models (LLMs)
Conceptos fundamentales de LLMs, arquitectura transformers, diferencias entre modelos open-source vs proprietary y aplicaciones en DevOps
LLMs en Kubernetes con Helm y ArgoCD
Empaquetar un servicio de inferencia (vLLM, Ollama) como chart de Helm y desplegarlo por GitOps con ArgoCD: values, probes para modelos que tardan minutos en cargar, gestión de pesos, secretos, multi-release y escalado por cola.
Ecosistema de Modelos Locales
🚧 TRADUCCIÓN PENDIENTE - Contenido en desarrollo Introducción Esta guía compara los principales frameworks para ejecutar modelos de lenguaje grandes (LLMs) localmente, enfocándonos en facilidad de uso, rendimiento y cas…
MCP (Model Context Protocol) y FastMCP
Guía rápida de MCP: protocolo para compartir contexto entre clientes y servidores de modelos, y FastMCP como implementación ligera
Evaluación y Testing de Modelos LLM
Guía completa para evaluar rendimiento de LLMs: benchmarks MMLU, HellaSwag, métricas BLEU/ROUGE, testing de latencia y herramientas de evaluación
Monitoreo y Observabilidad de LLMs
Qué se mide realmente en un servicio de inferencia LLM: TTFT, TPOT, KV cache, throughput y coste por token, con métricas de vLLM, instrumentación de Ollama, dashboards Grafana y alertas útiles
LLMs open-source vs cloud: coste, latencia, privacidad y control
Análisis práctico de cuándo usar un LLM local y cuándo una API cloud: fórmula de coste real, TTFT frente a tokens/s, requisitos legales de privacidad, versionado de modelos y una arquitectura de fallback multi-servidor implementada en este repositorio
Prompt Engineering Avanzado para LLMs
Técnicas profesionales de prompt engineering: zero-shot, few-shot, chain-of-thought, y evaluación de prompts para modelos locales
Testing de Seguridad en LLMs
Evaluación de vulnerabilidades en modelos de lenguaje: inyección de prompts, jailbreaking, detección de alucinaciones y medidas de protección