IA local

Modelos de lenguaje ejecutándose en hardware propio: motores de inferencia (llama.cpp, Ollama, vLLM), cuantización, despliegue en Kubernetes, evaluación y coste frente a las APIs en la nube.

  1. LLaMA.cpp: Compilación, cuantización y benchmarking

    Guía práctica de llama.cpp: compilación para CPU, CUDA, Metal y Vulkan, formato GGUF y cuantización, uso de llama-cli y llama-server con API compatible OpenAI, y benchmarking con llama-bench

    , 7 min de lectura

  2. LM Studio: LLMs locales con interfaz gráfica

    Guía práctica de LM Studio: instalación, descarga y gestión de modelos, configuración de context length y GPU offload, servidor local con API compatible OpenAI, y CLI lms

    , 5 min de lectura

  3. LiteLLM: gateway unificado para LLMs

    Guía de LiteLLM: una API OpenAI-compatible para 100+ proveedores, proxy server con config.yaml, claves virtuales, presupuestos, cost tracking, fallbacks, load balancing y despliegue en Docker/Kubernetes

    , 7 min de lectura

  4. Ollama: Instalación y primeros pasos

    Guía completa de Ollama: instalación, gestión de modelos locales, APIs REST, integración con Docker y casos de uso en DevOps

    , 4 min de lectura

  5. vLLM: servir LLMs a escala con alto throughput

    Guía avanzada de vLLM: PagedAttention, continuous batching, servidor OpenAI-compatible, tensor parallelism multi-GPU, cuantización AWQ/GPTQ/FP8, tuning de memoria y benchmarking

    , 12 min de lectura

  6. MeshLLM: inferencia LLM distribuida en malla P2P

    Guía de Mesh LLM: agrupa GPUs de varias máquinas en una malla P2P sobre iroh y expón un único endpoint OpenAI-compatible en localhost:9337/v1

    , 10 min de lectura

  7. Análisis de Logs y Troubleshooting con LLMs

    Uso de Large Language Models para análisis automático de logs, detección de errores y sugerencias de solución de problemas

    , 13 min de lectura

  8. Chatbots Locales con LLMs

    Construcción de chatbots conversacionales usando Ollama y LLaMA.cpp, con integración a Slack, Discord y Telegram

    , 9 min de lectura

  9. Generación de Contenido Técnico con LLMs

    Automatización de documentación, generación de posts de blog y resumen de artículos técnicos usando Large Language Models

    , 11 min de lectura

  10. Despliegue de LLMs a Escala con Kubernetes

    Guía completa para desplegar y escalar modelos de lenguaje grandes (LLMs) en entornos de producción usando Kubernetes, vLLM y estrategias de optimización avanzadas.

    , 8 min de lectura

  11. Evaluación de Coherencia en LLMs

    Evaluación de consistencia, reproducibilidad y detección de sesgos en modelos de lenguaje

    , 15 min de lectura

  12. Fine-tuning Básico de LLMs

    Introducción completa al fine-tuning de modelos de lenguaje: preparación de datos, técnicas de entrenamiento, evaluación y deployment

    , 16 min de lectura

  13. Introducción a Large Language Models (LLMs)

    Conceptos fundamentales de LLMs, arquitectura transformers, diferencias entre modelos open-source vs proprietary y aplicaciones en DevOps

    , 3 min de lectura

  14. LLMs en Kubernetes con Helm y ArgoCD

    Empaquetar un servicio de inferencia (vLLM, Ollama) como chart de Helm y desplegarlo por GitOps con ArgoCD: values, probes para modelos que tardan minutos en cargar, gestión de pesos, secretos, multi-release y escalado por cola.

    , 18 min de lectura

  15. Ecosistema de Modelos Locales

    🚧 TRADUCCIÓN PENDIENTE - Contenido en desarrollo Introducción Esta guía compara los principales frameworks para ejecutar modelos de lenguaje grandes (LLMs) localmente, enfocándonos en facilidad de uso, rendimiento y cas…

    , 1 min de lectura

  16. MCP (Model Context Protocol) y FastMCP

    Guía rápida de MCP: protocolo para compartir contexto entre clientes y servidores de modelos, y FastMCP como implementación ligera

    , 4 min de lectura

  17. Evaluación y Testing de Modelos LLM

    Guía completa para evaluar rendimiento de LLMs: benchmarks MMLU, HellaSwag, métricas BLEU/ROUGE, testing de latencia y herramientas de evaluación

    , 5 min de lectura

  18. Monitoreo y Observabilidad de LLMs

    Qué se mide realmente en un servicio de inferencia LLM: TTFT, TPOT, KV cache, throughput y coste por token, con métricas de vLLM, instrumentación de Ollama, dashboards Grafana y alertas útiles

    , 21 min de lectura

  19. LLMs open-source vs cloud: coste, latencia, privacidad y control

    Análisis práctico de cuándo usar un LLM local y cuándo una API cloud: fórmula de coste real, TTFT frente a tokens/s, requisitos legales de privacidad, versionado de modelos y una arquitectura de fallback multi-servidor implementada en este repositorio

    , 22 min de lectura

  20. Prompt Engineering Avanzado para LLMs

    Técnicas profesionales de prompt engineering: zero-shot, few-shot, chain-of-thought, y evaluación de prompts para modelos locales

    , 15 min de lectura

  21. Testing de Seguridad en LLMs

    Evaluación de vulnerabilidades en modelos de lenguaje: inyección de prompts, jailbreaking, detección de alucinaciones y medidas de protección

    , 14 min de lectura