Si quieres calcular la memoria que necesitas para ejecutar un modelo usa este space de HuggingFace.
El tip enlaza el space de Hugging Face derek-thomas/transformer_calculator (https://huggingface.co/spaces/derek-thomas/transformer_calculator), embebido directamente en la página vía iframe (https://derek-thomas-transformer-calculator.hf.space). Solo tienes que indicar el modelo (o sus parámetros) y la herramienta estima la memoria necesaria para ejecutarlo, sin tener que instalar nada ni hacer los cálculos a mano.
El space de derek-thomas calcula el desglose de memoria tanto para inferencia como para entrenamiento (pesos, activaciones, gradientes y estados del optimizer), por lo que puedes usarlo tanto para saber si un modelo entra en tu GPU para servirlo como para planificar cuánta VRAM necesitarás si vas a hacer fine-tuning.
Explico la compresión de contexto autónoma de LangChain: una herramienta de Deep Agents con la que el propio agente decide cuándo resumir su memoria.
Explico «The Harness Is The Product», de nyk: por qué el arnés que envuelve al modelo decide si un agente de IA funciona...
Cómo probé Qwen Image 2.1 en dos RTX 3090, creé un Studio Gradio privado con Tailscale y lo adapté a Hugging Face ZeroGP...
Hablemos.
maximofn@gmail.com
Especialista en Machine Learning e Inteligencia Artificial. Desarrollo soluciones con IA generativa, agentes inteligentes y modelos personalizados.
Presentación interactiva en 3D sobre el agente de Gymnasia: dónde viven los datos, del plato al dato, tools, duplicados, límites de salud y cómo proba...
Charla técnica: skills, subagentes, slash commands y MCPs en Claude Code
Los espacios de Hugging Face nos permite ejecutar modelos con demos muy sencillas, pero ¿qué pasa si la demo se rompe? O si el usuario la elimina? Por ello he creado contenedores docker con algunos espacios interesantes, para poder usarlos de manera local, pase lo que pase. De hecho, es posible que si pinchas en alún botón de ver proyecto te lleve a un espacio que no funciona.
Hablemos.
maximofn@gmail.com
Especialista en Machine Learning e Inteligencia Artificial. Desarrollo soluciones con IA generativa, agentes inteligentes y modelos personalizados.
Dataset de chistes en inglés
Uso: Fine-tuning de modelos de generación de texto humorístico
Dataset con traducciones de inglés a español
Uso: Entrenamiento de modelos de traducción inglés-español
Dataset con películas y series de Netflix
Uso: Análisis de catálogo de Netflix y sistemas de recomendación
