Si quieres calcular la memoria que necesitas para ejecutar un modelo usa este space de HuggingFace.
El tip enlaza el space de Hugging Face derek-thomas/transformer_calculator (https://huggingface.co/spaces/derek-thomas/transformer_calculator), embebido directamente en la página vía iframe (https://derek-thomas-transformer-calculator.hf.space). Solo tienes que indicar el modelo (o sus parámetros) y la herramienta estima la memoria necesaria para ejecutarlo, sin tener que instalar nada ni hacer los cálculos a mano.
El space de derek-thomas calcula el desglose de memoria tanto para inferencia como para entrenamiento (pesos, activaciones, gradientes y estados del optimizer), por lo que puedes usarlo tanto para saber si un modelo entra en tu GPU para servirlo como para planificar cuánta VRAM necesitarás si vas a hacer fine-tuning.
Cómo está construido el agente de IA de Gymnasia: un coach conversacional BYOK con 12 herramientas locales y un subagente de visión que estima macros desde fotos, los dos ejecutándose enteros en el móvil y sin backend.
Tercera y última parte de la serie Deep Research con LangGraph. Implementa el agente Writer que redacta el informe final...
Segunda parte de la serie Deep Research con LangGraph. Construye el Research Supervisor que coordina varios agentes Rese...
Hablemos.
maximofn@gmail.com
Especialista en Machine Learning e Inteligencia Artificial. Desarrollo soluciones con IA generativa, agentes inteligentes y modelos personalizados.
Los agentes IA, impulsados por LLMs, prometen transformar aplicaciones. Pero, ¿son hoy simples ejecutores o futuros colaboradores inteligentes? Para a...
Aprende a crear un sistema de IA para ejecutar eficientemente en un dispositivo
Los espacios de Hugging Face nos permite ejecutar modelos con demos muy sencillas, pero ¿qué pasa si la demo se rompe? O si el usuario la elimina? Por ello he creado contenedores docker con algunos espacios interesantes, para poder usarlos de manera local, pase lo que pase. De hecho, es posible que si pinchas en alún botón de ver proyecto te lleve a un espacio que no funciona.
Hablemos.
maximofn@gmail.com
Especialista en Machine Learning e Inteligencia Artificial. Desarrollo soluciones con IA generativa, agentes inteligentes y modelos personalizados.
Dataset de chistes en inglés
Uso: Fine-tuning de modelos de generación de texto humorístico
Dataset con traducciones de inglés a español
Uso: Entrenamiento de modelos de traducción inglés-español
Dataset con películas y series de Netflix
Uso: Análisis de catálogo de Netflix y sistemas de recomendación
