Si quieres calcular la memoria que necesitas para ejecutar un modelo usa este space de HuggingFace.
El tip enlaza el space de Hugging Face derek-thomas/transformer_calculator (https://huggingface.co/spaces/derek-thomas/transformer_calculator), embebido directamente en la página vía iframe (https://derek-thomas-transformer-calculator.hf.space). Solo tienes que indicar el modelo (o sus parámetros) y la herramienta estima la memoria necesaria para ejecutarlo, sin tener que instalar nada ni hacer los cálculos a mano.
El space de derek-thomas calcula el desglose de memoria tanto para inferencia como para entrenamiento (pesos, activaciones, gradientes y estados del optimizer), por lo que puedes usarlo tanto para saber si un modelo entra en tu GPU para servirlo como para planificar cuánta VRAM necesitarás si vas a hacer fine-tuning.
Guía práctica para diseñar tools que un LLM pueda descubrir, adaptar a cualquier proveedor de LLMs, ejecutar con seguridad y proteger con tests.
Cómo está construido el agente de IA de Gymnasia: un coach conversacional BYOK con tools locales y un estimador de comid...
Tercera y última parte de la serie Deep Research con LangGraph. Implementa el agente Writer que redacta el informe final...
Hablemos.
maximofn@gmail.com
Especialista en Machine Learning e Inteligencia Artificial. Desarrollo soluciones con IA generativa, agentes inteligentes y modelos personalizados.
Los agentes IA, impulsados por LLMs, prometen transformar aplicaciones. Pero, ¿son hoy simples ejecutores o futuros colaboradores inteligentes? Para a...
Aprende a crear un sistema de IA para ejecutar eficientemente en un dispositivo
Los espacios de Hugging Face nos permite ejecutar modelos con demos muy sencillas, pero ¿qué pasa si la demo se rompe? O si el usuario la elimina? Por ello he creado contenedores docker con algunos espacios interesantes, para poder usarlos de manera local, pase lo que pase. De hecho, es posible que si pinchas en alún botón de ver proyecto te lleve a un espacio que no funciona.
Hablemos.
maximofn@gmail.com
Especialista en Machine Learning e Inteligencia Artificial. Desarrollo soluciones con IA generativa, agentes inteligentes y modelos personalizados.
Dataset de chistes en inglés
Uso: Fine-tuning de modelos de generación de texto humorístico
Dataset con traducciones de inglés a español
Uso: Entrenamiento de modelos de traducción inglés-español
Dataset con películas y series de Netflix
Uso: Análisis de catálogo de Netflix y sistemas de recomendación
