Ver o uso de memória de um script

30 de janeiro de 2025

Ver o uso de memória de um script

Aviso: Este post foi traduzido para o português usando um modelo de tradução automática. Por favor, me avise se encontrar algum erro.

Se um script estiver consumindo muita RAM, podemos monitorizá-lo para ver o que está consumindo.

Instalação

Para poder monitorizá-lo, vamos a instalar memory_profiler. Podemos instalá-lo com Conda

conda install memory_profiler

ou com pip

pip install memory_profiler

Uso

Decorador

Podemos colocar um decorador na função que queremos monitorar.

from memory_profiler import profile
      
      @profile
      def minha_funcao():
          pass

	
		
			< >
			Input
		
		
			Python
			
		
	
	
		%%writefile memory_profiler_decorator.py
from memory_profiler import profile
@profile
def my_function():
    a = [1] * (10 ** 6)
    b = [2] * (2 * 10 ** 7)
    del b
    return a
if __name__ == '__main__':
    my_function()
	
	Copied

>_ Output

			
				Overwriting memory_profiler_decorator.py

Agora o executamos usando -m memory_profiles memory_profiler_decorator.py

	
		
			< >
			Input
		
		
			Python
			
		
	
	
		!python -m memory_profiler memory_profiler_decorator.py
	
	Copied

>_ Output

			
				Filename: memory_profiler_decorator.py
Line #    Mem usage    Increment  Occurrences   Line Contents
=============================================================
     3     49.5 MiB     49.5 MiB           1   @profile
     4                                         def my_function():
     5     57.0 MiB      7.5 MiB           1       a = [1] * (10 ** 6)
     6    209.6 MiB    152.6 MiB           1       b = [2] * (2 * 10 ** 7)
     7     57.2 MiB   -152.4 MiB           1       del b
     8     57.2 MiB      0.0 MiB           1       return a

Como vemos, obtemos o uso de memória de cada linha do script.

Uso de memória ao longo do tempo

Podemos obter um gráfico do uso de memória ao longo do tempo fazendo

mprof run memory_profiler_decorator.py
      mprof plot

	
		
			< >
			Input
		
		
			Python
			
		
	
	
		!mprof run memory_profiler_decorator.py
	
	Copied

>_ Output

			
				mprof: Sampling memory every 0.1s
running new process
running as a Python program...
Filename: memory_profiler_decorator.py
Line #    Mem usage    Increment  Occurrences   Line Contents
=============================================================
     3     49.5 MiB     49.5 MiB           1   @profile
     4                                         def my_function():
     5     57.0 MiB      7.5 MiB           1       a = [1] * (10 ** 6)
     6    209.6 MiB    152.6 MiB           1       b = [2] * (2 * 10 ** 7)
     7     57.2 MiB   -152.4 MiB           1       del b
     8     57.2 MiB      0.0 MiB           1       return a

	
		
			< >
			Input
		
		
			Python
			
		
	
	
		!mprof plot
	
	Copied

>_ Output

			
				Using last profile data.
Figure(1260x540)

Ao executá-lo, é criado este gráfico

memory_profiler plot

Perguntas frequentes

Como interpretar a coluna "Increment" na saída do memory_profiler?

Ao decorar uma função com @profile (de from memory_profiler import profile) e executá-la com python -m memory_profiler script.py, cada linha mostra "Mem usage" (memória total do processo naquele ponto) e "Increment" (a variação em relação à linha anterior). No exemplo, b = [2] * (2 * 10 ** 7) tem um Increment de 152.6 MiB (o que aquela lista ocupou) e, depois do del b, o Increment é -152.4 MiB, mostrando a memória liberada.

Como ver um gráfico do consumo de memória de um script ao longo do tempo, em vez de só linha por linha?

Em vez de (ou além de) python -m memory_profiler, use mprof run script.py seguido de mprof plot. O mprof amostra a memória a cada 0.1s ("mprof: Sampling memory every 0.1s") e gera um gráfico temporal do uso de RAM de todo o processo, útil para identificar picos que a tabela linha a linha não deixa tão claros.

Continuar lendo

Como parsear tool calls da OpenAI, Anthropic e Google

Como transformar chamadas de tools de diferentes provedores de LLMs em uma interface comum sem perder os identificadores que correlacionam cada resultado.

Como declarar tools confiáveis para OpenAI, Anthropic e Google

Guia prático para criar tools que um LLM consiga descobrir, adaptar para qualquer provedor de LLMs, executar com seguran...

Gymnasia: arquitetura de um agente de IA que roda no celular

Como o agente de IA do Gymnasia foi construído: um coach conversacional BYOK com tools locais e um estimador de refeiçõe...

Últimos posts -->

Você viu esses projetos?

Gymnasia

LangGraph Deep Researcher

Tau

Ver todos os projetos -->

>_ Disponível para projetos

Tem um projeto com IA?

Vamos conversar.

maximofn@gmail.com

Especialista em Machine Learning e Inteligência Artificial. Desenvolvo soluções com IA generativa, agentes inteligentes e modelos personalizados.

Escreva-me LinkedIn

Quer assistir alguma palestra?

Agentes do Amanhã: Descifrando os Mistérios da Planificação, UX e Memória

Agentes de IA, impulsionados por LLMs, prometem transformar aplicações. Mas eles são meros executores hoje ou futuros colaboradores inteligentes? Para...

Crie sua própria inteligência Apple

Aprenda a criar um sistema de IA para executar eficientemente em um dispositivo

Últimas palestras -->

Quer melhorar com essas dicas?

Boas práticas criando agentes com Claude Code

Palestra técnica: skills, subagentes, slash commands e MCPs no Claude Code

o1 prompt engineering

Criar prompts melhores para o1 seguindo um exemplo

DataLoader com pin_memory e num_workers

Aumentar o desempenho de DataLoader com pin_memory e num_workers

Últimos tips -->

Use isso localmente

Os espaços do Hugging Face nos permitem executar modelos com demos muito simples, mas e se a demo quebrar? Ou se o usuário a deletar? Por isso, criei contêineres docker com alguns espaços interessantes, para poder usá-los localmente, aconteça o que acontecer. Na verdade, se você clicar em qualquer botão de visualização de projeto, ele pode levá-lo a um espaço que não funciona.