{"id":849,"date":"2026-11-19T18:33:25","date_gmt":"2026-11-19T21:33:25","guid":{"rendered":"https:\/\/yellowkode.com\/blog\/por-que-o-calculo-de-flops-erra-feio-o-tempo-de-fine-tuning\/"},"modified":"2026-11-19T18:33:25","modified_gmt":"2026-11-19T21:33:25","slug":"por-que-o-calculo-de-flops-erra-feio-o-tempo-de-fine-tuning","status":"publish","type":"post","link":"https:\/\/yellowkode.com\/blog\/por-que-o-calculo-de-flops-erra-feio-o-tempo-de-fine-tuning\/","title":{"rendered":"Por que o c\u00e1lculo de FLOPs erra feio o tempo de fine-tuning (e o que entra num preditor que acerta)"},"content":{"rendered":"<p>Em 18 de novembro de 2026, o time da Dharma-AI publicou no blog da Hugging Face um preview do artigo <em>Predicting End-to-End Fine-Tuning Time for Generative Language Models<\/em>, que vai sair no arXiv. Eles pegaram 272 jobs reais de supervised fine-tuning (SFT) do pool de produ\u00e7\u00e3o em NVIDIA H200, cerca de 7.382 GPU-horas no total, e compararam estimativas anal\u00edticas contra preditores aprendidos. A conclus\u00e3o \u00e9 direta: a conta de FLOPs que quase todo mundo usa para estimar dura\u00e7\u00e3o de treinamento n\u00e3o explica o que acontece num cluster compartilhado, e um modelo treinado com features conhecidas antes do dispatch chega perto do tempo real.<\/p>\n<p>Este post \u00e9 sobre o mecanismo. O que a conta de FLOPs assume, o que ela ignora, e por que um regressor aprende a corrigir isso.<\/p>\n<h2>A conta de FLOPs que a gente usa, e o que ela est\u00e1 dizendo<\/h2>\n<p>Para um Transformer denso, a estimativa can\u00f4nica \u00e9 que treinar custa aproximadamente 6\u00b7P\u00b7D opera\u00e7\u00f5es de ponto flutuante, onde P \u00e9 o n\u00famero de par\u00e2metros e D o n\u00famero de tokens de treino. Divide isso pelo throughput que suas GPUs entregam e sai um tempo de loop de treino:<\/p>\n<pre><code>T_teorico = (6 \u00b7 P \u00b7 D) \/ (N_GPU \u00b7 FLOPS_peak \u00b7 MFU)<\/code><\/pre>\n<p>N_GPU \u00e9 a quantidade de GPUs, FLOPS_peak \u00e9 o pico da ficha t\u00e9cnica, e MFU (Model FLOPs Utilization) \u00e9 a fra\u00e7\u00e3o desse pico que o treino de fato alcan\u00e7a. A MFU tipicamente fica entre 30% e 60%, e o valor certo para um job espec\u00edfico n\u00e3o \u00e9 conhecido de antem\u00e3o (o n\u00famero depende de tr\u00e1fego de mem\u00f3ria, comunica\u00e7\u00e3o e efici\u00eancia de kernel).<\/p>\n<p>Essa f\u00f3rmula descreve bem o loop de otimiza\u00e7\u00e3o. O problema \u00e9 que um job n\u00e3o \u00e9 s\u00f3 o loop.<\/p>\n<h3>O que a conta de FLOPs n\u00e3o enxerga<\/h3>\n<p>Pense num voo comercial. O tempo entre decolagem e pouso \u00e9 s\u00f3 uma parte do tempo total porta a porta. Antes tem taxiamento, fila na pista, espera por autoriza\u00e7\u00e3o. Durante o voo tem desvio por tr\u00e1fego. Depois tem taxiamento at\u00e9 o port\u00e3o, esteira, bagagem. Se voc\u00ea s\u00f3 olha o tempo no ar, erra o hor\u00e1rio em que a pessoa chega em casa, e erra sistematicamente para menos.<\/p>\n<p>No fine-tuning acontece o mesmo. Fora do loop de treino existem etapas que consomem tempo real: setup de ambiente, download e carregamento do modelo, tokeniza\u00e7\u00e3o, avalia\u00e7\u00e3o peri\u00f3dica, upload de checkpoints e escrita do modelo final no object storage. Num cluster multi-tenant, todas essas etapas disputam rede e I\/O com outros jobs rodando ao lado.<\/p>\n<p>A analogia quebra em um ponto importante: no voo, taxiamento e esteira s\u00e3o relativamente previs\u00edveis. Num cluster compartilhado, o custo de I\/O depende de quem mais est\u00e1 consumindo rede e disco naquele momento. \u00c9 vari\u00e2ncia, n\u00e3o offset fixo.<\/p>\n<h3>O que o regressor aprende em cima disso<\/h3>\n<p>O time da Dharma trata a dura\u00e7\u00e3o ponta a ponta como um problema de regress\u00e3o supervisionada. A entrada \u00e9 um vetor de features constru\u00eddo a partir da configura\u00e7\u00e3o submetida do job (hiperpar\u00e2metros, tamanho do dataset, identificador do modelo, aloca\u00e7\u00e3o de GPU) e metadados. Nada de log em tempo real, nada de progresso parcial. Isso \u00e9 o que permite usar a predi\u00e7\u00e3o para escalonamento: tudo \u00e9 conhecido antes do job entrar na GPU.<\/p>\n<p>Em cima da configura\u00e7\u00e3o crua, derivam features que exp\u00f5em o overhead: <code>num_eval_data<\/code> (amostras processadas somando todos os ciclos de avalia\u00e7\u00e3o), <code>num_saves<\/code> e <code>num_params_saved<\/code> (I\/O de checkpoint), volume de tokens por GPU. A pr\u00f3pria estimativa de FLOPs, com MFU fixada em 0,45, entra como uma feature chamada <code>baseline_time<\/code>, para o modelo partir do n\u00famero compute-only e aprender as corre\u00e7\u00f5es.<\/p>\n<p>Compararam Linear Regression, Ridge, XGBoost e CatBoost. Sele\u00e7\u00e3o de feature combinou filtro por correla\u00e7\u00e3o, informa\u00e7\u00e3o m\u00fatua e permutation importance ao longo de 18 conjuntos candidatos, seguida de grid search com MAE como crit\u00e9rio. O modelo final de CatBoost usa 24 features.<\/p>\n<h2>Os n\u00fameros, e por que a diferen\u00e7a \u00e9 t\u00e3o grande<\/h2>\n<p>Todos os resultados v\u00eam de valida\u00e7\u00e3o cruzada estratificada em 5 folds. Resumo:<\/p>\n<ul>\n<li>FLOP baseline, MFU 30%: R\u00b2 = 0,31, MAE 12,41 h<\/li>\n<li>FLOP baseline, MFU 45%: R\u00b2 = 0,18, MAE 13,01 h<\/li>\n<li>FLOP baseline, MFU 60%: R\u00b2 = 0,01, MAE 14,62 h<\/li>\n<li>Calculon (modelo anal\u00edtico de Isaev et al., SC&#8217;23): R\u00b2 = -0,51, MAE 20,36 h<\/li>\n<li>Ridge: R\u00b2 = 0,73, MAE 7,23 h<\/li>\n<li>XGBoost: R\u00b2 = 0,97, MAE 1,95 h<\/li>\n<li>CatBoost: R\u00b2 = 0,98, MAE 1,71 h<\/li>\n<\/ul>\n<p>Tr\u00eas coisas importam aqui.<\/p>\n<p><strong>N\u00e3o existe uma MFU m\u00e1gica que conserta a baseline.<\/strong> Eles varreram MFU de 0,25 a 0,65. O melhor ajuste, 30%, deixa um erro m\u00e9dio acima de 12 horas em jobs que duram 23 horas em m\u00e9dia. \u00c9 um erro da mesma ordem de grandeza do que voc\u00ea est\u00e1 tentando medir.<\/p>\n<p><strong>Um modelo anal\u00edtico mais detalhado tamb\u00e9m n\u00e3o resolve.<\/strong> Calculon \u00e9 um modelo anal\u00edtico parametrizado de performance para treino de LLMs baseados em Transformer, implementado em Python, originalmente desenhado para explorar co-design de hardware e software. Recebe tr\u00eas especifica\u00e7\u00f5es (arquitetura do LLM, estrat\u00e9gia de execu\u00e7\u00e3o com paralelismo e otimiza\u00e7\u00f5es, e descri\u00e7\u00e3o do sistema de hardware) e produz predi\u00e7\u00e3o de tempo e utiliza\u00e7\u00e3o de recursos, em formato similar ao de um profiler. A equipe estendeu a implementa\u00e7\u00e3o p\u00fablica para cobrir LoRA, grouped-query attention, attention fundida, bfloat16 e SwiGLU. As estimativas ainda correspondem a uma mediana de apenas 11% do tempo de wall-clock observado. Isso n\u00e3o \u00e9 cr\u00edtica ao Calculon, que foi feito para modelar o passo de otimiza\u00e7\u00e3o, n\u00e3o o job inteiro. \u00c9 o tamanho do que acontece fora do passo de otimiza\u00e7\u00e3o numa produ\u00e7\u00e3o real.<\/p>\n<p><strong>O ganho principal vem de gradient boosting.<\/strong> Modelos lineares com as mesmas features chegam a MAE 7,23 h. CatBoost e XGBoost caem para a casa de 1,7 a 2 h. A rela\u00e7\u00e3o entre configura\u00e7\u00e3o e dura\u00e7\u00e3o tem intera\u00e7\u00f5es n\u00e3o lineares que um modelo linear n\u00e3o captura.<\/p>\n<h3>No que o modelo se apoia<\/h3>\n<p>A import\u00e2ncia de feature do CatBoost se concentra em poucas vari\u00e1veis. Primeiro vem <code>num_eval_data<\/code>, o total de amostras processadas em avalia\u00e7\u00e3o ao longo da vida do job. Depois <code>num_trainable_params<\/code>, <code>batch_eval_size_percent<\/code>, <code>num_all_params<\/code> e a intera\u00e7\u00e3o <code>num_gpus*batch_train_percent<\/code>, com <code>num_params_saved<\/code> logo atr\u00e1s. A frequ\u00eancia com que voc\u00ea avalia, o tamanho do conjunto de avalia\u00e7\u00e3o e quantos checkpoints voc\u00ea persiste, tudo isso d\u00e1 forma ao tempo de wall-clock, ao lado de escala de modelo e dataset.<\/p>\n<p>Uma ressalva importante de leitura: aloca\u00e7\u00f5es maiores de GPU aparecem com contribui\u00e7\u00f5es positivas ao tempo previsto, mas no dataset deles jobs maiores tendem a rodar em mais GPUs. <code>num_gpus<\/code> funciona parcialmente como proxy de escala do job. N\u00e3o significa que adicionar GPU deixa um mesmo job mais lento.<\/p>\n<h2>O que isso significa na pr\u00e1tica<\/h2>\n<p>Se voc\u00ea escalona treinos, a utilidade \u00e9 direta: antes do job sair da fila, o scheduler j\u00e1 tem uma dura\u00e7\u00e3o estimada com erro mediano de meia hora em jobs curtos e cerca de uma hora em jobs m\u00e9dios, e consegue decidir quais rodam juntos, quando as GPUs v\u00e3o liberar, se um run cabe antes do deadline.<\/p>\n<p>Se voc\u00ea s\u00f3 treina modelo esporadicamente, o aprendizado \u00e9 outro: a configura\u00e7\u00e3o de avalia\u00e7\u00e3o e checkpoint \u00e9 um dos maiores determinantes da dura\u00e7\u00e3o, e voc\u00ea est\u00e1 mexendo nisso no autom\u00e1tico. Avaliar a cada 100 passos com um split grande, salvar checkpoint toda \u00e9poca, subir pesos completos para storage, cada uma dessas decis\u00f5es custa horas. O default do Trainer do Hugging Face n\u00e3o est\u00e1 tentando economizar seu tempo, est\u00e1 s\u00f3 rodando o que voc\u00ea pediu.<\/p>\n<p>Um check pr\u00e1tico antes do pr\u00f3ximo job:<\/p>\n<pre><code># quanto tempo a avaliacao vai consumir ao longo do run?\nnum_eval_data = eval_samples * (total_steps \/\/ eval_steps)\n\n# quantas vezes voce vai escrever pesos no storage?\nnum_saves = total_steps \/\/ save_steps\n\n# tamanho do que vai para o storage por save\n# full fine-tuning: num_all_params; LoRA: so o adapter\n<\/code><\/pre>\n<p>Se <code>num_eval_data<\/code> est\u00e1 na mesma ordem do seu volume de treino, sua avalia\u00e7\u00e3o est\u00e1 pesando tanto quanto o treino. Pode ser intencional, pode n\u00e3o ser.<\/p>\n<p>Aqui eu puxo uma experi\u00eancia que conecta com o primeiro item da lista de features. J\u00e1 trabalhei analisando texto aberto de avalia\u00e7\u00e3o de cliente para decidir feature, usando NLP antes da onda atual de LLM. O padr\u00e3o que aprendi l\u00e1 vale para qualquer agregado: a m\u00e9trica agregada esconde o caso extremo, que costuma ser o que importa. No preditor da Dharma, os jobs acima de 60 horas pesam pouco na MAE m\u00e9dia, mas s\u00e3o justamente onde o erro explode. M\u00e9dia baixa n\u00e3o \u00e9 promessa de que o seu pr\u00f3ximo job vai estar perto da m\u00e9dia.<\/p>\n<h2>Onde o preditor quebra<\/h2>\n<p>A honestidade da equipe sobre os limites \u00e9 o que faz o trabalho ser \u00fatil, ent\u00e3o vale listar.<\/p>\n<p><strong>Cauda longa de dura\u00e7\u00e3o.<\/strong> Os erros ficam baixos at\u00e9 60 horas e abrem bastante acima disso. Para jobs entre 60 e 175 horas, o erro absoluto mediano salta para 5,19 h e o P90 vai a 18,51 h. S\u00e3o 13 runs nessa faixa, contra 192 nos intervalos abaixo de 30 horas. \u00c9 escassez de dados, e eles mesmos dizem que mais dados ainda est\u00e3o ajudando (MAE em holdout cai de 1,63 h para 1,50 h quando o particionamento de treino vai de 85% para 100%, sem patamar claro).<\/p>\n<p><strong>S\u00f3 SFT.<\/strong> N\u00e3o cobre RLHF, DPO, RLVR ou outras estrat\u00e9gias de alinhamento. A estrutura temporal de um loop de DPO \u00e9 diferente, com gera\u00e7\u00e3o de pares, e nada garante que as mesmas features capturem bem a dura\u00e7\u00e3o.<\/p>\n<p><strong>Um tipo de GPU.<\/strong> Tudo rodou em H200. O modelo est\u00e1 calibrado para essa infraestrutura, e os autores dizem que n\u00e3o deve transferir numericamente para outras gera\u00e7\u00f5es sem retreino. Para um pool misto, o modelo precisaria de descritores de hardware (throughput, capacidade e banda de mem\u00f3ria, topologia de interconex\u00e3o) como entrada.<\/p>\n<p><strong>Interpreta\u00e7\u00e3o causal.<\/strong> Import\u00e2ncia de feature em CatBoost n\u00e3o \u00e9 afirma\u00e7\u00e3o causal. Mostra sobre o que o modelo apoia a predi\u00e7\u00e3o, n\u00e3o que mexer naquela vari\u00e1vel vai mudar o tempo na dire\u00e7\u00e3o prevista.<\/p>\n<p>Um coment\u00e1rio meu sobre custo de ado\u00e7\u00e3o, vindo de outra arena. J\u00e1 publiquei design system e style guide de interface completos, e a conta que fiz na \u00e9poca vale aqui tamb\u00e9m: investimento desse tipo s\u00f3 se paga quando tem mais de um time consumindo. Um preditor desses, com pipeline de features, log de execu\u00e7\u00e3o, retraining peri\u00f3dico, \u00e9 infraestrutura. Se voc\u00ea tem um time rodando dez fine-tunings por m\u00eas, provavelmente n\u00e3o compensa construir. Se voc\u00ea opera um cluster compartilhado com dezenas de jobs di\u00e1rios e GPU ocioso custa caro, a conta muda.<\/p>\n<h2>O que ainda n\u00e3o d\u00e1 para afirmar<\/h2>\n<p>O artigo completo ainda n\u00e3o saiu no arXiv. As f\u00f3rmulas exatas das features derivadas, o procedimento de sele\u00e7\u00e3o completo, os espa\u00e7os de busca de hiperpar\u00e2metros e o CatBoost final v\u00e3o estar l\u00e1, segundo a equipe, mas ainda n\u00e3o pude ler. Qualquer afirma\u00e7\u00e3o sobre reprodutibilidade fina depende dessa publica\u00e7\u00e3o.<\/p>\n<p>Tamb\u00e9m n\u00e3o d\u00e1 para dizer que o m\u00e9todo transfere para outros stacks sem teste. O trabalho usou Transformers da Hugging Face e Unsloth, modelados como feature categ\u00f3rica. Para TRL com configura\u00e7\u00e3o de DPO, para Axolotl, para Megatron, voc\u00ea precisaria repetir o pipeline em cima dos pr\u00f3prios logs.<\/p>\n<p>E n\u00e3o d\u00e1 para extrapolar ganho de scheduling a partir do erro de predi\u00e7\u00e3o. MAE menor n\u00e3o vira automaticamente utiliza\u00e7\u00e3o maior de GPU. O ganho real depende de quanto o scheduler consegue compactar a fila com a informa\u00e7\u00e3o melhor, e isso \u00e9 um experimento separado.<\/p>\n<h2>Como testar isso voc\u00ea mesmo<\/h2>\n<p>Um caminho pequeno, se voc\u00ea tem hist\u00f3rico de jobs de fine-tuning num lugar s\u00f3 (MLflow, Weights &#038; Biases, um CSV):<\/p>\n<ol>\n<li>Para cada job, extraia da config submetida: n\u00famero de par\u00e2metros do modelo, par\u00e2metros trein\u00e1veis (full vs LoRA), tokens de treino, tokens por GPU, n\u00famero de GPUs, <code>eval_steps<\/code>, tamanho do eval set, <code>save_steps<\/code>, tamanho do que \u00e9 salvo.<\/li>\n<li>Derive <code>num_eval_data<\/code> e <code>num_saves<\/code> como no bloco de c\u00f3digo acima.<\/li>\n<li>Calcule <code>baseline_time<\/code> com a f\u00f3rmula de 6\u00b7P\u00b7D e MFU 0,45. Inclua como feature.<\/li>\n<li>Y \u00e9 a dura\u00e7\u00e3o wall-clock entre o momento em que o job pegou GPU e o fim. Exclua tempo de fila.<\/li>\n<li>Rode um Ridge e um CatBoost com 5-fold CV. Compare MAE contra a sua baseline atual, que provavelmente \u00e9 FLOPs ou um chute de engenheiro.<\/li>\n<\/ol>\n<p>Se o seu dataset \u00e9 pequeno (digamos, menos de cem jobs), n\u00e3o espere R\u00b2 alto. O exerc\u00edcio \u00fatil \u00e9 ver quais features aparecem no topo da import\u00e2ncia. Se for <code>num_eval_data<\/code> e pol\u00edtica de checkpoint, voc\u00ea acabou de descobrir onde est\u00e1 perdendo tempo de GPU.<\/p>\n<h3>Leitura de base<\/h3>\n<ul>\n<li>Dharma-AI, <em>Why your fine-tuning job takes longer than the FLOPs say<\/em>, blog Hugging Face, 18 nov 2026.<\/li>\n<li>Isaev, McDonald, Dennison, Vuduc. <em>Calculon: a Methodology and Tool for High-Level Codesign of Systems and Large Language Models<\/em>, SC&#8217;23. Implementa\u00e7\u00e3o em github.com\/calculon-ai\/calculon.<\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"<p>Como o c\u00e1lculo de FLOPs subestima o tempo real de fine-tuning em cluster compartilhado, e quais features fazem um preditor pr\u00e9-dispatch acertar.<\/p>\n","protected":false},"author":2,"featured_media":848,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-849","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/849","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/comments?post=849"}],"version-history":[{"count":0,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/849\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media\/848"}],"wp:attachment":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media?parent=849"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/categories?post=849"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/tags?post=849"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}