Este artigo explica, com base no mecanismo, um experimento publicado no blog da Hugging Face que mostra como usar aprendizado por refor\u00e7o para deixar um modelo pequeno melhor em produzir JSON e YAML v\u00e1lidos. N\u00e3o \u00e9 uma novidade de arquitetura, \u00e9 uma receita reproduz\u00edvel. E o interessante est\u00e1 justamente a\u00ed: d\u00e1 para replicar em uma GPU gratuita.<\/p>\n
Em 3 de setembro de 2026, Leonie Monigatti, Ben Burtenshaw e Sergio Paniego publicaram no blog da Hugging Face uma receita p\u00fablica e barata para fazer um modelo pequeno melhorar em conformidade com sa\u00edda estruturada. Eles fizeram fine-tuning do LFM2.5-350M com Group Relative Policy Optimization (GRPO) usando a biblioteca TRL e avaliaram no benchmark IFStruct. A execu\u00e7\u00e3o completa usa cerca de 500 amostras e 100 passos de treino, pequena o bastante para uma GPU gratuita de Colab ou Kaggle. Os resultados relatados mostram que mesmo um fine-tuning leve move o desempenho de 22,6% para 29,7% no benchmark IFStruct.<\/p>\n
O ganho parece modesto em n\u00fameros absolutos, mas o interessante est\u00e1 em onde ele acontece e no custo para chegar l\u00e1. Vale entender o mecanismo antes de julgar o resultado.<\/p>\n
IFStruct \u00e9 uma avalia\u00e7\u00e3o de seguimento de instru\u00e7\u00e3o para tarefas de sa\u00edda estruturada. Ele testa se um modelo consegue produzir JSON ou YAML v\u00e1lido que corresponda a um schema alvo, como “Produza uma receita de muffins de mirtilo em JSON com este schema”. A pontua\u00e7\u00e3o \u00e9 bin\u00e1ria: uma resposta passa apenas se toda restri\u00e7\u00e3o estrutural pedida for satisfeita. A dificuldade \u00e9 calibrada para ser discriminativa em modelos de baixa a m\u00e9dia capacidade e saturar pr\u00f3ximo de 100% na fronteira do que os melhores modelos conseguem.<\/p>\n
Isso importa porque a maioria dos benchmarks tradicionais mistura sa\u00edda estruturada com outras coisas. Aqui, o teste isola uma pergunta \u00fatil: o modelo consegue devolver a forma pedida, com os campos certos, no formato pedido (JSON ou YAML), com contagem de itens correta, sem inventar chave extra? \u00c9 exatamente esse tipo de falha que quebra uma pipeline em produ\u00e7\u00e3o.<\/p>\n
GRPO (Group Relative Policy Optimization) \u00e9 um m\u00e9todo de aprendizado por refor\u00e7o. Foi introduzido no DeepSeekMath, um LLM refinado para racioc\u00ednio matem\u00e1tico avan\u00e7ado, e ganhou aten\u00e7\u00e3o ampla depois do DeepSeek-R1. O ponto central que interessa aqui \u00e9 como ele evita a m\u00e1quina pesada do PPO.<\/p>\n
Em PPO cl\u00e1ssico usado em RLHF, voc\u00ea precisa treinar um modelo cr\u00edtico separado que estima o valor esperado de cada resposta. Esse cr\u00edtico costuma ter o mesmo tamanho do modelo que est\u00e1 sendo treinado, o que dobra o custo. GRPO evita esse overhead estimando a fun\u00e7\u00e3o de vantagem usando ranking relativo dentro de um grupo de sa\u00eddas amostradas, em vez de depender de uma rede de valor separada.<\/p>\n
O fluxo do GRPO, passo a passo:<\/p>\n
Uma analogia r\u00e1pida: imagine um professor corrigindo oito reda\u00e7\u00f5es do mesmo aluno sobre o mesmo tema. Em vez de dar uma nota absoluta comparando com um gabarito ideal (o cr\u00edtico), ele ordena as oito entre si e diz “fa\u00e7a mais do que estas tr\u00eas de cima, menos do que estas tr\u00eas de baixo”. O sinal de treino sai da compara\u00e7\u00e3o interna do grupo. Voltando ao mecanismo: a atualiza\u00e7\u00e3o da pol\u00edtica usa uma fun\u00e7\u00e3o objetivo com clipping e uma penalidade de diverg\u00eancia KL para garantir aprendizado est\u00e1vel, o que impede que o modelo se afaste demais do ponto de partida.<\/p>\n
Por que isso combina com sa\u00edda estruturada: GRPO pode ser aplicado a qualquer tarefa verific\u00e1vel em que a corretude da resposta possa ser determinada. Em racioc\u00ednio matem\u00e1tico, a corretude pode ser verificada comparando com o gabarito. Validar se um JSON \u00e9 parse\u00e1vel, se tem os campos certos e se casa com um schema \u00e9 exatamente isso: verific\u00e1vel programaticamente, sem juiz humano.<\/p>\n
Os autores usaram o dataset O modelo \u00e9 o LFM2.5-350M da Liquid AI. Como ele tem arquitetura h\u00edbrida (aten\u00e7\u00e3o mais convolu\u00e7\u00e3o), o LoRA precisa mirar m\u00f3dulos espec\u00edficos:<\/p>\n Isso treina cerca de 6M de par\u00e2metros, aproximadamente 1,66% do modelo. \u00c9 o tipo de detalhe que vale copiar direto: se voc\u00ea trocar o modelo base, precisa conferir os nomes de m\u00f3dulo do modelo novo, n\u00e3o \u00e9 s\u00f3 reaproveitar a lista.<\/p>\n Aqui est\u00e1 o cora\u00e7\u00e3o da receita. Tr\u00eas fun\u00e7\u00f5es, cada uma no intervalo [0, 1]:<\/p>\n As tr\u00eas s\u00e3o combinadas por soma ponderada com Dois detalhes que valem aten\u00e7\u00e3o: Compara\u00e7\u00e3o no mesmo stack de servi\u00e7o (llama.cpp em BF16 GGUF), rodando as 2000 amostras do IFStruct:<\/p>\n O padr\u00e3o \u00e9 claro: onde o treino mirou, o ganho apareceu. JSON com bloco cercado subiu quase 14 pontos. Lista pura no topo (o ajuste de 20% dos prompts) subiu 13 pontos. YAML, que n\u00e3o estava nos dados de treino, ficou praticamente igual. Isso \u00e9 evid\u00eancia de que o modelo aprendeu o que o sinal de recompensa e a distribui\u00e7\u00e3o dos dados pediram, nem mais nem menos.<\/p>\n Para efeito de compara\u00e7\u00e3o de escala, o pr\u00f3prio artigo cita que isso ainda fica abaixo do Qwen3.5-2B (33,15%), mas \u00e9 um modelo de 350M chegando perto de um seis vezes maior por conta de fine-tuning espec\u00edfico de tarefa.<\/p>\n Alguns limites reais, tirados direto do experimento:<\/p>\n O post da Hugging Face \u00e9 honesto em um ponto que vale repetir: o pr\u00f3prio blog do IFStruct relata que o LFM2.5-350M, treinado com RL em uma divis\u00e3o de treino dedicada e reservada, pode superar o desempenho de modelos bem maiores como Qwen3.5-4B e granite-4.0-h-tiny. A receita p\u00fablica n\u00e3o tenta replicar aquele n\u00famero, \u00e9 uma pipeline pedag\u00f3gica menor. A partir do que est\u00e1 publicado, n\u00e3o \u00e9 poss\u00edvel dizer quanto do teto real do modelo essa configura\u00e7\u00e3o alcan\u00e7a nem quanto ganho adicional viria de mais dados ou mais passos.<\/p>\n Tamb\u00e9m n\u00e3o h\u00e1 avalia\u00e7\u00e3o publicada do modelo ajustado fora do IFStruct. Se a otimiza\u00e7\u00e3o por recompensa de forma degradou capacidades gerais (racioc\u00ednio, seguimento de outras instru\u00e7\u00f5es), a fonte n\u00e3o esclarece. \u00c9 o risco cl\u00e1ssico de RL com recompensa estreita: voc\u00ea otimiza o que mede.<\/p>\n Um caminho pequeno e concreto:<\/p>\n O ponto que fica desta receita \u00e9 menos sobre esses 7 pontos percentuais e mais sobre o m\u00e9todo: quando a tarefa \u00e9 verific\u00e1vel por c\u00f3digo, voc\u00ea n\u00e3o precisa de dataset rotulado por humano nem de cr\u00edtico separado. Uma fun\u00e7\u00e3o Python que devolve um n\u00famero entre 0 e 1 j\u00e1 \u00e9 sinal de treino suficiente. Isso muda o c\u00e1lculo de custo para melhorar modelos pequenos em tarefas espec\u00edficas.<\/p>\n","protected":false},"excerpt":{"rendered":" Passo a passo t\u00e9cnico para fine-tuning do LFM2.5-350M com GRPO e TRL, melhorando sa\u00edda estruturada de 22,6% para 29,7% no benchmark IFStruct.<\/p>\n","protected":false},"author":2,"featured_media":691,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-692","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/692","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/comments?post=692"}],"version-history":[{"count":0,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/posts\/692\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media\/691"}],"wp:attachment":[{"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/media?parent=692"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/categories?post=692"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yellowkode.com\/blog\/wp-json\/wp\/v2\/tags?post=692"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}nvidia\/Nemotron-RL-instruction_following-structured_outputs<\/code>, que pareia cada prompt com um JSON Schema alvo e uma contagem esperada de campos. Apenas 500 amostras foram usadas para o treino. Como a distribui\u00e7\u00e3o do Nemotron n\u00e3o bate exatamente com o que o IFStruct cobra, eles fizeram dois ajustes nos prompts: 40% receberam uma instru\u00e7\u00e3o anexada de “retorne a sa\u00edda dentro de um bloco de c\u00f3digo cercado”, para que o modelo aprenda a seguir a instru\u00e7\u00e3o de formato em vez de sempre emitir JSON cru. Uma fatia disjunta de 20% foi convertida em tarefas de array de n\u00edvel superior (o schema \u00e9 envolvido em um array com uma contagem de itens exigida), o que treina sa\u00edda de lista pura e conformidade de contagem de itens.<\/p>\nModelo e LoRA<\/h3>\n
lora_config = LoraConfig(\n r=16,\n lora_alpha=32,\n bias=\"none\",\n task_type=\"CAUSAL_LM\",\n target_modules=[\n \"q_proj\", \"k_proj\", \"v_proj\", \"out_proj\",\n \"in_proj\", \"w1\", \"w2\", \"w3\",\n ],\n)<\/code><\/pre>\nFun\u00e7\u00f5es de recompensa<\/h3>\n
\n
json_format_reward<\/code>: a sa\u00edda \u00e9 parse\u00e1vel e est\u00e1 na forma pedida? Cr\u00e9dito total (1.0) para a forma pedida (com ou sem bloco de c\u00f3digo cercado), 0.2 para a forma errada mas parse\u00e1vel, 0.0 para sa\u00edda n\u00e3o parse\u00e1vel.<\/li>\nfield_count_reward<\/code>: o objeto tem o n\u00famero esperado de campos de topo? Igualdade exata vale 1.0, e o score decai linearmente conforme a diferen\u00e7a aumenta.<\/li>\nschema_validation_reward<\/code>: a sa\u00edda valida contra o JSON Schema da linha? Conta cada viola\u00e7\u00e3o de restri\u00e7\u00e3o e libera cr\u00e9dito parcial s\u00f3 quando os campos obrigat\u00f3rios est\u00e3o presentes.<\/li>\n<\/ul>\nreward_weights=[1.0, 0.5, 2.0]<\/code>. A valida\u00e7\u00e3o de schema pesa mais porque \u00e9 a sa\u00edda realmente \u00fatil.<\/p>\nConfigura\u00e7\u00e3o de treino<\/h3>\n
from trl import GRPOConfig\n\ntraining_args = GRPOConfig(\n output_dir=\".\/outputs\/lfm25-350m-nemotron-schema-grpo\",\n learning_rate=5e-5,\n max_steps=100,\n warmup_steps=10,\n num_generations=8, # completions por grupo\n per_device_train_batch_size=4,\n gradient_accumulation_steps=8,\n steps_per_generation=2,\n max_completion_length=1024, # espa\u00e7o para JSON aninhado\n mask_truncated_completions=False,\n temperature=1.1, # sampling mais quente mant\u00e9m grupo variado\n beta=0.01, # penalidade KL contra o modelo de refer\u00eancia\n reward_weights=[1.0, 0.5, 2.0],\n logging_steps=1,\n save_steps=100,\n)<\/code><\/pre>\nnum_generations=8<\/code> \u00e9 o tamanho do grupo do GRPO, o m\u00ednimo pr\u00e1tico para o c\u00e1lculo de vantagem relativa ter algum sinal. E temperature=1.1<\/code> n\u00e3o \u00e9 para produ\u00e7\u00e3o, \u00e9 para o treino: sem varia\u00e7\u00e3o dentro do grupo, todas as amostras t\u00eam a mesma recompensa e o gradiente vira zero.<\/p>\nO que os resultados dizem na pr\u00e1tica<\/h2>\n
\n
Onde isso quebra<\/h2>\n
\n
O que ainda n\u00e3o d\u00e1 para afirmar<\/h2>\n
Como testar isso voc\u00ea mesmo<\/h2>\n
\n
llama-server<\/code> \u00e9 o caminho mais direto.<\/li>\nnum_generations<\/code>, ou mude o peso da schema_validation_reward<\/code>. Comparar duas rodadas com uma \u00fanica vari\u00e1vel mudada \u00e9 o que ensina.<\/li>\n<\/ol>\n