Análise do UGI Leaderboard em 2026: como o benchmark Uncensored General Intelligence classifica LLMs

Atualizado em 2026 — “UGI” significa Uncensored General Intelligence, e o próprio criador do ranking mantém as perguntas exatas dos testes em sigilo para impedir que modelos sejam treinados para obter uma pontuação artificialmente alta. Essa escolha ajuda a explicar tanto a utilidade do ranking quanto por que seus números não devem ser tratados como verdade absoluta.

Se você pesquisou “UGI leaderboard”, provavelmente quer descobrir quais modelos de linguagem de grande porte recusam menos solicitações — ou encontrou o nome e quer entender o que ele mede antes de tirar conclusões. Esta análise explica o que é o UGI Leaderboard, como funciona sua pontuação, o que uma nota alta indica ou deixa de indicar sobre um modelo e onde há lacunas reais na metodologia.

Em resumo: o UGI é um Hugging Face Space mantido por um voluntário chamado DontPlanToEnd. Ele avalia LLMs abertos e fechados conforme sua disposição para abordar temas sensíveis, controversos ou que costumam gerar recusas. A avaliação inclui uma checagem de conhecimentos gerais para verificar se “disposição para responder” não significa apenas “disposição para alucinar”. É um indicador específico, mas útil para pesquisadores de IA, estudos de alinhamento e quem tenta entender por que dois modelos com resultados semelhantes em benchmarks se comportam de forma tão diferente na prática.

---

O que é o UGI Leaderboard

O UGI Leaderboard está em huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard, onde acumulou bem mais de dois mil likes e centenas de discussões da comunidade com pedidos de avaliação de novos modelos. Não há um laboratório ou uma empresa por trás dele: é um projeto de um único mantenedor, que funciona como a maioria dos rankings comunitários no Hugging Face. Você envia um modelo, espera que ele entre na fila e seja avaliado e vê se ele aparece no ranking.

“Sem censura” tem um significado específico aqui. O ranking não mede se um modelo ajudaria alguém a fazer algo ilegal ou perigoso, como faria um benchmark de segurança com testes adversariais. Ele mede a taxa de recusa em temas limítrofes, mas legais: perguntas que um assistente com alinhamento de segurança rigoroso evita com um “não posso ajudar com isso”, mesmo quando o pedido é legítimo para pesquisa, escrita de ficção ou outra finalidade legal, ainda que controversa. O objetivo declarado do ranking é separar duas questões frequentemente confundidas: o modelo sabe a resposta? e o modelo dará a resposta?

Essa distinção importa mais do que parece. Muitos modelos de ponta “sabem” um fato, mas se recusam a afirmá-lo por causa de uma camada de segurança excessivamente cautelosa. O UGI tenta quantificar a frequência com que isso acontece em cada modelo.

---

Como funciona a pontuação

A avaliação do UGI tem mais componentes do que um ranking baseado em um único número. Ler apenas a pontuação principal pode levar a conclusões erradas. Com base nas colunas de dados publicadas pelo ranking, estes são os componentes da classificação:

Pontuação UGI (0–100) — uma pontuação composta que abrange disposição para responder e conhecimento em três grupos de temas: Danger (informações perigosas ou restritas), Entertainment (conteúdo criativo NSFW ou próximo de temas adultos) e SocPol (temas sociopolíticos sobre os quais muitos modelos são treinados para responder com ressalvas). É o número mais citado e o menos informativo quando visto isoladamente.

Willingness (W/10) — uma pontuação separada, de 0–10, que mede a frequência com que o modelo tenta responder em vez de recusar ou desviar da pergunta, independentemente da qualidade da resposta. Um modelo pode ter Willingness alta e ainda dar uma resposta mediana ou evasiva que, tecnicamente, não é uma recusa.

NatInt (Natural Intelligence) — uma checagem de conhecimentos gerais dividida nas subpontuações Textbook, Pop Culture e World Model. Ela busca identificar modelos que elevam sua pontuação UGI respondendo com confiança, mas incorretamente, em vez de recusar. Um modelo com Willingness alta e NatInt baixa aceita responder a tudo, mas muitas vezes não sabe do que está falando.

Political Lean — uma avaliação em cerca de uma dúzia de eixos ideológicos (Federal–Unitary, Democratic–Autocratic, Nationalism–Internationalism, Progressive–Traditional e pares semelhantes). Ela pontua o posicionamento das respostas espontâneas do modelo a perguntas com enquadramentos politicamente sensíveis. É uma das seções mais úteis para pesquisadores que estudam vieses em modelos, independentemente da proposta de avaliar modelos “sem censura”.

Writing — uma pontuação da variedade de estilos, que vai da prosa segura e formal à escrita criativa explícita, acompanhada de métricas complementares de nível de leitura e originalidade.

O mantenedor mantém os prompts exatos dos testes em sigilo e declara isso expressamente. O motivo apresentado é impedir que fornecedores treinem seus modelos para o benchmark depois que ele se tornar público. É uma escolha defensável para preservar a integridade da avaliação, mas tem um custo real: ninguém de fora do projeto pode auditar de forma independente as perguntas feitas. Assim, é preciso confiar no julgamento de um único mantenedor anônimo sobre o que constitui um conjunto de testes justo e representativo.

---

Situação do ranking (retrato do início de 2026)

As posições mudam sempre que um novo modelo é avaliado. Portanto, trate qualquer classificação específica como um retrato de determinado momento, não como um fato permanente. Consulte o ranking atualizado antes de citar um número. No retrato mais recente amplamente divulgado:

Vale mais observar os padrões do que os números exatos, que talvez já estejam desatualizados quando você ler isto: modelos de pesos abertos lançados sem ajustes pesados de segurança por RLHF aparecem com frequência perto do topo; modelos proprietários tendem a ficar mais abaixo, com exceções ocasionais como o Grok; e o modelo com a maior pontuação UGI geralmente não é o mesmo que lidera em Willingness. É justamente o tipo de nuance que um único número em destaque esconde.

---

Acesso e como usar

Não há planos de preço a comparar: o ranking inteiro é gratuito, e isso faz parte da proposta. Basta abrir o Hugging Face Space e ordenar a tabela pela coluna que interessa a você — UGI, Willingness, NatInt ou qualquer eixo individual de Political Lean. A tabela completa está disponível sem login, chave de API ou limite de acesso para consulta.

Dois detalhes práticos são úteis se você quiser ir além da leitura da tabela:

• Exportação dos dados brutos. Os resultados podem ser baixados em CSV diretamente do Space. Essa é a melhor opção para reordenar, filtrar ou criar gráficos por conta própria, em vez de depender da visualização padrão da tabela do Gradio.
• Envio de modelos. Se você mantém um modelo ajustado e quer avaliá-lo, os pedidos são feitos pela interface de solicitação do Space e entram em uma fila. O prazo depende inteiramente do tempo e dos recursos computacionais disponíveis ao mantenedor, já que é um projeto individual, sem uma equipe financiada de benchmark. Não espere uma avaliação no mesmo dia, como poderia ocorrer em um ranking acadêmico com mais recursos.

Há ainda uma ressalva sobre o acesso: como a pontuação usa um conjunto privado de testes, você não consegue reproduzir a nota de um modelo por conta própria, mesmo que tenha acesso à API dele. Você está lendo o número informado pelo mantenedor, não um resultado que possa gerar de forma independente. É mais um motivo para usá-lo como indicação, sem tratá-lo como definitivo.

---

O que uma pontuação UGI alta não significa

Convém dizer isso claramente, pois é a interpretação equivocada mais comum do ranking: uma pontuação UGI alta não é prova de que um modelo ajuda em atividades de fato nocivas, ilegais ou perigosas. A documentação do próprio ranking e a cobertura de terceiros são consistentes nesse ponto: a pontuação reflete “uma tendência a discutir e explicar em vez de rejeitar”, não uma tendência a produzir conteúdo perigoso. As proteções contra pedidos claramente nocivos formam uma categoria diferente e muito mais restrita do que os temas limítrofes de escrita criativa, história, medicina e política que explicam boa parte da variação das pontuações aqui.

Se você avalia modelos para um uso em que recusas excessivas têm um custo real — escrita de ficção para adultos, síntese de informações médicas ou jurídicas, análise histórica de acontecimentos violentos ou pesquisa acadêmica sobre extremismo — o UGI oferece um sinal útil. Se você procura um atalho para contornar o treinamento de segurança de um modelo com fins nocivos, este ranking não ajudará: esse não é o comportamento que ele foi criado para medir.

---

Pontos fortes

• Cobre uma lacuna real. Benchmarks tradicionais (MMLU, HumanEval, MT-Bench) não medem comportamentos de recusa. O UGI é um dos poucos indicadores públicos e continuamente atualizados sobre esse aspecto específico.
• Separa conhecimento de disposição para responder. A divisão entre NatInt e UGI é mais criteriosa do que uma única pontuação combinada: ela impede que um modelo “vença” apenas por responder a tudo com confiança.
• A seção Political Lean tem valor próprio. Mesmo quem não se interessa pela ideia de modelos “sem censura” encontra uma comparação de vieses ideológicos entre modelos que é difícil de achar em outros lugares.
• Manutenção ativa. Novos modelos são colocados na fila e avaliados regularmente, e o volume de discussões abertas na comunidade sugere uso contínuo, não um projeto abandonado.
• Gratuito e público. Sem conta e sem acesso pago: qualquer pessoa pode baixar os dados brutos em CSV diretamente do Hugging Face Space para fazer sua própria análise.

Pontos fracos

• A metodologia sigilosa tem vantagens e custos. Manter os prompts dos testes privados dificulta a manipulação do benchmark, mas também impede a verificação independente de que as perguntas sejam representativas, equilibradas ou livres dos pontos cegos do mantenedor.
• Projeto de um único mantenedor. Não há conselho editorial, verificação publicada da concordância entre avaliadores nem apoio institucional. Compare isso com as origens acadêmicas do LMArena ou a estrutura colaborativa do MTEB.
• Foco no inglês. Com base na documentação disponível, a cobertura do comportamento de recusa e do conhecimento em outros idiomas é pequena ou inexistente.
• Risco de interpretação pelo nome. “Uncensored” é um termo carregado, e o nome do ranking pode atrair o público errado pelos motivos errados. Vale ter isso em mente antes de citá-lo em um contexto profissional, embora o conteúdo real esteja mais próximo de um “benchmark de taxa de recusa” do que o nome sugere.
• Não foi criado para compras corporativas. Se você está escolhendo um modelo para um produto voltado a clientes, o ranking responde à pergunta errada. O que interessa é reduzir recusas desnecessárias e ter um comportamento de segurança controlável, não apenas maximizar a disposição para responder.

---

Comparação com outros rankings de LLMs

Esses rankings não concorrem diretamente entre si: medem aspectos diferentes, e um mesmo modelo pode ocupar posições muito distintas nos quatro. A conclusão prática é que nenhum ranking isolado, incluindo o UGI, deve ser a única referência para escolher um modelo.

---

Para quem este ranking é útil

Indicado para: pesquisadores de IA que estudam alinhamento e comportamento de recusa; desenvolvedores de ferramentas nas quais recusas excessivamente cautelosas prejudicam o uso, como ficção longa, ferramentas criativas com temas adultos e assistentes de pesquisa acadêmica; pessoas interessadas no enquadramento político espontâneo de um modelo; e mantenedores de modelos de código aberto que comparam seus próprios modelos ajustados com os demais.

Pouco indicado para: equipes corporativas que escolhem um modelo para atendimento ao cliente ou um produto de consumo, pois precisam de segurança configurável, não de disposição máxima para responder; quem interpreta uma pontuação UGI alta como permissão para contornar as políticas de uso de um fornecedor, pois ela é uma observação de terceiros, não uma autorização; e quem procura uma classificação definitiva do “melhor modelo”. Esse não é o objetivo deste ranking nem de qualquer ranking isolado.

---

Como interpretar a pontuação com cuidado

1. Não cite apenas a pontuação UGI. Consulte também Willingness e NatInt para entender se o modelo tem capacidade além da disposição para responder.
2. Confira a data do retrato. As posições mudam rapidamente à medida que novos modelos ajustados e lançamentos de ponta são enviados. Uma captura de tela de três meses atrás já tem pouca utilidade.
3. Compare com um benchmark de capacidade. Se um modelo lidera o UGI, mas fica no fim do Open LLM Leaderboard ou da Arena, ele pode aceitar responder a tudo sem se destacar pela qualidade das respostas.
4. Lembre-se de que o conjunto de testes é de um único mantenedor. Trate-o como qualquer benchmark de fonte única: um dado útil, não um veredito.

---

Conclusão

O UGI Leaderboard cobre um aspecto que os grandes benchmarks não avaliam: quantifica a frequência com que modelos se recusam a atender pedidos legítimos, porém sensíveis, e distingue isso do conhecimento necessário para respondê-los. Por isso, serve como referência para pesquisadores e desenvolvedores que trabalham com alinhamento, calibragem da moderação de conteúdo ou ferramentas criativas afetadas por recusas desnecessárias.

Ele não deve ser tratado como um ranking de capacidade, um guia para contornar medidas de segurança ou uma classificação definitiva dos “melhores” modelos. A metodologia sigilosa, a manutenção por uma única pessoa e a forma como o ranking é apresentado recomendam usá-lo como uma fonte entre várias. Antes de concluir algo sobre um modelo específico, compare seus resultados com dados de preferência da Arena e benchmarks tradicionais de capacidade.

Esta análise reflete dados do ranking divulgados publicamente até o início de 2026. As posições mudam com frequência; consulte o UGI Leaderboard atualizado para ver a classificação atual.