UGI Leaderboard 리뷰 2026: 검열 제한이 적은 LLM은 어떻게 평가될까요?

2026년 업데이트 — ‘UGI’는 Uncensored General Intelligence의 약자입니다. 모델이 시험 문제에 맞춰 학습하는 일을 막기 위해 운영자는 정확한 평가 질문을 공개하지 않습니다. 이 설계 덕분에 순위표가 유용하지만, 동시에 점수를 절대적인 기준으로 받아들이기 어렵습니다.

‘UGI leaderboard’를 검색했다면 어떤 대규모 언어 모델이 요청을 가장 적게 거절하는지 궁금했을 수 있습니다. 또는 순위표의 이름을 보고 결론을 내리기 전에 실제 평가 대상을 알고 싶었을 수도 있습니다. 이 리뷰에서는 UGI Leaderboard가 무엇인지, 점수를 어떻게 매기는지, 높은 점수가 모델에 관해 무엇을 의미하는지, 평가 방법에는 어떤 한계가 있는지 살펴봅니다.

간단히 말해 UGI는 DontPlanToEnd라는 이름으로 활동하는 운영자가 만든 자원봉사 기반 Hugging Face Space입니다. 민감하거나 논쟁적이어서 흔히 거절되는 주제에 대해 공개형 및 비공개형 LLM이 얼마나 답변하려 하는지 평가합니다. 여기에 일반 지식 검사도 더해 ‘답변할 의향’이 단순히 ‘근거 없이 답할 의향’에 그치지 않는지 확인합니다. AI 연구자, 모델 정렬 연구자, 비슷한 벤치마크 점수를 받은 두 모델이 실제로는 왜 다르게 행동하는지 알고 싶은 사람에게 유용한 전문 지표입니다.

---

UGI Leaderboard란 무엇인가요?

UGI Leaderboard는 huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard에서 볼 수 있습니다. 좋아요는 2천 개를 훨씬 넘었고, 새 모델 평가를 요청하는 커뮤니티 토론도 수백 건 쌓였습니다. 연구소나 기업이 지원하는 프로젝트가 아니라 한 명의 운영자가 관리합니다. 다른 Hugging Face 커뮤니티 순위표와 마찬가지로 모델을 제출하면 대기열에 들어가 평가를 받고, 그 결과가 순위표에 오를 수도 있습니다.

여기서 ‘검열 제한이 적다’는 말에는 구체적인 평가 범위가 있습니다. 보안 레드팀 벤치마크처럼 모델이 불법이거나 위험한 행위를 도와주는지 측정하는 것이 아닙니다. 경계선에 있지만 합법적인 주제의 거절률을 측정합니다. 정당한 연구, 소설 집필 또는 논쟁적이지만 합법적인 질문인데도 안전 조치가 강한 AI 도구가 ‘도와드릴 수 없습니다’라고 답하는 경우가 여기에 해당합니다. 순위표가 구분하려는 것은 자주 혼동되는 두 가지입니다. 모델이 답을 아는지, 그리고 그 답을 제공하는지입니다.

이 구분은 중요합니다. 성능이 뛰어난 모델 중에도 사실을 알면서 지나치게 조심스러운 안전 조치 때문에 말하기를 거부하는 모델이 있습니다. UGI는 그런 일이 모델별로 얼마나 자주 일어나는지 수치화합니다.

---

점수 산정 방식

UGI의 점수표에는 단일 점수 순위표보다 많은 지표가 있습니다. 대표 점수만 보면 잘못 해석하기 쉽습니다. 공개된 데이터 열을 기준으로 순위에 사용되는 항목은 다음과 같습니다.

UGI 점수(0–100) — Danger(위험하거나 제한된 정보), Entertainment(성인물에 인접한 창작 콘텐츠), SocPol(대부분의 모델이 조심스럽게 답하도록 학습된 사회·정치 주제)이라는 세 범주에서 답변 의향과 지식을 종합한 점수입니다. 가장 자주 인용되지만, 단독으로는 가장 적은 정보를 주는 수치입니다.

Willingness(W/10) — 답변의 품질과 별개로, 모델이 거절하거나 회피하는 대신 실제로 답변을 시도하는 빈도를 나타내는 0–10점 척도입니다. Willingness가 높아도 형식상 거절만 아닐 뿐 평범하거나 핵심을 피하는 답변을 할 수 있습니다.

NatInt(Natural Intelligence) — Textbook, Pop Culture, World Model의 하위 점수로 나뉘는 일반 지식 검사입니다. 답변을 거절하는 대신 자신 있게 틀린 답을 내놓아 UGI 점수를 높이는 모델을 가려내기 위한 지표입니다. Willingness는 높고 NatInt는 낮다면, 자주 답변하지만 내용을 제대로 알지 못하는 모델일 수 있습니다.

Political Lean — Federal–Unitary, Democratic–Autocratic, Nationalism–Internationalism, Progressive–Traditional 등 약 12개의 이념 축에서 모델의 성향을 나눠 보여줍니다. 논쟁적인 질문에 별도 유도 없이 답했을 때 어떤 관점을 취하는지 평가합니다. ‘검열 제한’이라는 주제와 무관하게 모델 편향을 연구하는 사람에게 유용한 항목입니다.

Writing — 안전하고 격식 있는 문장부터 노골적인 창작 글쓰기까지 문체의 범위를 평가하며, 읽기 난이도와 독창성 지표도 함께 제공합니다.

운영자는 정확한 평가 프롬프트를 비공개로 유지하며, 그 이유도 명시합니다. 벤치마크가 공개된 뒤 모델 제공업체가 평가 문제에 맞춰 학습하는 일을 막기 위해서입니다. 평가의 무결성을 지키는 합리적인 선택이지만 대가도 있습니다. 프로젝트 밖에서는 질문이 정확히 무엇인지 독립적으로 감사할 수 없습니다. 결국 무엇이 공정하고 대표성 있는 평가 문항인지에 관한 익명 운영자 한 명의 판단을 신뢰해야 합니다.

---

순위 현황(2026년 초 기준)

새 모델이 평가될 때마다 순위가 바뀌므로 특정 순위는 고정된 사실이 아닌 당시의 기록으로 봐야 합니다. 수치를 인용하기 전에는 실시간 순위표를 확인하세요. 널리 보도된 가장 최근 자료를 기준으로 한 결과는 다음과 같습니다.

이 글을 읽을 때쯤 수치는 이미 달라졌을 수 있으므로, 정확한 점수보다 경향을 살펴보는 편이 좋습니다. 강한 RLHF 안전성 조정 없이 배포된 공개 가중치 모델은 꾸준히 상위권에 오르고, 독점 모델은 대체로 낮은 순위에 모입니다. Grok 같은 예외도 있습니다. 또한 UGI 최고 점수 모델과 Willingness 최고 점수 모델은 보통 다릅니다. 대표 점수 하나만 보면 놓치기 쉬운 차이입니다.

---

접근 방법과 사용법

가격제를 비교할 필요는 없습니다. 순위표 전체가 무료입니다. Hugging Face Space를 열어 UGI, Willingness, NatInt 또는 개별 Political Lean 축 등 관심 있는 열을 기준으로 정렬하면 전체 표를 볼 수 있습니다. 표를 열람하는 데 로그인이나 API 키가 필요 없고, 열람에 적용되는 요청 횟수 제한도 없습니다.

표를 읽는 것 이상으로 활용하려면 다음 두 가지를 알아두세요.

• 원본 데이터 내보내기. Space에서 기초 결과를 CSV로 직접 다운로드할 수 있습니다. 기본 Gradio 표 화면에 의존하지 않고 직접 재정렬하거나 필터링하고 차트를 만들 때 유용합니다.
• 모델 제출. 직접 조정한 모델을 관리하고 있다면 Space의 요청 화면을 통해 평가를 신청할 수 있습니다. 신청 후 평가 대기열에 들어가며, 소요 시간은 운영자에게 있는 컴퓨팅 자원과 시간에 전적으로 달려 있습니다. 자금이 확보된 벤치마크 팀이 아니라 1인이 운영하므로, 자원이 풍부한 학술 순위표처럼 당일 처리를 기대하기는 어렵습니다.

접근성과 관련해 한 가지 더 유의할 점이 있습니다. 비공개 시험 세트로 점수를 매기기 때문에 해당 모델의 API를 사용할 수 있어도 점수를 직접 재현할 수 없습니다. 읽고 있는 값은 운영자가 보고한 수치이지 독립적으로 다시 계산할 수 있는 수치가 아닙니다. 따라서 확정적인 판단보다 방향을 파악하는 자료로 활용하는 것이 좋습니다.

---

높은 UGI 점수가 의미하지 않는 것

가장 흔한 오해이므로 분명히 짚고 넘어가겠습니다. UGI 점수가 높다고 해서 모델이 실제로 해롭거나 불법적이거나 위험한 활동을 돕는다는 증거는 아닙니다. 순위표의 자체 문서와 외부 보도 모두 이 점에서 일치합니다. 점수는 위험한 콘텐츠를 만드는 경향이 아니라 ‘거절하기보다 논의하고 설명하는 경향’을 반영합니다. 명백히 해로운 요청을 차단하는 안전 장치는 이 점수의 차이를 주로 만드는 경계선상의 창작, 역사, 의료, 사회·정치 주제보다 훨씬 좁고 다른 범주입니다.

성인 대상 소설 집필, 의료·법률 정보 종합, 폭력 사건의 역사적 분석, 극단주의에 관한 학술 연구처럼 과도한 거절이 실제 비용으로 이어지는 용도의 모델을 평가한다면 UGI는 유용한 신호입니다. 해로운 목적으로 모델의 실제 안전성 학습을 우회할 방법을 찾고 있다면 이 순위표는 도움이 되지 않으며, 그런 행동을 측정하기 위해 만들어진 것도 아닙니다.

---

강점

• 실제 공백을 메웁니다. 일반적인 벤치마크(MMLU, HumanEval, MT-Bench)는 거절 행동을 측정하지 않습니다. UGI는 이 측면에 관한 공개적이고 지속적으로 업데이트되는 드문 데이터 중 하나입니다.
• 지식과 답변 의향을 구분합니다. NatInt와 UGI를 나누는 설계는 모든 질문에 자신 있게 답하기만 해서 모델이 ‘승리’하는 일을 막아줍니다.
• Political Lean 항목은 별도로 활용할 가치가 있습니다. ‘검열 제한’에 관심이 없는 독자도 다른 곳에서 찾기 어려운 모델별 이념 편향 비교를 볼 수 있습니다.
• 꾸준히 관리됩니다. 새 모델 신청이 정기적으로 대기열에 들어가 평가되고, 공개 커뮤니티 토론도 활발해 프로젝트가 계속 사용되고 있음을 보여줍니다.
• 무료로 공개됩니다. 계정이나 유료 결제 없이 누구나 Hugging Face Space에서 원본 CSV 데이터를 내려받아 직접 분석할 수 있습니다.

약점

• 비공개 평가 방법에는 장단점이 있습니다. 시험 프롬프트를 숨기면 평가에 맞춘 학습을 막을 수 있지만, 문항의 대표성과 균형, 운영자 자신의 사각지대 여부도 독립적으로 검증할 수 없습니다.
• 운영자가 한 명입니다. 편집위원회나 공개된 평가자 간 신뢰도 검사, 기관의 지원이 없습니다. 학계에서 출발한 LMArena나 여러 기여자가 참여하는 MTEB와 비교되는 지점입니다.
• 영어 중심입니다. 공개 문서를 기준으로 비영어권의 거절 행동과 지식에 관한 평가는 매우 부족하거나 확인되지 않습니다.
• 이름이 오해를 부를 수 있습니다. ‘검열 제한이 없다’는 표현은 여러 의미로 해석되기 쉬워 순위표 이름만 보고 목적을 잘못 이해할 수 있습니다. 실제 내용은 이름에서 연상되는 것보다 ‘거절률 벤치마크’에 가깝습니다. 전문적인 맥락에서 인용하기 전에 알아둘 점입니다.
• 기업의 모델 구매 결정을 위한 도구는 아닙니다. 고객 대상 제품에 쓸 모델을 고른다면 이 순위표만으로는 필요한 답을 얻기 어렵습니다. 최대한 많이 답하는 모델보다 불필요한 거절이 적고 안전성 행동을 제어할 수 있는 모델이 필요합니다.

---

다른 LLM 순위표와의 비교

이 순위표들은 서로 다른 것을 측정하므로 직접 경쟁하지 않습니다. 같은 모델이라도 네 곳에서 순위가 크게 달라질 수 있습니다. 따라서 UGI를 포함한 어떤 순위표도 모델 결정의 유일한 근거로 삼아서는 안 됩니다.

---

누구에게 유용할까요?

적합한 경우: 모델 정렬과 거절 행동을 연구하는 AI 연구자, 지나치게 신중한 거절 때문에 사용성이 떨어지는 도구를 만드는 개발자(장편 소설, 성인 주제의 창작 도구, 학술 연구 보조 도구 등), 모델이 별도 유도 없이 취하는 정치적 관점이 궁금한 사람, 직접 조정한 공개 소스 모델을 다른 모델과 비교하려는 관리자에게 유용합니다.

적합하지 않은 경우: 고객 지원 또는 소비자 제품용 모델을 고르는 기업 팀에는 적합하지 않습니다. 이 경우 최대 답변 의향보다 설정 가능한 안전성 조치가 중요합니다. 높은 UGI 점수를 제공업체의 이용 정책을 우회해도 된다는 허가로 받아들이는 사람에게도 맞지 않습니다. 점수는 제삼자의 관찰 결과이지 허가가 아닙니다. 권위 있는 단일 ‘최고 모델’ 순위를 원하는 사람에게도 맞지 않습니다. 이 순위표는 그런 목적으로 만들어지지 않았으며, 어떤 단일 순위표도 그 역할을 할 수 없습니다.

---

점수를 신중하게 읽는 방법

1. UGI 점수만 인용하지 마세요. Willingness와 NatInt의 세부 점수를 함께 봐야 모델이 답변에 응할 뿐인지, 실제로 유능한지도 파악할 수 있습니다.
2. 자료의 날짜를 확인하세요. 새로 조정한 모델과 선도 모델이 제출되면서 순위가 빠르게 바뀝니다. 3개월 전 순위표 캡처는 현재 판단에 거의 도움이 되지 않습니다.
3. 성능 벤치마크와 교차 확인하세요. UGI에서는 1위지만 Open LLM Leaderboard나 Arena에서는 최하위인 모델이라면, 모든 질문에 답하면서도 특별히 뛰어난 성능은 보이지 않을 수 있습니다.
4. 한 운영자의 시험 세트라는 점을 기억하세요. 다른 단일 출처의 벤치마크처럼 유용한 데이터 하나로 취급하고, 최종 판정으로 받아들이지 마세요.

---

결론

UGI Leaderboard는 주요 벤치마크가 다루지 않는 영역을 채웁니다. 모델이 정당하지만 민감한 요청에 얼마나 자주 답변을 거절하는지 수치화하고, 실제로 관련 지식이 있는지도 별도로 살펴봅니다. 따라서 모델 정렬, 콘텐츠 검토 기준 조정, 불필요한 거절이 잦은 창작 도구를 연구하거나 만드는 사람에게 유용한 참고 자료입니다.

하지만 모델의 전반적인 성능 순위표나 안전 장치 우회 안내서, ‘최고’ 모델에 관한 권위 있는 순위로 취급해서는 안 됩니다. 비공개 평가 방법, 1인 운영 구조, 오해를 부르기 쉬운 이름을 고려하면 여러 판단 근거 중 하나로 읽는 편이 적절합니다. 특정 모델에 관해 결론을 내리기 전에는 Arena 유형의 선호도 데이터와 표준 성능 벤치마크도 함께 확인하세요.

이 리뷰는 2026년 초까지 공개적으로 보고된 순위표 데이터를 반영합니다. 순위는 자주 바뀌므로 현재 결과는 실시간 UGI Leaderboard에서 확인하세요.