총상금 50만 달러의 아웃라이어 AI (Outlier AI) 공모전 <Humanity's Last Exam>, AI의 한계를 시험하라!

요즘 부쩍 아웃라이어 AI (Outlier AI)뿐만이 아니라 AI 트레이너에 대한 관심이 부쩍 늘어난 것 같아요.

특히 재택 부업으로 해서 말이죠. 

 

Outlier AI와 관련해서 이전에 올렸던 글이 반응이 괜찮은 걸 봐도 그렇고요.

 

2024.08.22 - [캐나다/유학, 취업, 창업] - 가장 현실적인 재택 부업, AI Trainer (AI 트레이너)가 되었다. (Outlier AI 등에서 일을 해 본 지난 1년 후기)

가장 현실적인 재택 부업, AI Trainer (AI 트레이너)가 되었다. (Outlier AI 등에서 일을 해 본 지난 1년

 

이번에는 Outlier AI에서 주최하는 일종의 공모전을 따끈하고 후끈한 관련 후속 정보로 가지고 와보았습니다.

 

인공지능을 활용해 생성한 이미지입니다.

 

AI의 한계를 시험하다: '인간의 마지막 시험'

AI가 이미 많은 영역에서 뛰어난 성능을 보이며 우리 삶을 혁신하고 있지만, 진정한 의미에서 AI가 인간의 지능을 뛰어넘었다고 할 수 있을까요?

 

이에 대한 답을 찾기 위해, '인류의 마지막 시험 (Humanity's Last Exam)'이라는 도전적인 공모전 프로젝트를 Outlier AI가 시작했습니다. MIT, 스탠퍼드, UC 버클리와 같은 세계적인 대학들의 연구진은 물론, 필즈상 수상자들까지 이미 이 공모전 대회에 참가하여 AI가 진정한 지능을 가지고 있는지 확인하는 작업들을 진행하고 있다고 합니다.

 

Outlier AI 측에서는 이번 공모전 대회를 토해 AI가 인간의 지능을 얼마나 깊이 이해하고 있는지를 평가하기 위한 고난도 문제를 만드는 것이 목표라고 밝히고 있는데요. 이를 통해 AI의 실제 성능과 한계를 파악하고, AI 평가의 새로운 기준을 세우는 데 중점을 두고 있다고도 합니다.

---

대회의 목적과 주요 정보

공모전 대회의 목적은 AI가 해결할 수 없는 어려운 질문을 수집하고, 이를 통해 AI의 진정한 한계를 시험하는 것이라고 합니다. 그러니까 전문가들이 제시하는 문제는 박사급 수준의 고난도 문제들을 AI가 해결할 수 있다면 AI의 성능이 인간을 능가하는 중요한 신호가 될 것으로 보려는 거죠.

 

공모전 상금 및 지원 방법:

• 상위 50개 문제는 각 $5,000의 상금을 받습니다.
• 다음 500개의 문제는 각 $500의 상금을 받습니다.
• 총 상금: $500,000
• 제출 마감일: 2024년 11월 1일 (아래에 링크된 페이지를 통해 지원 정보 확인과 질문 제출이 가능합니다)

https://agi.safe.ai/submit?utm_campaign=website&utm_medium=email&utm_source=sendgrid.com

Humanity's Last Exam

 

 

 

---

제출할 문제 작성 가이드

문제 또는 질문을 제출할 때는 다음과 같은 몇 가지 가이드라인을 따르는 것이 중요합니다:

1. 독창성: 제출하는 문제나 질문은 독창적이어야 하며, 다른 곳에서 복사해서 붙여 넣기를 한 것이 아니어야 합니다. 제출자 본인이 직접 작성한 문제만 인정됩니다.
2. 도전적이어야 함: 문제나 질문은 비전문가가 쉽게 풀 수 없을 만큼 어려워야 하며, 일상적인 사람들이 쉽게 답할 수 없어야 합니다. 단순한 계산 문제는 적합하지 않으며, AI가 해결하기 어려운 고차원적인 문제를 제시해야 합니다.
3. 명확하고 자체적으로 해결가능해야 함: 문제와 그에 대한 설명은 명확해야 하며, 모든 필요한 정보를 포함해야 합니다. 외부 자료나 링크를 첨부할 필요 없이 문제 자체로 완결성을 가져야 합니다.
4. 무기 관련 금지: 무기, 화학, 생물학, 방사능 무기와 관련된 문제는 금지되며, 인프라를 공격하는 사이버 무기에 관련된 문제나 질문 또한 제출할 수 없습니다.

---

어떤 문제를 제출할 수 있나요?

AI에게 가장 어려운 문제나 질문은 실제로 전문 지식이 요구되는 문제들입니다. 예를 들어, 복잡한 개념적 수학적 계산, 새로운 과학적 발견, 심오한 철학적 질문 등이 AI에게는 전문적으로 답변하기 어려울 수 있죠.

 

현재까지 수집된 예제 문제들이 수학, 로켓 공학, 분석 철학 등 여러 분야에 걸쳐 있다고는 하지만, AI 시스템이 보다 고도화된 난제에 가까운 문제를 얼마나 잘 해결하는지가 이제부터는 AI의 능력을 평가하는 기준이 될 것이라고 보는 거예요. 

 

그리고 여섯 가지의 예시 질문들을 보여주고 있는데요. 그중에서 몇 가지를 가지고 와보면.

 

 

수학 문제 예시 : 아래와 같이 "다음 숫자 집합의 샘플 표준 편차를 구하시오" 같은 단순 계산 문제나 질문은 통과하지 못할 가능성이 크고요. 

 

 

언어 문제 예시 : "문구 'strawberry and raspberries'에서 'r'의 개수는 몇 개인가요?"처럼 AI가 조금 부족한 답변을 내놓을 수 있지만 실제 학부생이나 석사생 수준에서 답하지 어렵지 않은 문제나 질문도 이 공모전 대회가 나아가고자 하는 방향과는 맞지 않습니다. 

 

 

미적분 문제 예시 : "함수 f와 g에 대해 특정 조건을 만족하는 가장 작은 양의 실수 r은 무엇인가요?"처럼 아무 AI나 맞출 수 있는 너무 쉬운 문제나 질문도 이 공모전 대회에서는 사양합니다. 

 

 

 

수학적 개념 문제 예시 : "양의 정수 코세터-콘웨이 프리제의 G2형에 대한 질문으로, 정답은 무엇인가요?"처럼

 

 

 

 

---

참가 시 유의사항들

온라인 제출 양식을 통해 문제나 질문을 제출하면 되니까 참가 자체는 간단합니다. 단, 모든 문제나 질문은 영문으로 작성해야 하며, AI가 자동으로 문제의 난이도를 평가하고 분석하게 됩니다.

 

그리고 문제가 AI에게 충분히 어렵다고 판단되면, 제출자는 문제에 대한 명확하고 간결한 해설을 추가로 작성하여 제출할 수 있습니다. 이후 전문 리뷰어가 제출한 질문과 문제를 검토한 후 최종 평가를 진행하게 된다고 합니다.

 

---

마무리

AI는 지금 이 순간에도 급격히 발전하고 있기에, 그 능력의 한계를 시험하고 더 나은 평가 기준을 세우는 것이 매우 중요해졌습니다.

 

그래서 이 공모전 대회는 단순한 지식 평가를 넘어서 AI가 복잡한 문제를 어떻게 해결하는지, 그리고 그 과정에서 인간의 역할이 무엇인지를 탐구하는 새로운 도전 과제를 제시하고자 하는 바가 가장 큰 목적이라고 밝히고 있기도 합니다.

 

개인적으로는 이런 공모전 대회가 흥미롭기도 하고, AI의 진정한 성능을 평가하고 그 발전 속도에 대해 다시 생각해 볼 수 있는 중요한 기회를 제공해 줄 것으로도 기대가 됩니다.

 

여러분도 자신만의 질문이나 문제로 AI가 얼마나 지적으로 성장해 있는지 확인하는 공모전에 도전해 보세요! 여러분의 참가가 AI 발전에 큰 영향을 미칠 수도 있으며, 더불어 그 과정에서 상금도 얻을 수 있을지도 모르니까요.