[Paper Review] GAIA : A Benchmark for General AI Assistants

기존 벤치마크의 명확한 한계

1. 인간에게만 어려운 문제일 뿐 → MMLU나 GSM8k 같은 고난도 시험에서조차 최신 LLM들은 이미 인간 전문가 수준에 근접한 점수를 내고 있다. 심지어 특정 분야 비전문가인 평범한 사람보다 AI가 더 높은 점수를 받는 역전 현상까지 나타나죠. 이는 그 문제가 '보편적인 지능'이 아닌 '특정 지식 암기' 능력에 더 가깝다고 평가된다.

2. 공정하지 않은 시험, '데이터 오염' → 더 큰 문제는 데이터 오염이라 일컬어지는 Data Contamination이다. AI가 시험지를 미리 훔쳐본 것과 같다. 평가에 사용될 문제와 답을 훈련 데이터에서 미리 학습했다면, 그 점수는 진짜 실력이 아닌 단순 암기력을 평가하는 게 아닌가라고 의심해봐야 한다.

3. 대체 누가 채점할 수 있을까? → AI가 쓴 소설 한 편, 세계적인 석학도 풀기 어려운 수학 문제. 이걸 대체 누가, 어떻게 객관적으로 채점할 수 있을까? 인간이 하기엔 너무 복잡하고, 다른 AI에게 채점을 맡기는 건 결국 '더 뛰어난 AI'에 의존해야 하는 모순에 빠지게 된다.

새로운 관점으로 접근하기, '견고함'을 측정하자

GAIA의 설계 철학 “풀기는 어렵게, 채점은 쉽게”

• 해결 과정은 아주 어렵게하여 AI는 정답을 찾기 위해 웹을 헤매고, 이미지를 분석하고, 여러 단계의 복잡한 추론을 거쳐야만 한다. 최종 정답은 "90", "+4.6", "White; 5,876"처럼 아주 명확하고 간결한 사실이어야 한다.

• 현실 세계를 반영한 진짜 문제, 명확한 실패 원인 분석, 객관식이 아니므로 정답을 찍을 수도 없고, 인터넷에 답이 그대로 있지도 않아 '데이터 오염' 걱정 없고, 복잡한 설정 없이 질문을 던지기만 하면 되니 평가 과정이 매우 간단하고, 결과의 신뢰도도 높다.

AI 길들이기: 명확한 프롬프트와 평가 방식

💡

당신은 AI 어시스턴트입니다. 지금부터 제가 묻는 질문에 당신의 생각 과정을 먼저 서술하고, 최종 답변은 반드시 'FINAL ANSWER: [최종 답변]' 형식으로 제출해주세요.

이런 식으로 명확한 규칙을 정해주면, AI는 정해진 틀 안에서 자신의 능력을 최대한 발휘하게 된다. 예를 들어, 아래와 같은 질문을 받았을 때 GPT-4는 어떻게 반응했는지 아래와 같은 형태를 띄는 것을 볼 수 있다.

• GAIA 질문: "첨부된 엑셀 파일은 한 패스트푸드 체인의 매출 기록입니다. 음료를 뺀 '음식' 매출 총액은 얼마인가요? (USD, 소수점 둘째 자리까지)"

• GPT-4의 해결 과정:
1. 코드 실행 도구를 활성화한다.
2. pandas 라이브러리로 엑셀 파일을 불러온다.
3. '음료' 항목을 제외한 나머지 음식 메뉴들의 매출액을 모두 더한다.
4. 결과를 지정된 형식에 맞춰 출력한다.

• FINAL ANSWER: 89706.00 (정답! ✓)

GAIA의 구성: 능력, 난이도, 그리고 숨은 의도

• 필요한 능력들은 질문을 풀기 위해선 웹 브라우징 능력(최우선), 코딩, 멀티모달, 다양한 파일 처리 능력이 필수적이다.

• 난이도는 질문들은 필요한 '작업 단계'와 '도구 종류'에 따라 체계적으로 세 가지 레벨로 나눈다.
• Level 1 - 간단한 도구 하나로 5단계 안에 해결 가능한 워밍업 문제
• Level 2 - 여러 도구를 조합하며 10단계 안팎의 과정을 거쳐야 하는 본격적인 문제
• Level 3 - 거의 완벽한 AI만이 풀 수 있는, 매우 길고 복잡한 최종 보스급 문제

• 가로축은 문제를 푸는 데 필요한 'Step의 수', 세로축은 '사용한 Tool의 종류'를 나타낸다. 점의 색깔은 난이도를, 점의 크기는 해당 위치에 얼마나 많은 질문이 있는지를 의미한다.

• 위 그래프는 GAIA의 난이도가 체계적으로 설계되었음을 보여준다. 쉬운 문제부터 시작해, 점점 더 많은 단계를 거치고 다양한 도구를 사용해야 하는 복잡한 문제로 나아가도록 구성되어 있어, AI의 한계를 측정할 수 있다고 논문은 말하고 있다.

• 가장 먼저 눈에 띄는 것은 Human에 해당하는 빨간색 막대이다. 난이도와 상관없이 인간은 90%를 웃도는 압도적인 정확도를 보여주었다. 이는 GAIA의 질문들이 인간에게는 얼마나 직관적이고 간단한지를 보여주는 지표이다.

• 가장 어려운 레벨에서는 모든 AI가 0점을 받으며 실패했다. 인간만이 80% 후반대의 정답률을 유지하며 차이가 분명했다. 가장 똑똑하다는 생성형 모델들조차도 인간의 '보편적 문제 해결 능력' 앞에서는 아직 걸음마 단계에 불과하다는 사실이 드러나는 그래프라고 볼 수 있다.

• 플러그인이 없는 기본 GPT-4는 파일 읽기(Diverse filetype reading)나 멀티모달(Multi-modality) 문제에서 거의 0점에 가까운 점수를 기록했다. 당시 생성형 모델은 혼자서는 엑셀 파일을 열어보거나 이미지 속 글자를 읽을 수 없기 때문인 것으로 파악된다. 하지만 적절한 플러그인을 장착하자, 이 영역에서 유의미한 성능 향상을 이뤄낸 것을 볼 수 있다.

• 마찬가지로 플러그인으로 웹 브라우저나 코드 실행기 같은 도구를 활용할 수 있게 되자, 기본 모델로는 풀 수 없었던 문제들을 해결하는 것을 확인할 수 있었다.

GAIA 데이터셋 톺아보기: JSON 메타데이터 뜯어보자

{"task_id": "c61d22de-5f6c-4958-a7f6-5e9707bd3466", "Question": "A paper about AI regulation that was originally submitted to arXiv.org in June 2022 shows a figure with three axes, where each axis has a label word at both ends. Which of these words is used to describe a type of society in a Physics and Society article submitted to arXiv.org on August 11, 2016?", "Level": 2, "Final answer": "egalitarian", "file_name": "", "Annotator Metadata": {"Steps": "1. Go to arxiv.org and navigate to the Advanced Search page.\n2. Enter \"AI regulation\" in the search box and select \"All fields\" from the dropdown.\n3. Enter 2022-06-01 and 2022-07-01 into the date inputs, select \"Submission date (original)\", and submit the search.\n4. Go through the search results to find the article that has a figure with three axes and labels on each end of the axes, titled \"Fairness in Agreement With European Values: An Interdisciplinary Perspective on AI Regulation\".\n5. Note the six words used as labels: deontological, egalitarian, localized, standardized, utilitarian, and consequential.\n6. Go back to arxiv.org\n7. Find \"Physics and Society\" and go to the page for the \"Physics and Society\" category.\n8. Note that the tag for this category is \"physics.soc-ph\".\n9. Go to the Advanced Search page.\n10. Enter \"physics.soc-ph\" in the search box and select \"All fields\" from the dropdown.\n11. Enter 2016-08-11 and 2016-08-12 into the date inputs, select \"Submission date (original)\", and submit the search.\n12. Search for instances of the six words in the results to find the paper titled \"Phase transition from egalitarian to hierarchical societies driven by competition between cognitive and social constraints\", indicating that \"egalitarian\" is the correct answer.", "Number of steps": "12", "How long did this take?": "8 minutes", "Tools": "1. Web browser\n2. Image recognition tools (to identify and parse a figure with three axes)", "Number of tools": "2"}}
{"task_id": "17b5a6a3-bc87-42e8-b0fb-6ab0781ef2cc", "Question": "I\u2019m researching species that became invasive after people who kept them as pets released them. There\u2019s a certain species of fish that was popularized as a pet by being the main character of the movie Finding Nemo. According to the USGS, where was this fish found as a nonnative species, before the year 2020? I need the answer formatted as the five-digit zip codes of the places the species was found, separated by commas if there is more than one place.", "Level": 2, "Final answer": "34689", "file_name": "", "Annotator Metadata": {"Steps": "1. Search the web for \u201cfinding nemo main character\u201d.\n2. Note the results, which state that the main character is a clownfish.\n3. Search the web for \u201cusgs nonnative species database\u201d.\n4. Click result for the Nonindigenous Aquatic Species site.\n5. Click \u201cMarine Fishes\u201d.\n6. Click \u201cSpecies List of Nonindigenous Marine Fish\u201d.\n7. Scroll through the list until I find the clown anenomefish, and click \u201cCollection info\u201d.\n8. Note the place that a clown anenomefish was found, in Fred Howard Park at the Gulf of Mexico.\n9. Search the web for \u201cfred howard park florida zip code\u201d.\n10. Note the zip code, 34689. Since only one clownfish was found before the year 2020, this is the answer.", "Number of steps": "10", "How long did this take?": "5 minutes", "Tools": "1. Search engine\n2. Web browser", "Number of tools": "2"}}
{"task_id": "04a04a9b-226c-43fd-b319-d5e89743676f", "Question": "If we assume all articles published by Nature in 2020 (articles, only, not book reviews/columns, etc) relied on statistical significance to justify their findings and they on average came to a p-value of 0.04, how many papers would be incorrect as to their claims of statistical significance? Round the value up to the next integer.", "Level": 2, "Final answer": "41", "file_name": "", "Annotator Metadata": {"Steps": "1. Find how many articles were published in Nature in 2020 by Googling \"articles submitted to nature 2020\"\n2. Click through to Nature's archive for 2020 and filter the results to only provide articles, not other types of publications: 1002\n3. Find 4% of 1002 and round up: 40.08 > 41", "Number of steps": "3", "How long did this take?": "5 minutes", "Tools": "1. search engine\n2. calculator", "Number of tools": "2"}}
{"task_id": "14569e28-c88c-43e4-8c32-097d35b9a67d", "Question": "In Unlambda, what exact charcter or text needs to be added to correct the following code to output \"For penguins\"? If what is needed is a character, answer with the name of the character. If there are different names for the character, use the shortest. The text location is not needed. Code:\n\n`r```````````.F.o.r. .p.e.n.g.u.i.n.si", "Level": 2, "Final answer": "backtick", "file_name": "", "Annotator Metadata": {"Steps": "1. Searched \"Unlambda syntax\" online (optional).\n2. Opened https://en.wikipedia.org/wiki/Unlambda.\n3. Note that the hello world program is very similar in syntax to the code in this question.\n4. Go to the source referenced by the hello world program.\n5. From the referenced source, read what the components of the program do to understand that each period needs a backtick after the initial `r.\n6. Observe that in the given code, there are 12 periods but only 11 backticks after the initial `r, so the missing character is a backtick.", "Number of steps": "6", "How long did this take?": "15 minutes", "Tools": "1. Web browser\n2. Search engine\n3. Unlambda compiler (optional)", "Number of tools": "3"}}
{"task_id": "e1fc63a2-da7a-432f-be78-7c4a95598703", "Question": "If Eliud Kipchoge could maintain his record-making marathon pace indefinitely, how many thousand hours would it take him to run the distance between the Earth and the Moon its closest approach? Please use the minimum perigee value on the Wikipedia page for the Moon when carrying out your calculation. Round your result to the nearest 1000 hours and do not use any comma separators if necessary.", "Level": 1, "Final answer": "17", "file_name": "", "Annotator Metadata": {"Steps": "1. Googled Eliud Kipchoge marathon pace to find 4min 37sec/mile\n2. Converted into fractions of hours.\n3. Found moon periapsis in miles (225,623 miles).\n4. Multiplied the two to find the number of hours and rounded to the nearest 100 hours.", "Number of steps": "4", "How long did this take?": "20 Minutes", "Tools": "1. A web browser.\n2. A search engine.\n3. A calculator.", "Number of tools": "3"}}
{"task_id": "32102e3e-d12a-4209-9163-7b3a104efe5d", "Question": "The attached spreadsheet shows the inventory for a movie and video game rental store in Seattle, Washington. What is the title of the oldest Blu-Ray recorded in this spreadsheet? Return it as appearing in the spreadsheet.", "Level": 2, "Final answer": "Time-Parking 2: Parallel Universe", "file_name": "32102e3e-d12a-4209-9163-7b3a104efe5d.xlsx", "Annotator Metadata": {"Steps": "1. Open the attached file.\n2. Compare the years given in the Blu-Ray section to find the oldest year, 2009.\n3. Find the title of the Blu-Ray disc that corresponds to the year 2009: Time-Parking 2: Parallel Universe.", "Number of steps": "3", "How long did this take?": "1 minute", "Tools": "1. Microsoft Excel", "Number of tools": "1"}}
{"task_id": "8e867cd7-cff9-4e6c-867a-ff5ddc2550be", "Question": "How many studio albums were published by Mercedes Sosa between 2000 and 2009 (included)? You can use the latest 2022 version of english wikipedia.", "Level": 1, "Final answer": "3", "file_name": "", "Annotator Metadata": {"Steps": "1. I did a search for Mercedes Sosa\n2. I went to the Wikipedia page for her\n3. I scrolled down to \"Studio albums\"\n4. I counted the ones between 2000 and 2009", "Number of steps": "4", "How long did this take?": "5 minutes", "Tools": "1. web browser\n2. google search", "Number of tools": "2"}}
{"task_id": "3627a8be-a77f-41bb-b807-7e1bd4c0ebdf", "Question": "The object in the British Museum's collection with a museum number of 2012,5015.17 is the shell of a particular mollusk species. According to the abstract of a research article published in Science Advances in 2021, beads made from the shells of this species were found that are at least how many thousands of years old?", "Level": 2, "Final answer": "142", "file_name": "", "Annotator Metadata": {"Steps": "1. Use search engine to search for \"British Museum search collection\" and navigate to the British Museum's collection search webpage.\n2. Select \"Museum number\" as search field and \"2012,5015.17\" in text box, then run search.\n3. Open the page for the single result and note that the description says that this is the shell of an individual of the Nassa gibbosula species.\n4. Use search engine to search for \"Nassa gibbosula\".\n5. Note that according to the search result from the World Register of Marine Species website, Nassa gibbosula is not an accepted species name.\n6. Open the page for Nassa gibbosula on the World Register of Marine Species website.\n7. Scan the page and note that the accepted species name is Tritia gibbosula.\n8. Use search engine to search for \"Science Advances 2021 Tritia gibbosula\".\n9. Find that the top result is an article from 2021 in Science Advances titled \"Early Middle Stone Age personal ornaments from Bizmoune Cave, Essaouira, Morocco\".\n10. Scan abstract and note that the article discusses beads made from Tritia gibbosula shells that date to at least 142 thousand years ago, giving a final answer of 142.", "Number of steps": "10", "How long did this take?": "12 minutes", "Tools": "1. Web browser\n2. Search engine", "Number of tools": "2"}}
{"task_id": "7619a514-5fa8-43ef-9143-83b66a43d7a4", "Question": "According to github, when was Regression added to the oldest closed numpy.polynomial issue that has the Regression label in MM/DD/YY?", "Level": 2, "Final answer": "04/15/18", "file_name": "", "Annotator Metadata": {"Steps": "1. Searched \"numpy github\" on Google search.\n2. Opened the NumPy GitHub page.\n3. Clicked \"Issues\" in the repo tabs.\n4. Clicked \"Closed\" on the filter bar.\n5. Set the filter to the \"numpy.polynomial\" label.\n6. Set the filter to the \"06 - Regression\" label.\n7. Opened the oldest Regression post.\n8. Scrolled down to find when the Regression label was added (Apr 15, 2018).\n9. Converted to MM/DD/YY (04/15/18).", "Number of steps": "9", "How long did this take?": "10 minutes", "Tools": "1. Web browser\n2. Search engine", "Number of tools": "2"}}
{"task_id": "ec09fa32-d03f-4bf8-84b0-1f16922c3ae4", "Question": "Here's a fun riddle that I think you'll enjoy.\n\nYou have been selected to play the final round of the hit new game show \"Pick That Ping-Pong\". In this round, you will be competing for a large cash prize. Your job will be to pick one of several different numbered ping-pong balls, and then the game will commence. The host describes how the game works.\n\nA device consisting of a winding clear ramp and a series of pistons controls the outcome of the game. The ramp feeds balls onto a platform. The platform has room for three ping-pong balls at a time. The three balls on the platform are each aligned with one of three pistons. At each stage of the game, one of the three pistons will randomly fire, ejecting the ball it strikes. If the piston ejects the ball in the first position on the platform the balls in the second and third position on the platform each advance one space, and the next ball on the ramp advances to the third position. If the piston ejects the ball in the second position, the ball in the first position is released and rolls away, the ball in the third position advances two spaces to occupy the first position, and the next two balls on the ramp advance to occupy the second and third positions on the platform. If the piston ejects the ball in the third position, the ball in the first position is released and rolls away, the ball in the second position advances one space to occupy the first position, and the next two balls on the ramp advance to occupy the second and third positions on the platform.\n\nThe ramp begins with 100 numbered ping-pong balls, arranged in ascending order from 1 to 100. The host activates the machine and the first three balls, numbered 1, 2, and 3, advance to the platform. Before the random firing of the pistons begins, you are asked which of the 100 balls you would like to pick. If your pick is ejected by one of the pistons, you win the grand prize, $10,000.\n\nWhich ball should you choose to maximize your odds of winning the big prize? Please provide your answer as the number of the ball selected.", "Level": 1, "Final answer": "3", "file_name": "", "Annotator Metadata": {"Steps": "Step 1: Evaluate the problem statement provided in my user's prompt\nStep 2: Consider the probability of any ball on the platform earning the prize.\nStep 3: Evaluate the ball in position one. The probability of it earning the prize, P1, is 1/3\nStep 4: Using a calculator, evaluate the ball in position two. The probability of it earning the prize, P2, is the difference between 1 and the product of the complementary probabilities for each trial\nP2 = 1 - (2/3)(2/3)\nP2 = 5/9\nStep 5: Using a calculator, evaluate the ball in position three. The probability of it earning the prize, P3, is the difference between 1 and the product of the complementary probabilities for each trial\nP3 = 1 - (2/3)(2/3)(2/3)\nP3 = 19/27\nStep 6: Consider the possible outcomes of numbers higher than 3.\nStep 7: For each trial, either 1 or 2 balls from the ramp will advance to the platform. For any given selection, there is a 50% chance that the ball advances to position 2 or position 3.\nStep 8: As position three holds the highest chance of earning the prize, select the only ball known to occupy position three with certainty, ball 3.\nStep 9: Report the correct answer to my user, \"3\"", "Number of steps": "9", "How long did this take?": "1 minute", "Tools": "None", "Number of tools": "0"}}

{
  "task_id": "c61d22de-5f6c-4958-a7f6-5e9707bd3466",
  "Question": "A paper about AI regulation that was originally submitted to arXiv.org in June 2022 shows a figure with three axes, where each axis has a label word at both ends. Which of these words is used to describe a type of society in a Physics and Society article submitted to arXiv.org on August 11, 2016?",
  "Level": 2,
  "Final answer": "egalitarian",
  "file_name": "",
  "Annotator Metadata": {
    "Steps": "1. Go to arxiv.org and navigate to the Advanced Search page...",
    "Number of steps": "12",
    "How long did this take?": "8 minutes",
    "Tools": "1. Web browser\n2. Image recognition tools (to identify and parse a figure with three axes)",
    "Number of tools": "2"
  }
}

JSON의 Key-Value 값이 갖는 의미는 무엇인가?

'Annotator Metadata' 심층 분석

1. 인간의 문제 해결 로드맵 - Golden Action에 대응하는 개념

1. arXiv 고급 검색 페이지로 이동한다.

2. 'AI regulation'을 검색하고, 제출일을 '2022년 6월'로 지정한다.

3. 검색 결과에서 세 개의 축이 있는 그림을 가진 논문을 찾는다.

4. 그림에서 6개의 라벨 단어(deontological, egalitarian 등)를 메모한다.

5. 다시 arXiv 고급 검색으로 돌아간다.

6. 이번엔 'Physics and Society' 카테고리에서 제출일을 '2016년 8월 11일'로 지정하여 검색한다.

7. 검색 결과에서 아까 메모해 둔 6개의 단어 중 하나가 포함된 논문을 찾는다.

8. "egalitarian"이라는 단어가 포함된 논문을 발견하고, 이것이 정답임을 확인한다.

2. Tools, Number of steps, How long did this take?

• Tools: "웹 브라우저", "이미지 인식 도구"
• AI가 인터넷을 항해할 능력뿐만 아니라, 논문 속 그림을 보고 그 안의 텍스트를 읽어내는 시각적 능력인 멀티모달 능력까지 갖춰야 함을 명시한다.

• Number of steps: "12"
• 이 문제의 복잡성을 '12단계'라는 객관적인 숫자로 보여준다.

• How long did this take?: "8 minutes"
• 숙련된 인간에게도 8분이나 걸리는, 결코 만만치 않은 작업임을 알려준다.

GAIA 최신 리더보드 (2025년 9월 26일 기준)

1. '단일 모델'의 시대는 끝났다 → 앙상블 & 에이전트의 부상 가장 눈에 띄는 점은 상위권 에이전트 대부분이 단 하나의 LLM을 사용하지 않는다는 것이다. Model family 항목을 보면, ZTE의 Co-Sight나 inclusionAI의 AWorld처럼 GPT, Claude, Gemini 등 여러 최신 모델들을 앙상블하여 사용하는 것을 볼 수 있다.

2. 'Level 3' 평가데이터셋으로 판가름나는 중이다 Level 1 점수는 대부분 90점대를 넘기며 상향 평준화되었다. Level 2 역시 80점대로 비슷한 점수를 공유하고 있다. 하지만 진정한 실력 차이는 가장 어려운 Level 3 점수에서 드러난다. 현재 1위인 Co-Sight v2.0.1조차 Level 3 점수는 67.35%에 그친다. 이는 아직 AI가 여러 도구를 복합적으로 사용하고, 매우 긴 단계의 추론을 수행하는 능력에 명확한 한계가 있음을 보여준다.

3. 숨 가쁜 개발 속도와 경쟁 대부분의 기록이 불과 며칠 또는 몇 주 간격으로 제출되었음을 알 수 있습니다. ZTE-AICloud가 8월 30일에 v2.0.0을 제출하고 한 달도 안 된 9월 24일에 개선된 v2.0.1을 제출한 것이 눈에 띈다.

Conclusion