Qwen3.5-2B创下69.4%新高，基准模型仅为21.6%_新闻

免责声明：内容不构成买卖依据，投资有风险，入市需谨慎！

Qwen3.5-2B创下69.4%新高，基准模型仅为21.6%

2026-11-12 04:09:44

Tree-Ising 연구: 가중치 수정을 통한 Qwen 3.5 모델의 GSM8K 정답률 향상

Tree-Ising 연구진은 큐원(Qwen) 3.5-2B 모델에서 일부 BF16 가중치를 수정한 결과, GSM8K 벤치마크에서 정답률이 69.4%를 기록했다고 보고했다. 동일한 조건에서 수정 전 기준 모델의 정답률은 21.6%에 불과했다. 이 결과는 QDeep와 ITMO대 LEAD 연구진이 11월 10일 arXiv에 공개한 사전논문에서 제시된 것이다.

연구진은 GSM8K 시험 세트 중 1,319개 문제를 사고 모드(thinking mode)와 탐욕적 디코딩(greedy decoding) 방식으로 해결하도록 했으며, 답변 길이는 8,192토큰으로 제한했다. 초기 200개 문제를 분석한 결과, 기준 모델이 가장 어려움을 겪는 탐욕적 디코딩을 평가 기준으로 선정했다. 나머지 1,119개 문제에서도 수정 모델은 69.6%, 기준 모델은 21.6%의 정확도를 보였다. 전체 평가에서 토큰 상한에 도달한 비율은 77.9%에서 26.7%로 크게 줄었지만, 기준 모델이 맞혔던 285개 문제 중 38개는 수정 후 오답으로 전환되기도 했다.

수학 평가에서의 차이 분석

Tree-Ising은 모델을 다시 훈련하지 않고 저장된 BF16 가중치의 일부를 수정하는 방법론이다. 이는 가중치의 부호를 반전하거나 지수를 제한된 범위 내에서 변경하여 반복 출력을 줄이고, 올바른 방향으로 답변을 유도하는 방식을 강화한다. 연구진은 가중치 수정 여부를 출력 행별 이진 최적화 문제로 나누어 풀었으며, Ising과 QUBO(Quadratic Unconstrained Binary Optimization) 모델을 이진 선택지 최적화를 위한 수학적 표현으로 활용했다.

주요 실험 결과는 GPU에서 시뮬레이티드 어닐링(Simulated Annealing)과 양자 영감 방식인 시뮬레이티드 바이퍼케이션(Simulated Bifurcation)을 통해 도출되었다. 이는 IBM 양자컴퓨터를 사용한 실험과는 구분되는 접근법이다.

큐원 3.5-0.8B MATH-500 평가 (4회 생성): 시뮬레이티드 어닐링 방식은 54.6%, 시뮬레이티드 바이퍼케이션 방식은 55.1%의 점수를 기록했다. 같은 절차로 측정된 에이전트 수정 모델은 51.7%였다. 기준 모델의 7.9%는 본 연구진이 직접 재측정한 값이 아닌 기존 선행 연구의 수치이다.

연구진은 다섯 가지 수학 평가에서 두 가지 최적화 방식 모두 에이전트 수정 모델보다 높은 점수를 달성했다고 밝혔다. 특히 MATH-500과 GSM8K에서 다중 비교를 반영한 통계적 유의미한 차이가 확인되었다. MATH-500 중 100개 문제는 초기 방법 검토에 사용되었고, 나머지 400개 문제에서는 시뮬레이티드 어닐링 방식이 53.8%, 에이전트 수정 모델이 50.8%의 정확도를 보였다.

참고로, 앞서 MIT 연구진은 AI 에이전트를 이용해 반복 출력을 추적하고 가중치를 수정한 바 있으며, 해당 연구에서 MATH-500 점수가 7.9%에서 48.1%로 상승했다고 발표한 바 있다. 이번 논문의 0.8B 실험은 이전 에이전트가 선택한 층을 재사용했으나, 2B 실험에서는 수정 전 모델만으로 수정할 층과 수정량을 선별했다.

수정 비용 및 평가 범위의 한계

논문 내 비용 표에 따르면, Tree-Ising의 0.8B 절차를 한 번 실행하는 데 순전파 요청 4회, 약 31분, 그리고 0.90달러(약 1,200원)가 소요되었다. 반면, 기존 에이전트가 수정 방법을 탐색하는 과정에는 순전파 요청 50회, LLM 대화 158회, 총 8,970만 토큰 처리, 약 15.6시간, 그리고 312달러(약 41만 7천 원)가 필요하다고 계산되었다.

이러한 비용 차이는 기존 에이전트의 수정 방법 탐색 과정과 Tree-Ising의 고정된 절차 1회 실행을 비교한 것이다. Tree-Ising 절차는 에이전트의 공개 로그에서 얻은 수정 층과 수정량을 재사용했으며, 양쪽 방법의 개발 비용은此次 계산에서 제외되었다.

IBM Heron 양자컴퓨터 실험은 가중치 수정 문제에서 변수 8개만을 추출한 개념 검증 수준이었으며, 연구진은 이 결과를 전체 모델에 적용하여 정확도를 측정하지 않았다. 또한, 이번 연구의 평가 범위는 큐원 3.5 계열 두 모델의 수학 문제와 반복 출력 현상에 한정되었으며, 일반 언어 능력이나 다른 모델 계열에서의 동일 효과 여부는 평가되지 않았다.

免责声明：

本网站、超链接、相关应用程序、论坛、博客等媒体账户以及其他平台和用户发布的所有内容均来源于第三方平台及平台用户。百亿财经对于网站及其内容不作任何类型的保证，网站所有区块链相关数据以及其他内容资料仅供用户学习及研究之用，不构成任何投资、法律等其他领域的建议和依据。百亿财经用户以及其他第三方平台在本网站发布的任何内容均由其个人负责，与百亿财经无关。百亿财经不对任何因使用本网站信息而导致的任何损失负责。您需谨慎使用相关数据及内容，并自行承担所带来的一切风险。强烈建议您独自对内容进行研究、审查、分析和验证。

展开阅读全文