Astra의 Qwen 가중치 조작 및 성능 개선 주장은 과연 진실일까?

01본문 요약

02Reddit 댓글 요약

• Astra의 가중치 조작 가능성 및 한계

  LLM이 대규모 원시 가중치를 컨텍스트 창에 담아 직접 읽고 쓰는 것은 어렵지만, Astra가 172k 파라미터의 작은 모델 가중치를 읽고 쓴 사례는 매우 인상적이라고 평가합니다.

• Qwen 성능 향상 주장에 대한 논쟁

  Astra가 경사 하강법 없이 Qwen의 성능을 향상시켰다는 주장에 대해 논쟁이 있습니다. 일부는 실제로 이루어졌다고 보지만, 다른 이들은 '사고 모드'를 통해 얻어진 결과이며, 이 모드를 제외하면 성능 향상(47%에서 48%)은 미미했다고 지적합니다.

• 능력의 기원

  이러한 가중치 조작 능력이 모델의 자율적인 능력일 수도 있지만, Recursive Self-Improvement (RSI) 경쟁 속에서 주요 AI 기업들이 의도적으로 훈련한 결과일 수도 있다고 추측합니다.

• 기존 가중치 공간 프로그래밍 기술

  DeepMind의 RA.SP 언어처럼 경사 하강법 없이 복잡한 알고리즘을 트랜스포머 가중치로 직접 컴파일하는 기술이나, 하이퍼네트워크, 텍스트-투-LoRA 같은 가중치 텐서 생성 기술이 이미 존재한다고 언급됩니다.