역전파 없는 AI 훈련법: 획기적인 발전인가, 과장된 주장인가?

01본문 요약

02Reddit 댓글 요약

• 새로운 훈련 방식 소개 및 기술적 특징

  Qlabs의 'noise' 프로젝트로 불리는 역전파 없는 신경망 훈련 방식(활성화 교란을 통한 그래디언트 추정)이 소개되었으며, 기존 역전파 기반 방식보다 대역폭 소모가 적어 분산 학습에 유리하고, 미분 불가능한 손실 함수를 사용할 수 있다는 잠재력이 언급됨.

• 성능 및 효율성 논란

  4,000배 성능 향상은 기존 역전파 없는 방식 대비이며, 현재 역전파 기반 방식보다는 다소 낮은 성능을 보이지만 근접하고 있음이 명확히 설명됨.

• 확장성 및 실현 가능성 의문

  소규모 모델에서 시연되었으나, 대규모 모델에서의 확장성 및 실제 적용 가능성(특히 차원 폭발 문제)에 대한 회의론이 제기되었고, 지속 학습(continual learning) 부분에서의 한계(망각 문제, 목표 정의의 어려움)도 지적됨.

• 기대 및 커뮤니티 반응

  Meta, ValsAI 등 여러 기관의 기여자들이 참여한 커뮤니티 프로젝트이며, 일부 사용자는 직접 소규모 모델로 실험 성공 후 흥분을 표하기도 했지만, 너무 좋은 내용이라 믿기 어렵다는 반응과 과장된 제목이라는 비판도 존재함.

• 하이브리드 학습 제안

  대부분의 훈련에 이 새로운 방식을 사용하고, 주기적인 정교화(refinement)에는 역전파를 활용하는 하이브리드 접근 방식이 제안됨.