llm-circuit-finder

llm-circuit-finder 저는 Ng의 RYS 방식을 재현했고, Qwen2.5-32B에서 특정 3개 레이어를 복제하면 추론 능력이 17% 향상되고, Devstral-24B에서 레이어 12-14를 복제하면 BBH에서 논리 추론 점수가 0.22→0.76으로 향상된다는 사실을 발견했습니다. 훈련도, 가중치 변경도 없이 동일한 회로를 통해 은닉 상태를 두 번 라우팅했을 뿐입니다. 도구가 포함되어 있습니다. AMD GPU 2개, 저녁 1회. llm-circuit-finder 3개 레이어 복제. 훈련 없음. 논리 추론 점수 0.2...