llm-circuit-finder

llm-circuit-finder 我复现了 Ng 的 RYS 方法，并发现：在 Qwen2.5-32B 中复制 3 个特定层可提升推理能力 17%，在 Devstral-24B 中复制 12-14 层可将逻辑推理从 0.22 提升至 0.76（BBH 基准）——无需训练，无需调整权重，只需将隐藏状态两次经过同一电路。工具已包含。两块 AMD GPU，一个晚上。 llm-circuit-finder 复制 3 个层。无需训练。逻辑推理从 0.22 提升至 0.76。 该工具包用于发现并利用 Transformer...