EntropicaPublic

三月更新 我需要从私有仓库迁移一些工作过来。关于使用大规模多头模型并将混合器（mixer）与读出（readout）函数分离的探索仍在继续。目前正在一个 3B 等效模型上训练中文 TinyStories，该模型可以轻松地在 8GB GPU 上训练。我们预计所需 GPU 内存可减少 80-90%。下周将迁移更多工作过来。 一月更新 假期过得很愉快。首批知识产权（IP）申请已提交。我们完成了几个采用全光学推理（无需 GPU！）的概念验证（POC），以探索可能性的边界： 1. AlphaGo，一个近似酉的、基于玻恩规则坍缩的全光学围棋程序（这是经过一夜训练得出的）...