EntropicaPublic

Atualizações de março Preciso transferir parte do trabalho dos repositórios privados. A exploração do uso de modelos com um grande número de cabeças, com funções de mixer e readout separadas, continua. Atualmente estamos treinando um TinyStories em chinês em um modelo equivalente a 3B, que treina...