该报告主要探讨了大规模语言模型中的语言与知识相关内容，包括多语言对齐现象、模型训练中的问题以及语言与知识在模型参数中的体现等方面。

1. 多语言对齐现象

Multilingual BERT和大语言模型（如LLaMA）中存在多语言对齐现象，不同语言在句法关系上有很强的对齐性，通过跨语言训练可在词性标注任务中获得高结果，表明多语言语义在模型中已完成对齐。

2. 模型训练相关问题

TOKEN扩展对模型影响大，扩展后可能丢失原始信息，需大量训练恢复；SFT数据量扩展到一定程度后，大规模二次预训练意义不大；使用中文二次预训练在知识层面提升模型能力不明显；训练中存在CODING - SWITCH现象；多数LLM迭代1轮后效果提升不明显。

3. 语言与知识在模型参数中的体现

模型参数中有明显语言核心区，通过特定实验确定（如对不同语言数据二次预训练，观察参数变化累加）。扰动语言核心区参数，模型的PPL呈现爆炸趋势；模型具备一定“代偿”能力，如使用中文训练可恢复中文能力；仅修改1个语言核心区参数会使模型混乱。同时，二次预训练需注意数据配比，避免影响模型能力，针对特定任务微调时要保护语言能力关键区。

免责声明：我们尊重知识产权、数据隐私，只做内容的收集、整理及分享，报告内容来源于网络,报告版权归原撰写发布机构所有，通过公开合法渠道获得，如涉及侵权，请及时联系我们删除，如对报告内容存疑，请与撰写、发布机构联系