该报告主要探讨了大规模语言模型中的语言与知识相关内容，包括多语言对齐现象、模型训练中的问题以及语言与知识在模型参数中的体现等方面。 1. 多语言对齐现象 Multilingual BERT和大语言模型（如LLaMA）中存在多语言对齐现象，不同语言在句法关系上有很强的对齐性，通过跨语言训练可在词性标注任务中获得高结果，表明多语言语义在模型中已完成对齐。 2. 模型训练相关问题 TOKEN扩展对模型影响大，扩展后可能丢失原始信息，需大量训练...