2024-12-21
2023年大规模语言模型中语言与知识报告
该报告主要探讨了大规模语言模型中的语言与知识相关内容,包括多语言对齐现象、模型训练中的问题以及语言与知识在模型参数中的体现等方面。 1. 多语言对齐现象 Multilingual BERT和大语言模型(如LLaMA)中存在多语言对齐现象,不同语言在句法关系上有很强的对齐性,通过跨语言训练可在词性标注任务中获得高结果,表明多语言语义在模型中已完成对齐。 2. 模型训练相关问题 TOKEN扩展对模型影响大,扩展后可能丢失原始信息,需大量训练...