chatGLM中GLM设计思路

• GLM是结合了MLM和CLM的一种预训练方式，其中G为general；在GLM中，它不在以某个token为粒度，而是一个span（多个token），这些span之间使用自编码方式，而在span内部的token使用自回归的方式，即对于span中的每个token训练时可以使用span外的上下文信息，以及span内该token的上文信息。