语言模型

给定文本序列 ,语言模型的目标是估计联合概率

应用：

• 预训练模型如 BERT,GPT
• 生成文本，给定前面几个词，不断的使用 来生成后续文本
• 判断多个序列中哪个更常见

使用计数建模

• 若序列长度为2 ， 预测
  
  n为总词数（即为词库中所有词的数量， , 是单个单词和连续单词对 的出现次数
• 序列长度3同理

N元语法

• 当序列很长，因为文本量不够大，很可能

• 使用马尔科夫假设缓解问题

  • 一元语法:
    此语法其实有点像各事件相对独立的概率乘积

  • 二元语法
    

  • 三元语法同理