
【AI人工智能】题库 纯公益分享
【就业+考研】笔试、面试必会
【小白从小学Python,C,Java】
[太阳]知识点名称
困惑度(Perplexity)
[太阳]知识点讲解
【困惑度(Perplexity,简称 PPL)是什么】衡量语言模型预测能力的常用指标。
可以理解为:模型在预测下一个词时,到底有多“不确定”。
特征是:数值越低,说明模型越“有把握”;数值越高,说明模型越“困惑”。
【例子1】让模型补全这句话:“猫坐在____。”
模型 A 的预测:沙发 90%、地板 5%、桌子 3%、其他 2%
模型 A 几乎确定答案就是“沙发”,所以困惑度低。
模型 B 的预测:沙发 25%、地板 25%、桌子 25%、床 25%
模型 B 觉得四个词都差不多,拿不准答案,所以困惑度高。
由此可以看出:模型给真实出现的那个词分配的概率越高,困惑度就越低;分配的概率越低,困惑度就越高。
【例子2】让模型补全“今天天气真____”,它可能给出这样的预测:
好 0.80、热 0.12、冷 0.05、其他 0.03
如果真实的下一个词确实是“好”,那么模型给“好”的概率越高,就说明它预测得越准,困惑度也越低。
【从数学上看】困惑度等于模型在测试文本上的平均负对数似然(也就是交叉熵损失)取指数后的结果。本质上,它就是把“预测得准不准”用一个统一的数值来衡量。因此在相同测试集和相同分词方式下,困惑度越低,通常说明模型给真实 Token 分配的平均概率越高,语言预测能力也越强。
【需要注意的是】困惑度衡量的只是模型“预测文本”的能力,并不直接表示模型的输出速度、参数数量或训练数据规模。
[太阳]例题(单选题)
相同测试条件下,困惑度越低说明什么?
A选项:模型对真实Token预测能力更强
B选项:模型输出速度更快
C选项:模型参数一定更多
D选项:训练数据一定更多
[太阳]答案与题解
答案、题解:见评论区
[太阳]温馨期待
期待大家提出宝贵建议,互相交流,收获更大,助教:tzk
#AI创造营# [握手] #科技风向标