微软研究团队最新改进的Medprompt提示策略，已使GPT-4在MMLU测试上的表现提升至90.10%，创下该测试的最高分。此成绩超越了近期发布的Gemini Ultra的90.04%。

在改进后的Medprompt+策略中，GPT-4运用特定方法决定最终答案。该策略评估模型对不同候选答案的置信度，即认为每个答案正确的可能性。使用Medprompt+时，GPT-4不仅生成答案，还对每个答案的置信度进行评估。这种置信度基于模型内部计算，反映模型对自己答案的确信程度。

接着，GPT-4根据这些置信度选择最终答案。如果对某答案置信度高，则该答案更可能成为最终选项。这方法让GPT-4在回答问题时更精确，因为它基于对每个可能答案的置信度进行有根据的选择，而非随机挑选。

这一研究表明，通过系统化提示工程和策略创新，大型语言模型在复杂任务上的性能可以显著提升。微软也公布了最新研究成果和Medprompt+仓库。

详见：https://microsoft.com/en-us/research/blog/steering-at-the-frontier-extending-the-power-of-prompting/

github：https://github.com/microsoft/promptbase