与以往侧重于“模型是否能回忆知识”或“能否遵循既定步骤”的基准测试不同,GeneBench-Pro 旨在模拟真实的科学研究场景,要求模型在面对“模糊、不完整,甚至包含干扰信息的数据”时,进行判断和分析以得出结论。

GeneBench-Pro 涵盖了基因组学、定量生物学和转化医学等多个领域,共设有 129 道题目,分布在 10 个主要领域21 个子领域。这些领域包括统计遗传学、群体遗传学、功能基因组学和蛋白质组学等。每道题目都为模型提供了接近真实研究的数据集、简要的实验背景介绍以及一个与后续决策相关的目标问题。模型需要独立完成数据探索、选择分析方法,并在过程中不断调整策略,最终给出答案。

为了规避传统长流程基准测试中常见的评分不准确问题,OpenAI 在开发 GeneBench-Pro 时采用了合成数据。这是因为如果直接使用过往的真实数据出题,常常存在多条可行的分析路径,导致模型即使使用了不恰当的方法也可能偶然获得正确答案。

通过使用合成数据,OpenAI 对底层因果关系和数据生成过程拥有完全的控制权,从而能够更精确地评估模型是否真正理解了问题,而非仅仅走了“捷径”。

目前,OpenAI 已在 Hugging Face 上公开了 10 道 GeneBench-Pro 的示例题目,并提供了一个交互式界面供外部研究人员进行体验。后续,将有 50 道题目开放给 Artificial Analysis 进行第三方独立评估,以检验不同模型在这一基准测试中的实际表现。