MEDICAL DECISION MODEL LEADERBOARD

Medical decisions,
beyond accuracy.

不止答对,更要稳定、知边界、可信赖。
探索 Jev、Jev-like 与大语言模型的医学决策表现。

30modelsJev · Jev-like · LLMs
15datasets四个医学领域
8,742instances医学决策题目
READ THE PAPER · arXiv:2610.18529How Reliable Are System-One Decisions in Medicine?A Comparative Study of Jev, Jev-like Models, and LLMs阅读论文 ↗
01 / PERFORMANCE

能力与稳定性的全景

如何阅读这些结果

01 · 整体表现

15 个集合分别计算 Acc 和 macro-F1,再对数据集等权平均。A/B/C/D 同样在各自类别内等权。不能直接由四个类别的均值得到 Overall。

02 · 格式鲁棒性

标签重标、选项乱序、逐项二分类 OBS。选项身份对齐后计算决策反转率。平均反转率为三个变体的数据集均值再平均;方差单位为 pp²。

03 · 弃权感知

仅 B 类 Clinical Judgment。NONE 替换使用 4 个适用数据集、2,382 条;ABSTAIN 使用 6 个数据集、2,501 条。保留准确率同时对比原始全集和同一保留子集。

04 · 概率可靠性

Choice 与 OBS 各按所选答案的概率筛选。OBS 将各候选的肯定概率线性归一化。阈值和 global top 比较均池化 8,742 条,只报 Acc、N 和 coverage,不报筛选子集 F1。

阅读提示

Jev 参数规模未公开;其余括号为公开模型/基座总规模,不等同激活参数量。8,742 为题目数,不是独立患者数。SCT 和 Ramaswamy 的 Acc 接受参考答案集合,F1 仅使用唯一参考答案子集。空保留集显示“—”,不记作 0;GLiNER 在 SCT 无保留样本,其保留均值不含该集合。

StartLux v1.1 展示 Instant 版本,内部 NONE 检查关闭。概率分布不是校准曲线,排名不代表统计显著性。

访问次数

累计浏览—
今日浏览—

正在读取访问统计。

打开或刷新页面计一次;切换维度、搜索和筛选不重复计数。这是浏览次数(PV),不是独立访客数(UV),也未做机器人过滤。

全站浏览次数保存在服务器数据库中,不依赖某台电脑,也不会因关闭浏览器而清零。本站计数程序仅保存累计次数、今日次数和统计日期,不保存 IP、Cookie 或个人身份。仅统计本站页面,不追踪论文链接的访问。托管平台可能处理提供服务所需的网络日志。