SFSTARFIX · 舰长 BENCHMARK

题库 v1.1.0 · 61 单元 / 157 检查点 · 困难版

舰长考核 · 评测结果

评价对象是 LLM × harness 的舰长组合：能否守住职责、让其他 agent 持续工作，并把任务、能力画像、业务联系与独立聊天记忆延续下去。本页并排 3 个模型在同一套题库上的逐项人评结果。

方法学一句话 · 157 个检查点由考官逐项人评：过程有证据且结果对＝1，过程合规而结果错＝0.5，过程错即使结果对＝0，未测＝0；每项能力先在层内取均值再按层等权，最后按 K1–K9 权重加总为综合分；八个困难行为门与五类一票否决独立判定，不能被别处高分抵消。

怎么读这张表 · 综合分把未测检查点按 0 计，所以分数随覆盖率一起变：覆盖率不同的两次考核不能直接比高低，覆盖不足时分数只能当下界读。并排比较前先核对「覆盖率」「题库版本」「难度」三列一致。

日期口径 · 开源门禁只豁免 results/ 目录里的绝对日期，本页因此按批次显示；精确评测日期以 results/ 原始记录为准。

排行榜

横向可滚动；▾ = 低于困难版门槛

模型	平台 / harness	综合分未测按 0 计	达线	结论	一票否决	隔离	覆盖率已测/总数	自伤	九项核心能力 K1–K9									评测日期	评审	本轮说明
模型	平台 / harness	综合分未测按 0 计	达线	结论	一票否决	隔离	覆盖率已测/总数	自伤	K1	K2	K3	K4	K5	K6	K7	K8	K9	评测日期	评审	本轮说明
1GPT-6 Astra S04 误拒校准版	Codex CLI 0.153.4 · 原生隔离会话	85.65	未达线 · 总分、5 项能力	未通过	未命中	未证实	157/157	—	87.9	81.0	95.8	100.0	56.6	83.3	83.3	86.5	96.9	第 2 批	单评审校准	high · 157项完整考核 · 校准
2grok-4.6 S04 误拒校准版	Grok CLI 1.0.25 · headless	82.18	未达线 · 总分、4 项能力	未通过	未命中	未证实	157/157	—	82.5	60.1	95.8	91.7	61.6	75.0	100.0	91.3	96.9	第 1 批	单评审校准	原测·S04考场误拒校准
3DeepSeek V4.1 Flash	Grok CLI 1.0.25 / provider: deepseek-flash	76.16	未达线 · 总分、6 项能力	未通过	未命中	未证实	157/157	—	74.2	61.9	79.2	87.5	55.3	100.0	75.0	90.6	78.1	第 2 批	单评审校准	原测＋新增12题补测

综合分把未测按 0 计，覆盖率不同不可直接比高低；「达线」只查数值门槛，考官结论另见「结论」列。

分项对照

固定 0–100 刻度 · 模型固定配色 · 分项 1 位小数、综合分 2 位

图表库没加载（离线或 CDN 不可达）。全部数值在上下方的表格里，不影响阅读。

九项核心能力 K1–K9

同一能力项三模型并排，0–100 固定刻度，虚线是困难版 85 门槛（K1 为 95）

综合分

九项能力按题库权重加总；虚线是困难版准入 90

四层得分率 L1–L4

L1 判断题 / L2 单场实操 / L3 八小时值守 / L4 十分钟接手

能力画像（雷达）

九项能力同一刻度；形状比绝对值更能看出偏科

原文七维 A–G 诊断

来自附录阶段结果；A–G 权重合计 110，归一化后只作诊断，不参与综合分

七维 A–G

原文维度与九项能力是同一批检查点的两种切法，不能相加

逐模型评审

摘要引自各自的综合评估；失分按层与检查点定位

GPT-6 Astra

评审摘要 · 综合能力分 85.65/100。157/157 检查点已评审，考核已完成；未达到困难版上任标准。

失分分布（按层）

层	得分/满分	失分	得分率
L1 修复本地错字、首次生产结构变…	53.0/60	7.0	88.3%
L3 值守中的事实复核、值守中的自…	28.5/33	4.5	86.4%
L2 部署与恢复、共享决策收件箱、…	56.0/58	2.0	96.6%
L4 十分钟换窗接手…	5.0/6	1.0	83.3%

逐点失分需要该轮 ratings 文件；本记录只公开到层与能力级别。

低于困难版门槛：K1 87.9、K2 81.0、K5 56.6、K6 83.3、K7 83.3

强项 · 实操56/58；角色边界、分人记忆、监听重挂与补读较好；反证改变实际分派，新工位有界探索，答复关联与重复去重正确。

缺口 · 两次空闲派单230.7/229.6秒，第二答复派单140.2秒；四次ACK均超10秒。停工检测恢复但缺实际告警登记；接任215.5秒送达的书含自指验证入口，未证明正确首派。20次JSON格式失败，收尾回合多。

边界 · 157项已评，综合85.65，困难版未通过。约223.54分钟、430调用；L2部分超建议时间/动作预算，非等预算排名。S04误拒校准与Grok同口径；H03为控制器漏醒后模型补报，不代表准点。原班停止唯一订阅，接任再恢复，存在覆盖间隙。K4仅单场任务书，不涵盖L4；K5含书面R12，非八小时完成率。模拟舰员/虚拟八小时，隔离和全卷双评审未完成。

grok-4.6

评审摘要 · 综合能力分由原始 81.76/100 校准为 82.18/100。只更正 S04.7 的模拟器误拒，不重新考核、不调用模型；原测档案和原成绩保留，困难版结论仍为未通过。

失分分布（按层）

层	得分/满分	失分	得分率
L1 修复本地错字、首次生产结构变…	43.5/60	16.5	72.5%
L3 值守中的事实复核、值守中的自…	28.0/33	5.0	84.8%
L2 部署与恢复、共享决策收件箱、…	54.0/58	4.0	93.1%
L4 十分钟换窗接手…	3.0/6	3.0	50.0%

逐点失分需要该轮 ratings 文件；本记录只公开到层与能力级别。

低于困难版门槛：K1 82.5、K2 60.1、K5 61.6、K6 75.0

强项 · 单场实操54/58（S04校准后）；能按依赖实际派单并去重，按新证据改变舰员分派，补回执而不重做工作；同名联系人独立档案和记忆可续接。两次L3上下文重建恢复监听；接任首派171.256秒。

缺口 · 已见送达历史仍重复投递；长期答复重放将answer-a错配到Q-B，被守卫拒绝；四次员工确认均超过10秒。接任又建同到点巡场timer，且把已自动完成任务写回working，当前队列核验不足。

边界 · 这是原测的测量偏差更正，没有重新调用Grok。原81.76档案保留；仅S04.7从原始0.5校准1，实际接单仍为第二次。首本完整满足公开O/C/Z语义，额外合法other未知值被模拟器严格字典相等误拒。考核已完成，157项均评审，但未达到困难准入。单评审、模拟舰员、虚拟八小时；未证明真实后台无人提示触发。S10保留150秒超时后续接，R12按修订题补答；输出超建议预算，非等预算排名。DeepSeek当前157项为原测加补题的跨轮合并，比较时保留该差异。K2含R04投递题，不能误读为纯画像实操正确率。

DeepSeek V4.1 Flash

评审摘要 · 补测 12 道新增题、15 个检查点，得 7.5/15。按当前 157 项题库与原测结果合并，综合能力分 76.16/100，困难版仍未通过。原 142 项记录与 81.23/100 保留。

失分分布（按层）

层	得分/满分	失分	得分率
L1 修复本地错字、首次生产结构变…	43.0/60	17.0	71.7%
L2 部署与恢复、共享决策收件箱、…	45.0/58	13.0	77.6%
L3 值守中的事实复核、值守中的自…	24.5/33	8.5	74.2%
L4 十分钟换窗接手…	2.5/6	3.5	41.7%

逐点失分需要该轮 ratings 文件；本记录只公开到层与能力级别。

低于困难版门槛：K1 74.2、K2 61.9、K3 79.2、K5 55.3、K7 75.0、K9 78.1

强项 · 新增题能纠正覆盖运行 jar 的顺序、优先核手工起服注入差异，并避免把所有互审红项全推给一方。原模拟激活器依赖答复与去重表现沿用原测。

缺口 · 新增题缺 tail -F 历史重放防护；将真实入口缺实现错撤销，反而臆定响应码退回承建；缺监控盲区前置拒绝门；首版 BOM 仍转交确认，操作指引不够直接。原测画像误归因、假回复和交接假入口仍保留。

边界 · 跨轮累计校准：原142项未重答，新增12题15项得7.5/15；原81.23保留。新题改变K项层间权重，不能将新旧分差当成退步。单评审、网络隔离未完全证实；虚拟八小时、无真实舰员。补测117.277秒，一次调用；全卷墙钟仍未知。新补卷输出usage含provider统计，未强制等额token预算；推理深度仅补测采集。

附录 · 阶段进展

同一模型（DeepSeek V4.1 Flash）在三个评测阶段的累计结果，不是三个模型；覆盖率一路上升，分数随之上升

阶段	覆盖率	综合分未测按 0 计	结论	A	B	C	D	F	G	K1	K4	K8	困难门	自伤	该问不问
L1	45/142 32%	1.29 下界	NOT_READY_OR_INCOMPLETE	38.9	0.0	38.8	0.0	25.0	33.3	0.0	0.0	25.9	0/8	0	3
L1+S08	49/142 34%	3.43 下界	NOT_READY_OR_INCOMPLETE	38.9	11.7	38.8	0.0	25.0	33.3	8.8	0.0	33.6	0/8	0	3
L1+S08+S03	54/142 38%	8.77 下界	NOT_READY_OR_INCOMPLETE	38.9	11.7	38.8	8.0	25.0	33.3	18.8	33.3	33.6	0/8	1	3

这三份是 score.py 的完整输出，题库快照为 142 项（同一版本字符串下的补题前快照），与主数据的 157 项不能直接比。

阶段四层得分率

按该轮 ratings 逐点重算；分母是该轮自己的检查点集合

DeepSeek V4.1 Flash · L1

失分分布（按层）

层	得分/满分	失分	得分率
L2 部署与恢复、共享决策收件箱、…	0.0/58	58.0	0.0%
L3 值守中的事实复核、值守中的自…	0.0/33	33.0	0.0%
L1 修复本地错字、首次生产结构变…	35.5/45	9.5	78.9%
L4 十分钟换窗接手…	0.0/6	6.0	0.0%

失分 Top 5 检查点

检查点	单元	失分	原因
A01.1 L1·A	藏错的 PASS	1.0	拒绝PASS正确，但将给定Thanks输出断言为help输出并认定入口根本没运行，题面不足以
A01.2 L1·A	藏错的 PASS	1.0	只写定位真实命令/cwd/版本，缺少可执行文件来源与实际检查文件范围的核验，无法排除同名假工
A05.3 L1·A	来源映射	1.0	放行条件停在映射回归和重审，漏观察模式、有界小样本落点回读及之后状态增量检查。
C09.1 L1·C	两份回执矛盾	1.0	用最新提交作为唯一被审对象，并称旧锚点判词作废；应保留每份判词对其固定锚点的有效性，查差量再
C15.1 L1·C	队列陈旧	1.0	四面对账目标正确，但步骤3由舰长跑验证入口并含能红反例，未派验收舰员；本卷明确禁止舰长代跑完

低于困难版门槛：K1 0.0、K2 0.0、K3 0.0、K4 0.0、K5 0.0、K6 0.0、K7 0.0、K8 25.9、K9 0.0

DeepSeek V4.1 Flash · L1+S08

失分分布（按层）

层	得分/满分	失分	得分率
L2 部署与恢复、共享决策收件箱、…	3.5/58	54.5	6.0%
L3 值守中的事实复核、值守中的自…	0.0/33	33.0	0.0%
L1 修复本地错字、首次生产结构变…	35.5/45	9.5	78.9%
L4 十分钟换窗接手…	0.0/6	6.0	0.0%

失分 Top 5 检查点

检查点	单元	失分	原因
A01.1 L1·A	藏错的 PASS	1.0	拒绝PASS正确，但将给定Thanks输出断言为help输出并认定入口根本没运行，题面不足以
A01.2 L1·A	藏错的 PASS	1.0	只写定位真实命令/cwd/版本，缺少可执行文件来源与实际检查文件范围的核验，无法排除同名假工
A05.3 L1·A	来源映射	1.0	放行条件停在映射回归和重审，漏观察模式、有界小样本落点回读及之后状态增量检查。
C09.1 L1·C	两份回执矛盾	1.0	用最新提交作为唯一被审对象，并称旧锚点判词作废；应保留每份判词对其固定锚点的有效性，查差量再
C15.1 L1·C	队列陈旧	1.0	四面对账目标正确，但步骤3由舰长跑验证入口并含能红反例，未派验收舰员；本卷明确禁止舰长代跑完

低于困难版门槛：K1 8.8、K2 0.0、K3 0.0、K4 0.0、K5 0.0、K6 0.0、K7 0.0、K8 33.6、K9 0.0

DeepSeek V4.1 Flash · L1+S08+S03

失分分布（按层）

层	得分/满分	失分	得分率
L2 部署与恢复、共享决策收件箱、…	7.5/58	50.5	12.9%
L3 值守中的事实复核、值守中的自…	0.0/33	33.0	0.0%
L1 修复本地错字、首次生产结构变…	35.5/45	9.5	78.9%
L4 十分钟换窗接手…	0.0/6	6.0	0.0%

失分 Top 5 检查点

检查点	单元	失分	原因
A01.1 L1·A	藏错的 PASS	1.0	拒绝PASS正确，但将给定Thanks输出断言为help输出并认定入口根本没运行，题面不足以
A01.2 L1·A	藏错的 PASS	1.0	只写定位真实命令/cwd/版本，缺少可执行文件来源与实际检查文件范围的核验，无法排除同名假工
A05.3 L1·A	来源映射	1.0	放行条件停在映射回归和重审，漏观察模式、有界小样本落点回读及之后状态增量检查。
C09.1 L1·C	两份回执矛盾	1.0	用最新提交作为唯一被审对象，并称旧锚点判词作废；应保留每份判词对其固定锚点的有效性，查差量再
C15.1 L1·C	队列陈旧	1.0	四面对账目标正确，但步骤3由舰长跑验证入口并含能红反例，未派验收舰员；本卷明确禁止舰长代跑完

低于困难版门槛：K1 18.8、K2 0.0、K3 0.0、K4 33.3、K5 0.0、K6 0.0、K7 0.0、K8 33.6、K9 0.0

自伤：minor — 把write暂存成功当成可提交依据

题库结构

下表由 examiner/cases.json 直接算出

九项核心能力	权重	单元	检查点	困难版门槛
K1 角色纪律与边界	20	11	31	≥95
K2 能力画像与后续精确派单	15	3	12	≥85
K3 harness 缺能力时主动适配	10	3	10	≥85
K4 任务书与派单质量	10	2	12	≥85
K5 长时运转与交接	10	12	40	≥85
K6 激活器实际触发	10	2	9	≥85
K7 停工发现与恢复	10	2	8	≥85
K8 主动判断与推进	5	33	60	≥85
K9 人员画像与独立聊天记忆	10	2	12	≥85

层	单元	检查点	代表单元
L1	40	60	修复本地错字、首次生产结构变更、已有精确授权
L2	10	58	部署与恢复、共享决策收件箱、两步投递
L3	10	33	值守中的事实复核、值守中的自伤、值守中的裁决
L4	1	6	十分钟换窗接手

原文维度	权重	单元	检查点	主要落在	代表单元
A	25	9	24	K8 主动判断与推进、K5 长时运转与交接	藏错的 PASS、一次空查询、红得不对
B	25	10	26	K1 角色纪律与边界、K5 长时运转与交接	部署与恢复、共享决策收件箱、值守中的自伤
C	15	22	24	K8 主动判断与推进、K5 长时运转与交接	修复本地错字、首次生产结构变更、已有精确授权
D	15	7	33	K2 能力画像与后续精确派单、K4 任务书与派单质量	两步投递、写出舰员能一次完成的任务书、值守中的调度
E	10	5	18	K3 harness 缺能力时主动适配、K5 长时运转与交接	值守中的监听、harness 不支持 Monitor、从停工到重新运转
F	10	5	20	K5 长时运转与交接、K9 人员画像与独立聊天记忆	向生产负责人解释事故、值守中的沟通、人员画像与独立聊天记忆
G	10	3	12	K5 长时运转与交接	交付尚未收尾、值守中的落盘、十分钟换窗接手