Files
marqdo/doc/roadmap/blind-experiment-2026-09-23-mimo-v2.6-pro.md
cflmy 9331af78e2 release(2.8.0): 合入 CHANGELOG/README/发版说明/skills prove 任务;CI 链接指向 doc/releases
- CHANGELOG.md:v2.8.0 条目(中英双语);
- README.md:版本行 2.7.1→2.8.0 + 愿景第 6 条(知识可证明);
- doc/releases/v2.8.0.md:双语发版说明(亮点/用法/已知限制);
- skills/marqdo-dev/index.mq.md:新增 prove 任务(路径/目录模式/
  require_lean/json;参数用 + 行声明升参,check 与 narrative-ratio 通过);
- 设计文档 §12.5 标记已合入;发版链接统一指向 doc/releases/v2.8.0.md。
2026-11-18 10:29:26 +08:00

2.6 KiB
Executable File
Raw Permalink Blame History

盲测实验(§5.2(b) 查询式 vs 全文档背诵)—— 2026-09-23

模型 mimo-v2.6-pro @ https://llm.cflmy.cn/v1
样本 6 任务(业务 3 + QuixBugs 改写 3),oracle = stdout 精确匹配
协议 系统提示词 = 硬规则 12 条 + 契约表三形状(两臂同文);唯一变量 = 语法来源:query 臂 MLSP 查询通道(≤3 次)vs docs 臂完整 markup 参考(背诵)
修复 validate 诊断 + stderr 回喂,≤2 次修复;temperature=0,max_tokens=8000

汇总(判据:Q 通过率不劣于 D;首轮语法错误率 Q≤D;token Q≤70%%D;轮次不升)

臂 通过(一轮) 通过(最终≤3) 首轮语法错误 首轮契约诊断 平均修复轮(过例) token 合计(prompt+completion) 弃权/基础设施
query 0/1 0/1 1/1 0/1 0.00 12428(10255+2173) 5
docs 0/0 0/0 0/0 0/0 0.00 0(0+0) 6

逐例

例 臂 结果 修复轮 首轮语法错 首轮契约诊断 token(p+c) 查询 备注
claims_reserve_settle query infra 0 否 否 1424+324 3 非 JSON / 空体:
contract_milestone_pay query infra 0 否 否 0+0 0 非 JSON / 空体:
vendor_po_gate query infra 0 否 否 1417+213 3 非 JSON / 空体:
qb_gcd query load-fail 0 是 否 5011+1265 0 {"error":{"code":"mlsp.parse_error","message":": unexpected expression input: "y""},"id":1,"ok":false} | stderr=error: /tmp/marqdo_blind_1710203_query_qb_gcd.mq.md: unexpected expression input: "y"
qb_max_sublist_sum query infra 0 否 否 1216+172 3 非 JSON / 空体:
qb_get_factors query infra 0 否 否 1187+199 3 非 JSON / 空体:
claims_reserve_settle docs infra 0 否 否 0+0 0 非 JSON / 空体:
contract_milestone_pay docs infra 0 否 否 0+0 0 非 JSON / 空体:
vendor_po_gate docs infra 0 否 否 0+0 0 非 JSON / 空体:
qb_gcd docs infra 0 否 否 0+0 0 非 JSON / 空体:
qb_max_sublist_sum docs infra 0 否 否 0+0 0 非 JSON / 空体:
qb_get_factors docs infra 0 否 否 0+0 0 非 JSON / 空体: {"error":{"message":"upstream connection failed","type":"server_error","param":n…

报告由 tests/blind_experiment.rs 生成;材料冻结于 tests/blind/(任务书 + docs-bundle),判据见 doc/roadmap/perf-validation.md §2。