diff --git a/doc/next/014.md b/doc/next/014.md new file mode 100644 index 0000000..a2c727d --- /dev/null +++ b/doc/next/014.md @@ -0,0 +1,575 @@ +我会在后续继续完成开发,接下来我比较关心marqdo的知识编译的问题,你认为我将marqdo的函数内的语句成为锚点,或者说带标记的内容都成为锚点,方便使用[]()引用,成为知识编译的一种可行吗? + +**我认为完全可行,而且这可能是 Marqdo 实现“知识编译”最有价值的方向之一。** + +但我建议对你的设想做一个关键调整: + +> **所有可执行语句都成为编译器内部可定位的节点;所有具有明确标记的内容,都可以提升为稳定、可引用的知识锚点。** +> +> 锚点不仅用于跳转,还应该具备语义身份、依赖关系、执行能力、版本和验证状态。 + +这样,Marqdo 的函数就不再是一个只能整体调用的黑盒,而是一组能够逐层寻址、复用、验证和追溯的知识节点。 + +## **一、你的设想实际上已经有实现基础** + +我重新查看了 Marqdo `main` 分支的代码,发现你的想法与仓库已有设计高度一致,并不需要从零开始。 + +在 [可执行知识系统设计](https://github.com/cflmy/marqdo/blob/main/doc/design/executable-knowledge-system.md?utm_source=chatgpt.com) 中,你已经提出: + +- `#`:知识命名空间、类或知识实体。 +- `##`:具备参数和返回契约的可复用函数。 +- `[]()`:为函数内部的知识步骤命名,并保留原有执行语义。 +- 编译器将命名步骤转化为 `KnowledgeStep`,关联依赖、类型、来源和效果。 + +更重要的是,这不只是文档构想。目前 `src/sema/ir.rs` 已经实现了 `KnowledgeRef`、`KnowledgeStep` 和 `collect_named_steps`,并且能够识别部分遮蔽表达式、函数调用、循环和正文知识引用。 + +不过,现在的内部步骤 ID 采用类似 `#step-1`、`#step-2` 的序号形式。这种身份适合单次编译,却不适合长期知识引用:在函数前面插入一条新步骤,就可能改变后面所有步骤的编号。 + +因此,我认为下一阶段的重点不是“再增加一种锚点语法”,而是: + +**将已有的 KnowledgeStep 从编译期记录,升级为具备稳定身份的知识制品。** + +## **二、建议采用“两级锚点体系”** + +这比“把每一条语句都暴露为知识”更合理。 + +| 层级 | 生成规则 | 作用 | +| ------ | -------------------------- | ------------------ | +| 内部锚点 | 所有可执行 AST 语句自动生成 | 调试、数据流、执行追踪、增量编译 | +| 公共知识锚点 | `#`、`##`、带标记的表达式、显式标记的知识内容 | 跨函数引用、搜索、依赖分析、知识复用 | + +例如: + +``` + +# 订单定价 + +## 计算税额 + +根据订单地区查询税率,再计算应缴税额。 + +**税率 = [查询适用税率](税率库.查询(地区))** + +**税额 = [计算应缴税额](金额 * 税率)** + +*税额* + +``` + +编译器可以从这段普通 Marqdo 文档中建立以下结构: + +**订单定价** + +Class · 知识命名空间 + +**计算税额** + +Function · 公开可调用知识单元 + +**查询适用税率** + +Observe / Reuse + +**计算应缴税额** + +Derive + +数据依赖:税率 → 税额 + +**返回税额** + +Return · 函数结果 + +在这个结构中,两个标记步骤各有自己的地址,并且可以独立被查询、检查来源、进行影响分析。 + +这和普通代码索引有根本区别:它不仅知道“这个函数在哪里”,还知道**函数为什么得到这个结果,以及结果依赖哪些知识**。 + +## **三、最关键的语义区分:可引用不等于可执行** + +我认为这里必须制定严格的语义规范。 + +假设一个函数内部存在名为“查询适用税率”的锚点。 + +那么,其他文档引用它时,实际上存在三种不同需求: + +| 操作 | 期望行为 | +| ---- | --------------------- | +| 引用知识 | 找到该步骤,读取说明、实现和出处 | +| 获取结果 | 在已知输入和执行环境中取得该步骤的计算结果 | +| 复用执行 | 重新执行该步骤,产生新的计算结果 | + +**不能因为一个锚点存在,就允许它在任何地方被直接执行。** + +例如,函数内部的“计算应缴税额”依赖局部变量 `金额` 和 `税率`。假如其他函数直接引用这个步骤,编译器必须确认它需要哪些输入。 + +有两种合理的处理方式: + +- 默认只允许引用它的定义、来源和契约。 +- 需要独立执行时,必须拥有完整输入绑定;否则将它提取为独立 `##` 函数。 + +后续可以考虑由编译器自动将满足纯度、闭包与输入条件的知识步骤提升为可调用能力。但这应是第二阶段,不能在最初就隐式执行任何锚点。 + +### **不必重新设计 **`[]()`** 的基本语法** + +可以继续保留现有语义: + +``` +**税额 = [计算应缴税额](金额 * 税率)** +``` + +这里 `[]` 提供知识描述,`()` 保留表达式的执行含义。 + +另外,知识定位可以使用编译后的稳定地址,例如以下**拟议形式**: + +``` +[查看税率依据](mq://pricing/订单定价/计算税额#查询适用税率) +``` + +这应当被解释为知识引用,而不是自动重新执行“查询适用税率”。这里的 `mq://` 是建议的地址表示,不是说当前版本已经支持这样的写法。 + +我建议将 `KnowledgeRef` 按所在上下文分为: + +- 正文:解析目标和展示证据,不产生副作用。 +- 可执行表达式:按原有求值语义执行,并附带引用元数据。 +- 工具或智能体调用:额外要求可调用契约、输入闭合与权限验证。 + +这样 `[]()` 就能成为统一引用形式,同时不破坏现有 Markdown 的可读性。 + +## **四、怎样让锚点稳定** + +这是整个方案技术上最难、也最重要的地方。 + +**知识锚点不能用行号或内容哈希直接作为永久身份。** + +因为代码修改时: + +- 插入语句会改变行号。 +- 修改公式会改变哈希,但可能仍是同一个知识概念。 +- 修改描述名称不一定意味着知识实体改变。 +- 两个函数可能有相同的步骤名称。 + +因此,建议将三个概念拆开: + +| 概念 | 意义 | 变化规则 | +| ---------------- | --------- | --------- | +| `AnchorId` | 知识单元的稳定身份 | 尽量跨版本保持 | +| `ContentDigest` | 当前定义与实现 | 实现发生变化就更新 | +| `EvidenceDigest` | 来源与验证证据 | 证据变化时更新 | + +对于自动生成的锚点,可以先根据模块身份、所属函数、局部名称和结构位置确定候选身份,再通过上一版编译产物中的映射记录保持身份连续。 + +对于需要长期跨文档引用的公共知识锚点,可以允许显式稳定 ID,或者由编译器自动登记到知识索引中。**显式 ID 不必强制写在每个 **`[]()`** 中**,这样才能保持 Marqdo 的简洁性。 + +如果两个同级锚点都叫“查询适用税率”,编译器必须报告歧义,要求进一步限定,不能按出现顺序选择。 + +## **五、知识编译的最终产物应该是什么** + +我认为一个知识锚点至少需要这些字段: + +``` + +{ + "anchor_id": "pricing.tax.lookup", + "owner": "订单定价.计算税额", + "label": "查询适用税率", + "kind": "observe", + "inputs": ["地区"], + "outputs": ["税率"], + "dependencies": ["税率库.查询"], + "effects": ["read"], + "source_span": { + "file": "pricing.mq.md", + "line": 8 + }, + "content_digest": "...", + "evidence": [], + "verification": { + "resolved": true, + "tested": false, + "source_verified": false + } +} + +``` + +这是一份拟议的数据结构,`anchor_id` 仅为示例。 + +这里还有一项值得强调的区别:**知识可以编译成功,但并不代表知识在事实上正确。** + +例如读取“某地区税率”,编译器可以验证依赖、参数、数据类型、调用目标,却无法仅凭这些信息证明外部税率数据仍然有效。 + +所以应当把编译状态、测试状态、来源验证状态和领域正确性分别记录,而不能用一个 `verified=true` 概括所有问题。 + +### **推荐的编译流水线** + +1\. Parse + +读取 Markdown 与 Marqdo AST + +2\. Anchor + +为语句与标记内容建立地址和身份 + +3\. Resolve + +绑定函数、变量、知识引用和依赖 + +4\. Verify + +检查类型、契约、权限、来源和版本 + +5\. Emit + +生成知识图、锚点索引、引用锁与执行制品 + +这基本可以落在当前 `src/sema/` 和 `src/knowledge/` 的基础上,不需要开发第二套语言执行器。特别是现有 `SemanticProject` 已能导出 `steps.json`、`refs.json` 和 `artifacts`;真正需要扩展的是步骤的稳定身份、数据依赖、引用绑定以及验证信息。 + +## **六、我建议下一步怎么实现** + +优先做三个阶段,而不是一下将所有 Markdown 内容变成公开知识。 + +| 阶段 | 主要工作 | 验收 | +| ------- | ---------------------------------------- | ------------------ | +| M1:锚点身份 | 扩展 `KnowledgeStep`,建立稳定 `AnchorId` 和增量映射 | 插入其他语句后,原引用不漂移 | +| M2:锚点引用 | 扩展 `KnowledgeRef` 和语义解析,支持跨函数、跨文档的知识定位 | 能解析、检测歧义、建立反向依赖 | +| M3:知识制品 | 生成可查询的知识图、版本锁、验证与影响分析 | 改一条规则,可定位受影响的结果与叙述 | + +之后再增加局部知识步骤的独立执行、缓存、自动提取为函数,以及智能体按需发现知识的能力。 + +## **七、这对 Marqdo 的真正价值** + +我觉得这一方向比单纯强调“Markdown 可以执行”更有研究价值。 + +传统函数提供的是函数级抽象。你现在提出的机制则能够把抽象进一步下沉: + +**文档 → 类 → 函数 → 知识步骤 → 依赖与证据。** + +当智能体发现某个已有知识满足任务需求时,不需要再次生成代码,也不需要复制一段函数实现。它能够先定位知识节点,查询其契约与依据,再决定是引用现有结果、调用已有函数,还是创建新的知识。 + +但需要避免一个研究上的陷阱:**把语句赋予 ID 本身,不足以构成有说服力的知识编译创新。** 它仍可能被认为只是代码索引或细粒度程序分析。 + +真正值得验证的主张是: + +> **Marqdo 能否把自然语言标记与可执行语义编译为统一、稳定、可验证的知识节点,并在知识发生改变时,自动维护其引用、依赖和可信状态?** + +如果能够证明这件事,就形成了一条从可读 Markdown 到可执行知识库的清晰技术路径。 + +因此,我最推荐你的方案是:**函数内所有语句可定位,带标记的内容可公开引用,经过契约验证的知识节点才可独立复用执行。** + +这比让所有语句无差别地成为公共锚点更严谨,也更符合 Marqdo“代码即文档,文档即知识库,知识即可执行”的设计理念。 + +现在的marqdo更新到了2.8.0,我觉得自动证明和上面的知识编译有关系,你怎么看,可以给我什么建议? + +我认为 **Marqdo 2.8.0 的自动证明,与我们此前讨论的知识锚点和知识编译,实际上是同一技术体系中缺失的两块拼图**。 + +而且在重新阅读 2.8.0 的实现之后,我认为可以提出比“把代码变成知识图,再给函数附加证明”更进一步的目标: + +> **将 **`.mq.md`** 编译为可寻址、可执行、可组合,并携带机器可核验证据的知识制品。** + +这与 Marqdo 原来的“代码即文档,文档即知识库,知识即可执行”并不矛盾,而是让“知识”拥有了可以接受形式化检查的语义。 + +不过,我不建议把它直接表述为“Marqdo 自动证明知识正确”。当前 2.8.0 证明的是限定语义模型下的程序性质,而不是自然语言知识的全部真实性。 + +## **一、2.8.0 已经完成了哪些关键基础** + +我检查了 [2.8.0 发布说明](https://github.com/cflmy/marqdo/blob/main/doc/releases/v2.8.0.md?utm_source=chatgpt.com)、`src/prove/`、`src/sema/ir.rs` 和相关测试。 + +| 能力 | 2.8.0 的实际情况 | 与知识编译的关系 | +| ---- | ---------------------------------------------- | ----------------- | +| 语义编译 | 已有 SemanticArtifact、KnowledgeRef、KnowledgeStep | 知识的身份与结构 | +| 自动证明 | `marqdo prove` 将定理表及函数降级为 Lean 4 | 知识的形式化约束 | +| 离线判定 | F1–F5 符号执行;`checked` 不等于 `proved` | 快速、低成本检查 | +| 证明证书 | 记录证明状态、源码与工具链哈希 | 知识的可核验证据 | +| 反例 | 部分假命题能得到路径或区间见证 | 知识修复依据 | +| 组合证明 | 同模块简单纯函数有限内联 | 已有基础,但尚未形成模块化证明体系 | + +当前最值得注意的是:**语义编译器与证明编译器还没有围绕知识锚点形成完整的统一体系。** + +知识编译能够生成步骤和依赖,证明编译能够生成定理和证书,但尚不能自然地表达: + +“这个知识步骤依赖哪些已经证明的知识?证明依赖的知识修改后,哪些证书需要失效?调用者能否直接复用被调用知识的证明,而不必重新展开整个函数?” + +我认为,这就是 Marqdo 2.9 最值得解决的问题。 + +## **二、从知识锚点到可证明知识图** + +我建议让知识编译和证明编译共享同一套稳定的语义身份。 + +**Marqdo **`.mq.md` + +叙述、类、函数、`[]()`、定理表 + +**统一知识语义 IR** + +稳定身份 · 知识锚点 · 数据依赖 · 效果 · 契约 + +**知识编译** + +知识图、引用解析、影响分析、执行绑定 + +**证明编译** + +Proof IR、Lean、反例、证书 + +**可验证知识制品** + +Artifact + Contract + Proof Certificate + Dependencies + +关键变化不是简单地增加几条图上的 `proved_by` 边,而是让编译器能够基于同一份语义结构,分别生成执行内容、知识引用和证明义务。 + +我建议采用这样的分工: + +- `#`、`##` 为知识提供作用域和可调用边界。 +- `[]()` 为内部知识步骤提供可读名称和可寻址身份。 +- 现有契约表定义输入、输出及其他约束。 +- 现有定理表表达需要成立的命题。 +- `prove` 为满足证明条件的命题生成证书。 +- 知识编译器关联上述信息,生成统一知识制品。 + +**不需要为知识证明额外发明一套 Markdown 标记。** + +## **三、最值得实现的功能:证明能够沿知识引用传播** + +假设有三个知识单元: + +**A · 查询适用税率** + +契约:根据地区和时间,返回适用税率 + +证明:在已声明的数据有效性条件下,返回值满足范围约束 + +**B · 计算税额** + +依赖 A,并根据金额和税率进行计算 + +证明:假设 A 的契约成立,B 满足自己的计算性质 + +**C · 订单结算** + +依赖 B,并生成最终金额 + +证明:在 B 的前提与其他结算条件成立时,满足结算约束 + +现在修改 A 的内部实现。 + +传统方式下,B、C 可能要重新进行大量测试,或者依赖开发者人工检查。 + +我希望 Marqdo 能够做到: + +1. 重新编译 A,确认其契约与实现发生了哪些变化。 +2. 如果 A 的实现改变,但原契约仍被新证明支持,B 可以在依赖和证明上下文未变时继续复用已有证明。 +3. 如果 A 的契约不再得到支持,则 B 的相关证明变成 `stale` 或 `unverified`,并进一步影响 C。 +4. 只对受影响的证明义务重新运行 Lean,而不是重新证明所有知识。 + +**这就让知识图成为证明依赖图,同时使证明能够参与增量知识编译。** + +它与 2.8.0 当前的证书缓存有明显区别。当前缓存主要根据源码、Proof IR、库和工具链版本等生成复合键;未来应该进一步细化为: + +- 某个知识锚点的实现指纹。 +- 该锚点的公开契约。 +- 证明依赖的其他知识及其契约指纹。 +- 使用的假设和证明规则。 +- Lean 内核接受的证明及其环境身份。 + +这样才能精确控制哪些结果可以复用。 + +## **四、证明不一定只属于函数,也可以属于知识步骤** + +这是我认为你原先“所有带标记的内容成为锚点”构想最有价值的延伸。 + +2.8.0 的定理表目前属于函数级声明,位于函数首条可执行语句之前。这很合理,也应该保留为默认的公开契约。 + +例如: + +``` +# 审批 + +## 审批订单 + +| 定理 | 结论 | 前提 | 策略 | +|---|---|---|---| +| 大额必经人工 | 包含(轨迹, "人工审核") | 金额 > 10000 | auto | + +1. `金额` > 10000 + **回执 = [提交人工审核](人工审核(金额=`金额`))** +2. * + **回执 = [小额自动处理](自动处理(金额=`金额`))** + +*回执* +``` + +这个示例主要展示已有的定理表与遮蔽表达式如何结合,具体调用仍需要项目中的函数定义和类型契约。 + +现在证明的对象主要是 `## 审批订单` 的行为性质。 + +我认为将来可以增加一步: + +**把函数证明所涉及的知识步骤,映射到相应的锚点与依赖边。** + +例如,“大额必经人工”定理可以关联到“提交人工审核”知识锚点,同时记录证明是在什么输入条件和语义模型下成立的。 + +但是这里必须非常严格: + +- 证明整个函数满足某个性质,不意味着函数内部每个步骤都被单独证明正确。 +- `[提交人工审核]` 这个自然语言标签,不能自动当成形式化命题。 +- 证明轨迹包含“人工审核”,也不能证明外部审核服务真的完成了审核。 + +因此,**先做函数级证明向锚点的精确关联,再考虑锚点级局部证明**,会更稳妥。 + +## **五、建议的统一知识制品结构** + +我建议在现有 `SemanticArtifact`、`KnowledgeStep`、`KnowledgeRef` 之上增加证明关联层,而不是让 `src/prove` 生成第二套互不相认的知识身份。 + +下面是建议结构,并非 2.8.0 已有的完整 Schema。 + +``` + +{ + "anchor_id": "pricing.tax.calculate", + "symbol_id": "mq://project/pricing/function/calculate", + "kind": "derive", + "contract": { + "inputs": ["amount", "rate"], + "outputs": ["tax"] + }, + "dependencies": [ + "pricing.tax.lookup" + ], + "verification": { + "parse": "valid", + "resolve": "valid", + "proof": { + "status": "proved", + "claims": ["tax_formula"], + "certificate": "sha256:...", + "assumptions": [], + "scope": "function" + }, + "source": "unverified" + }, + "hashes": { + "interface": "...", + "implementation": "...", + "proof_dependencies": "..." + } +} + +``` + +一个很重要的设计是:`proof`** 不应该只是一个全局布尔值**。 + +不同知识锚点可能有不同性质:某个命题已经证明,另一个命题尚未证明,还有一个证明依赖不可靠的外部假设。 + +因此最小证明单元应当是: + +`(AnchorId, ClaimId, Assumptions, SemanticDigest, ProofCertificate)` + +而不是: + +`AnchorId → proved: true` + +这样调用者才能明确知道自己究竟复用了什么保证。 + +## **六、2.9 最应该优先实现的四项工作** + +| 优先级 | 工作 | 为什么重要 | +| --- | ----------------------------------------- | -------------- | +| P0 | 统一 `SymbolId`、`AnchorId`、定理身份 | 解决知识与证明的长期稳定绑定 | +| P1 | 将证明证书关联到 SemanticArtifact / KnowledgeStep | 建立知识与证明的直接关系 | +| P2 | 跨模块 assume-guarantee 证明组合 | 使证明可以跨知识引用传播 | +| P3 | 证明依赖图与增量失效分析 | 使大型知识库不必每次全量重证 | + +我尤其强调 P2。 + +因为从 2.8.0 发布说明可以看到,**跨模块调用目前仍视为不透明操作,而 assume-guarantee 后置条件复用明确延期到 2.9**。 + +这恰好是知识编译与自动证明结合的突破点。 + +假设 Marqdo 有两个函数: + +- `A` 已经证明后置条件 \\(Q_A\\)。 +- `B` 调用 `A`,希望证明自己的后置条件 \\(Q_B\\)。 + +那么 B 不必知道 A 的完整实现,只需要建立调用点的输入满足 A 前置条件,并利用 A 已经证明的后置条件完成自己的证明。 + +这正是契约组合推理的基本思路。 + +但证明必须明确依赖:A 的证书、其适用条件、A 与 B 的语义模型是否一致,以及任何外部假设。不能把未经验证的函数描述当作公理。 + +### **还需要优先修复两个证明语义边界** + +2.8.0 有两项已记录的差异,我建议不要在强化知识证明时忽略: + +- **i64 溢出**:解释器按有界整数处理并可能报错,而当前 Lean 模型使用无界 `Int`。 +- **除零/模零**:解释器产生运行时错误,Lean 底座目前存在返回 `.int 0` 的建模差异。 + +这意味着证明证书必须记录实际覆盖的数值范围和语义前提。未修复或没有证明等价的部分,不能被上层知识引用当成无条件可信的计算保证。 + +## **七、与智能体结合后,会产生什么变化?** + +这部分可能最符合你未来做科研智能体的方向。 + +过去智能体调用知识库时,主要依据名字、描述、检索相似度来选择已有能力。 + +未来可以让它先查询知识图,获得知识制品的: + +- 可执行入口与输入契约。 +- 形式化证明过的性质。 +- 来源与版本。 +- 未证明的假设和适用边界。 +- 是否受到近期源码或依赖修改的影响。 + +于是智能体不再只是“找到一个看起来相关的 SKILL”,而是可以选择一个**在当前任务条件下,拥有足够验证依据的知识能力**。 + +例如,量子科研智能体在寻找电路优化方法时,可以优先寻找具有等价性证明的电路变换,而不是每次重新生成并尝试未经验证的优化。 + +当然,这需要专门定义量子电路语义、等价关系和可信的验证过程;现有 2.8.0 的控制流证明还不能直接证明任意量子电路等价。 + +## **八、研究上怎样证明这条路线有价值?** + +我建议至少设计三个实验,不要只展示“Lean 可以证明 Marqdo”。 + +**实验 E1:知识修改与证明增量失效** + +在拥有大量相互引用的知识函数的项目中,修改其中某个函数,对比全量重新证明和基于锚点依赖的增量重新证明。 + +指标:重新证明的命题数、证明耗时、失效检测准确率,以及错误复用证书的次数(目标为零)。 + +**实验 E2:跨函数与跨文档证明复用** + +与 2.8.0 通过内联或不透明调用处理函数的方案相比,验证契约组合是否显著提升可证覆盖率。 + +指标:proved 比例、unverified/rejected 比例、证明时间、需要人工声明的假设数量。 + +**实验 E3:证明感知的智能体知识复用** + +让相同模型完成知识检索、函数复用与程序修改任务,对比普通语义检索、只使用知识图、知识图加证明证书三种方案。 + +指标:错误知识复用率、任务成功率、人工审核量、输入 Token 和总执行成本。 + +这三个实验分别验证“知识编译”、“证明组合”和“智能体使用价值”,能够避免把三个研究主张混成一个难以检验的宏大叙事。 + +## **我的总体判断** + +如果按照技术潜力排序,我会这样看: + +| 方向 | 评价 | +| ----------------- | ---------------- | +| 给所有语句生成锚点 | 必要的基础设施,但单独创新性有限 | +| 让 `[]()` 成为稳定知识引用 | 很有价值,能形成统一知识身份 | +| 让知识锚点携带可验证契约和证书 | 更有研究深度 | +| 让证明沿知识依赖传播并支持增量复用 | 我认为是最值得集中攻关的核心 | + +而且现在你拥有了一个很好的技术条件:**2.8.0 已经实现了真正的 Lean 证明路径,不再只是设计中的设想。** + +我建议将 Marqdo 2.9 的主线收敛成: + +**Proof-Carrying Executable Knowledge(携带证明的可执行知识)** + +但需要注意,Proof-Carrying Code、契约式程序验证和模块化证明本身都是已有研究。Marqdo 真正需要体现的区别,是它如何把 Markdown 原生描述、稳定知识锚点、可执行语义、证明义务与增量知识依赖统一编译为同一个制品体系,而非仅仅给代码加上证明。 + +一句话总结我的建议: + +**2.8.0 实现了“文档中的程序可以被证明”;2.9 应当实现“证明可以成为知识的一部分,并随着知识被引用、组合、验证和复用”。** + +我认为,这比单纯继续扩展 `marqdo prove` 可支持的表达式范围,更符合 Marqdo 的长期方向。 \ No newline at end of file