docs(next): add 014 knowledge-anchor compilation direction

Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
cflmyandCursor committed 2026-11-18 12:40:41 +08:00
1 parent b37387e6da
commit 87cfe05095
1 file changed
+575
+575
View File
@@ -0,0 +1,575 @@
我会在后续继续完成开发,接下来我比较关心marqdo的知识编译的问题,你认为我将marqdo的函数内的语句成为锚点,或者说带标记的内容都成为锚点,方便使用[]()引用,成为知识编译的一种可行吗?
**我认为完全可行,而且这可能是 Marqdo 实现“知识编译”最有价值的方向之一。**
但我建议对你的设想做一个关键调整:
> **所有可执行语句都成为编译器内部可定位的节点;所有具有明确标记的内容,都可以提升为稳定、可引用的知识锚点。**
>
> 锚点不仅用于跳转,还应该具备语义身份、依赖关系、执行能力、版本和验证状态。
这样,Marqdo 的函数就不再是一个只能整体调用的黑盒,而是一组能够逐层寻址、复用、验证和追溯的知识节点。
## **一、你的设想实际上已经有实现基础**
我重新查看了 Marqdo `main` 分支的代码,发现你的想法与仓库已有设计高度一致,并不需要从零开始。
在 [可执行知识系统设计](https://github.com/cflmy/marqdo/blob/main/doc/design/executable-knowledge-system.md?utm_source=chatgpt.com) 中,你已经提出:
- `#`:知识命名空间、类或知识实体。
- `##`:具备参数和返回契约的可复用函数。
- `[]()`:为函数内部的知识步骤命名,并保留原有执行语义。
- 编译器将命名步骤转化为 `KnowledgeStep`,关联依赖、类型、来源和效果。
更重要的是,这不只是文档构想。目前 `src/sema/ir.rs` 已经实现了 `KnowledgeRef`、`KnowledgeStep` 和 `collect_named_steps`,并且能够识别部分遮蔽表达式、函数调用、循环和正文知识引用。
不过,现在的内部步骤 ID 采用类似 `#step-1`、`#step-2` 的序号形式。这种身份适合单次编译,却不适合长期知识引用:在函数前面插入一条新步骤,就可能改变后面所有步骤的编号。
因此,我认为下一阶段的重点不是“再增加一种锚点语法”,而是:
**将已有的 KnowledgeStep 从编译期记录,升级为具备稳定身份的知识制品。**
## **二、建议采用“两级锚点体系”**
这比“把每一条语句都暴露为知识”更合理。
| 层级 | 生成规则 | 作用 |
| ------ | -------------------------- | ------------------ |
| 内部锚点 | 所有可执行 AST 语句自动生成 | 调试、数据流、执行追踪、增量编译 |
| 公共知识锚点 | `#`、`##`、带标记的表达式、显式标记的知识内容 | 跨函数引用、搜索、依赖分析、知识复用 |
例如:
```
# 订单定价
## 计算税额
根据订单地区查询税率,再计算应缴税额。
**税率 = [查询适用税率](税率库.查询(地区))**
**税额 = [计算应缴税额](金额 * 税率)**
*税额*
```
编译器可以从这段普通 Marqdo 文档中建立以下结构:
**订单定价**
Class · 知识命名空间
**计算税额**
Function · 公开可调用知识单元
**查询适用税率**
Observe / Reuse
**计算应缴税额**
Derive
数据依赖:税率 → 税额
**返回税额**
Return · 函数结果
在这个结构中,两个标记步骤各有自己的地址,并且可以独立被查询、检查来源、进行影响分析。
这和普通代码索引有根本区别:它不仅知道“这个函数在哪里”,还知道**函数为什么得到这个结果,以及结果依赖哪些知识**。
## **三、最关键的语义区分:可引用不等于可执行**
我认为这里必须制定严格的语义规范。
假设一个函数内部存在名为“查询适用税率”的锚点。
那么,其他文档引用它时,实际上存在三种不同需求:
| 操作 | 期望行为 |
| ---- | --------------------- |
| 引用知识 | 找到该步骤,读取说明、实现和出处 |
| 获取结果 | 在已知输入和执行环境中取得该步骤的计算结果 |
| 复用执行 | 重新执行该步骤,产生新的计算结果 |
**不能因为一个锚点存在,就允许它在任何地方被直接执行。**
例如,函数内部的“计算应缴税额”依赖局部变量 `金额` 和 `税率`。假如其他函数直接引用这个步骤,编译器必须确认它需要哪些输入。
有两种合理的处理方式:
- 默认只允许引用它的定义、来源和契约。
- 需要独立执行时,必须拥有完整输入绑定;否则将它提取为独立 `##` 函数。
后续可以考虑由编译器自动将满足纯度、闭包与输入条件的知识步骤提升为可调用能力。但这应是第二阶段,不能在最初就隐式执行任何锚点。
### **不必重新设计&#x20;**`[]()`**&#x20;的基本语法**
可以继续保留现有语义:
```
**税额 = [计算应缴税额](金额 * 税率)**
```
这里 `[]` 提供知识描述,`()` 保留表达式的执行含义。
另外,知识定位可以使用编译后的稳定地址,例如以下**拟议形式**:
```
[查看税率依据](mq://pricing/订单定价/计算税额#查询适用税率)
```
这应当被解释为知识引用,而不是自动重新执行“查询适用税率”。这里的 `mq://` 是建议的地址表示,不是说当前版本已经支持这样的写法。
我建议将 `KnowledgeRef` 按所在上下文分为:
- 正文:解析目标和展示证据,不产生副作用。
- 可执行表达式:按原有求值语义执行,并附带引用元数据。
- 工具或智能体调用:额外要求可调用契约、输入闭合与权限验证。
这样 `[]()` 就能成为统一引用形式,同时不破坏现有 Markdown 的可读性。
## **四、怎样让锚点稳定**
这是整个方案技术上最难、也最重要的地方。
**知识锚点不能用行号或内容哈希直接作为永久身份。**
因为代码修改时:
- 插入语句会改变行号。
- 修改公式会改变哈希,但可能仍是同一个知识概念。
- 修改描述名称不一定意味着知识实体改变。
- 两个函数可能有相同的步骤名称。
因此,建议将三个概念拆开:
| 概念 | 意义 | 变化规则 |
| ---------------- | --------- | --------- |
| `AnchorId` | 知识单元的稳定身份 | 尽量跨版本保持 |
| `ContentDigest` | 当前定义与实现 | 实现发生变化就更新 |
| `EvidenceDigest` | 来源与验证证据 | 证据变化时更新 |
对于自动生成的锚点,可以先根据模块身份、所属函数、局部名称和结构位置确定候选身份,再通过上一版编译产物中的映射记录保持身份连续。
对于需要长期跨文档引用的公共知识锚点,可以允许显式稳定 ID,或者由编译器自动登记到知识索引中。**显式 ID 不必强制写在每个&#x20;**`[]()`**&#x20;中**,这样才能保持 Marqdo 的简洁性。
如果两个同级锚点都叫“查询适用税率”,编译器必须报告歧义,要求进一步限定,不能按出现顺序选择。
## **五、知识编译的最终产物应该是什么**
我认为一个知识锚点至少需要这些字段:
```
{
"anchor_id": "pricing.tax.lookup",
"owner": "订单定价.计算税额",
"label": "查询适用税率",
"kind": "observe",
"inputs": ["地区"],
"outputs": ["税率"],
"dependencies": ["税率库.查询"],
"effects": ["read"],
"source_span": {
"file": "pricing.mq.md",
"line": 8
},
"content_digest": "...",
"evidence": [],
"verification": {
"resolved": true,
"tested": false,
"source_verified": false
}
}
```
这是一份拟议的数据结构,`anchor_id` 仅为示例。
这里还有一项值得强调的区别:**知识可以编译成功,但并不代表知识在事实上正确。**
例如读取“某地区税率”,编译器可以验证依赖、参数、数据类型、调用目标,却无法仅凭这些信息证明外部税率数据仍然有效。
所以应当把编译状态、测试状态、来源验证状态和领域正确性分别记录,而不能用一个 `verified=true` 概括所有问题。
### **推荐的编译流水线**
1\. Parse
读取 Markdown 与 Marqdo AST
2\. Anchor
为语句与标记内容建立地址和身份
3\. Resolve
绑定函数、变量、知识引用和依赖
4\. Verify
检查类型、契约、权限、来源和版本
5\. Emit
生成知识图、锚点索引、引用锁与执行制品
这基本可以落在当前 `src/sema/` 和 `src/knowledge/` 的基础上,不需要开发第二套语言执行器。特别是现有 `SemanticProject` 已能导出 `steps.json`、`refs.json` 和 `artifacts`;真正需要扩展的是步骤的稳定身份、数据依赖、引用绑定以及验证信息。
## **六、我建议下一步怎么实现**
优先做三个阶段,而不是一下将所有 Markdown 内容变成公开知识。
| 阶段 | 主要工作 | 验收 |
| ------- | ---------------------------------------- | ------------------ |
| M1:锚点身份 | 扩展 `KnowledgeStep`,建立稳定 `AnchorId` 和增量映射 | 插入其他语句后,原引用不漂移 |
| M2:锚点引用 | 扩展 `KnowledgeRef` 和语义解析,支持跨函数、跨文档的知识定位 | 能解析、检测歧义、建立反向依赖 |
| M3:知识制品 | 生成可查询的知识图、版本锁、验证与影响分析 | 改一条规则,可定位受影响的结果与叙述 |
之后再增加局部知识步骤的独立执行、缓存、自动提取为函数,以及智能体按需发现知识的能力。
## **七、这对 Marqdo 的真正价值**
我觉得这一方向比单纯强调“Markdown 可以执行”更有研究价值。
传统函数提供的是函数级抽象。你现在提出的机制则能够把抽象进一步下沉:
**文档 → 类 → 函数 → 知识步骤 → 依赖与证据。**
当智能体发现某个已有知识满足任务需求时,不需要再次生成代码,也不需要复制一段函数实现。它能够先定位知识节点,查询其契约与依据,再决定是引用现有结果、调用已有函数,还是创建新的知识。
但需要避免一个研究上的陷阱:**把语句赋予 ID 本身,不足以构成有说服力的知识编译创新。** 它仍可能被认为只是代码索引或细粒度程序分析。
真正值得验证的主张是:
> **Marqdo 能否把自然语言标记与可执行语义编译为统一、稳定、可验证的知识节点,并在知识发生改变时,自动维护其引用、依赖和可信状态?**
如果能够证明这件事,就形成了一条从可读 Markdown 到可执行知识库的清晰技术路径。
因此,我最推荐你的方案是:**函数内所有语句可定位,带标记的内容可公开引用,经过契约验证的知识节点才可独立复用执行。**
这比让所有语句无差别地成为公共锚点更严谨,也更符合 Marqdo“代码即文档,文档即知识库,知识即可执行”的设计理念。
现在的marqdo更新到了2.8.0,我觉得自动证明和上面的知识编译有关系,你怎么看,可以给我什么建议?
我认为 **Marqdo 2.8.0 的自动证明,与我们此前讨论的知识锚点和知识编译,实际上是同一技术体系中缺失的两块拼图**。
而且在重新阅读 2.8.0 的实现之后,我认为可以提出比“把代码变成知识图,再给函数附加证明”更进一步的目标:
> **将&#x20;**`.mq.md`**&#x20;编译为可寻址、可执行、可组合,并携带机器可核验证据的知识制品。**
这与 Marqdo 原来的“代码即文档,文档即知识库,知识即可执行”并不矛盾,而是让“知识”拥有了可以接受形式化检查的语义。
不过,我不建议把它直接表述为“Marqdo 自动证明知识正确”。当前 2.8.0 证明的是限定语义模型下的程序性质,而不是自然语言知识的全部真实性。
## **一、2.8.0 已经完成了哪些关键基础**
我检查了 [2.8.0 发布说明](https://github.com/cflmy/marqdo/blob/main/doc/releases/v2.8.0.md?utm_source=chatgpt.com)、`src/prove/`、`src/sema/ir.rs` 和相关测试。
| 能力 | 2.8.0 的实际情况 | 与知识编译的关系 |
| ---- | ---------------------------------------------- | ----------------- |
| 语义编译 | 已有 SemanticArtifact、KnowledgeRef、KnowledgeStep | 知识的身份与结构 |
| 自动证明 | `marqdo prove` 将定理表及函数降级为 Lean 4 | 知识的形式化约束 |
| 离线判定 | F1–F5 符号执行;`checked` 不等于 `proved` | 快速、低成本检查 |
| 证明证书 | 记录证明状态、源码与工具链哈希 | 知识的可核验证据 |
| 反例 | 部分假命题能得到路径或区间见证 | 知识修复依据 |
| 组合证明 | 同模块简单纯函数有限内联 | 已有基础,但尚未形成模块化证明体系 |
当前最值得注意的是:**语义编译器与证明编译器还没有围绕知识锚点形成完整的统一体系。**
知识编译能够生成步骤和依赖,证明编译能够生成定理和证书,但尚不能自然地表达:
“这个知识步骤依赖哪些已经证明的知识?证明依赖的知识修改后,哪些证书需要失效?调用者能否直接复用被调用知识的证明,而不必重新展开整个函数?”
我认为,这就是 Marqdo 2.9 最值得解决的问题。
## **二、从知识锚点到可证明知识图**
我建议让知识编译和证明编译共享同一套稳定的语义身份。
**Marqdo&#x20;**`.mq.md`
叙述、类、函数、`[]()`、定理表
**统一知识语义 IR**
稳定身份 · 知识锚点 · 数据依赖 · 效果 · 契约
**知识编译**
知识图、引用解析、影响分析、执行绑定
**证明编译**
Proof IR、Lean、反例、证书
**可验证知识制品**
Artifact + Contract + Proof Certificate + Dependencies
关键变化不是简单地增加几条图上的 `proved_by` 边,而是让编译器能够基于同一份语义结构,分别生成执行内容、知识引用和证明义务。
我建议采用这样的分工:
- `#`、`##` 为知识提供作用域和可调用边界。
- `[]()` 为内部知识步骤提供可读名称和可寻址身份。
- 现有契约表定义输入、输出及其他约束。
- 现有定理表表达需要成立的命题。
- `prove` 为满足证明条件的命题生成证书。
- 知识编译器关联上述信息,生成统一知识制品。
**不需要为知识证明额外发明一套 Markdown 标记。**
## **三、最值得实现的功能:证明能够沿知识引用传播**
假设有三个知识单元:
**A · 查询适用税率**
契约:根据地区和时间,返回适用税率
证明:在已声明的数据有效性条件下,返回值满足范围约束
**B · 计算税额**
依赖 A,并根据金额和税率进行计算
证明:假设 A 的契约成立,B 满足自己的计算性质
**C · 订单结算**
依赖 B,并生成最终金额
证明:在 B 的前提与其他结算条件成立时,满足结算约束
现在修改 A 的内部实现。
传统方式下,B、C 可能要重新进行大量测试,或者依赖开发者人工检查。
我希望 Marqdo 能够做到:
1. 重新编译 A,确认其契约与实现发生了哪些变化。
2. 如果 A 的实现改变,但原契约仍被新证明支持,B 可以在依赖和证明上下文未变时继续复用已有证明。
3. 如果 A 的契约不再得到支持,则 B 的相关证明变成 `stale` 或 `unverified`,并进一步影响 C。
4. 只对受影响的证明义务重新运行 Lean,而不是重新证明所有知识。
**这就让知识图成为证明依赖图,同时使证明能够参与增量知识编译。**
它与 2.8.0 当前的证书缓存有明显区别。当前缓存主要根据源码、Proof IR、库和工具链版本等生成复合键;未来应该进一步细化为:
- 某个知识锚点的实现指纹。
- 该锚点的公开契约。
- 证明依赖的其他知识及其契约指纹。
- 使用的假设和证明规则。
- Lean 内核接受的证明及其环境身份。
这样才能精确控制哪些结果可以复用。
## **四、证明不一定只属于函数,也可以属于知识步骤**
这是我认为你原先“所有带标记的内容成为锚点”构想最有价值的延伸。
2.8.0 的定理表目前属于函数级声明,位于函数首条可执行语句之前。这很合理,也应该保留为默认的公开契约。
例如:
```
# 审批
## 审批订单
| 定理 | 结论 | 前提 | 策略 |
|---|---|---|---|
| 大额必经人工 | 包含(轨迹, "人工审核") | 金额 > 10000 | auto |
1. `金额` > 10000
**回执 = [提交人工审核](人工审核(金额=`金额`))**
2. *
**回执 = [小额自动处理](自动处理(金额=`金额`))**
*回执*
```
这个示例主要展示已有的定理表与遮蔽表达式如何结合,具体调用仍需要项目中的函数定义和类型契约。
现在证明的对象主要是 `## 审批订单` 的行为性质。
我认为将来可以增加一步:
**把函数证明所涉及的知识步骤,映射到相应的锚点与依赖边。**
例如,“大额必经人工”定理可以关联到“提交人工审核”知识锚点,同时记录证明是在什么输入条件和语义模型下成立的。
但是这里必须非常严格:
- 证明整个函数满足某个性质,不意味着函数内部每个步骤都被单独证明正确。
- `[提交人工审核]` 这个自然语言标签,不能自动当成形式化命题。
- 证明轨迹包含“人工审核”,也不能证明外部审核服务真的完成了审核。
因此,**先做函数级证明向锚点的精确关联,再考虑锚点级局部证明**,会更稳妥。
## **五、建议的统一知识制品结构**
我建议在现有 `SemanticArtifact`、`KnowledgeStep`、`KnowledgeRef` 之上增加证明关联层,而不是让 `src/prove` 生成第二套互不相认的知识身份。
下面是建议结构,并非 2.8.0 已有的完整 Schema。
```
{
"anchor_id": "pricing.tax.calculate",
"symbol_id": "mq://project/pricing/function/calculate",
"kind": "derive",
"contract": {
"inputs": ["amount", "rate"],
"outputs": ["tax"]
},
"dependencies": [
"pricing.tax.lookup"
],
"verification": {
"parse": "valid",
"resolve": "valid",
"proof": {
"status": "proved",
"claims": ["tax_formula"],
"certificate": "sha256:...",
"assumptions": [],
"scope": "function"
},
"source": "unverified"
},
"hashes": {
"interface": "...",
"implementation": "...",
"proof_dependencies": "..."
}
}
```
一个很重要的设计是:`proof`**&#x20;不应该只是一个全局布尔值**。
不同知识锚点可能有不同性质:某个命题已经证明,另一个命题尚未证明,还有一个证明依赖不可靠的外部假设。
因此最小证明单元应当是:
`(AnchorId, ClaimId, Assumptions, SemanticDigest, ProofCertificate)`
而不是:
`AnchorId → proved: true`
这样调用者才能明确知道自己究竟复用了什么保证。
## **六、2.9 最应该优先实现的四项工作**
| 优先级 | 工作 | 为什么重要 |
| --- | ----------------------------------------- | -------------- |
| P0 | 统一 `SymbolId`、`AnchorId`、定理身份 | 解决知识与证明的长期稳定绑定 |
| P1 | 将证明证书关联到 SemanticArtifact / KnowledgeStep | 建立知识与证明的直接关系 |
| P2 | 跨模块 assume-guarantee 证明组合 | 使证明可以跨知识引用传播 |
| P3 | 证明依赖图与增量失效分析 | 使大型知识库不必每次全量重证 |
我尤其强调 P2。
因为从 2.8.0 发布说明可以看到,**跨模块调用目前仍视为不透明操作,而 assume-guarantee 后置条件复用明确延期到 2.9**。
这恰好是知识编译与自动证明结合的突破点。
假设 Marqdo 有两个函数:
- `A` 已经证明后置条件 \\(Q_A\\)。
- `B` 调用 `A`,希望证明自己的后置条件 \\(Q_B\\)。
那么 B 不必知道 A 的完整实现,只需要建立调用点的输入满足 A 前置条件,并利用 A 已经证明的后置条件完成自己的证明。
这正是契约组合推理的基本思路。
但证明必须明确依赖:A 的证书、其适用条件、A 与 B 的语义模型是否一致,以及任何外部假设。不能把未经验证的函数描述当作公理。
### **还需要优先修复两个证明语义边界**
2.8.0 有两项已记录的差异,我建议不要在强化知识证明时忽略:
- **i64 溢出**:解释器按有界整数处理并可能报错,而当前 Lean 模型使用无界 `Int`。
- **除零/模零**:解释器产生运行时错误,Lean 底座目前存在返回 `.int 0` 的建模差异。
这意味着证明证书必须记录实际覆盖的数值范围和语义前提。未修复或没有证明等价的部分,不能被上层知识引用当成无条件可信的计算保证。
## **七、与智能体结合后,会产生什么变化?**
这部分可能最符合你未来做科研智能体的方向。
过去智能体调用知识库时,主要依据名字、描述、检索相似度来选择已有能力。
未来可以让它先查询知识图,获得知识制品的:
- 可执行入口与输入契约。
- 形式化证明过的性质。
- 来源与版本。
- 未证明的假设和适用边界。
- 是否受到近期源码或依赖修改的影响。
于是智能体不再只是“找到一个看起来相关的 SKILL”,而是可以选择一个**在当前任务条件下,拥有足够验证依据的知识能力**。
例如,量子科研智能体在寻找电路优化方法时,可以优先寻找具有等价性证明的电路变换,而不是每次重新生成并尝试未经验证的优化。
当然,这需要专门定义量子电路语义、等价关系和可信的验证过程;现有 2.8.0 的控制流证明还不能直接证明任意量子电路等价。
## **八、研究上怎样证明这条路线有价值?**
我建议至少设计三个实验,不要只展示“Lean 可以证明 Marqdo”。
**实验 E1:知识修改与证明增量失效**
在拥有大量相互引用的知识函数的项目中,修改其中某个函数,对比全量重新证明和基于锚点依赖的增量重新证明。
指标:重新证明的命题数、证明耗时、失效检测准确率,以及错误复用证书的次数(目标为零)。
**实验 E2:跨函数与跨文档证明复用**
与 2.8.0 通过内联或不透明调用处理函数的方案相比,验证契约组合是否显著提升可证覆盖率。
指标:proved 比例、unverified/rejected 比例、证明时间、需要人工声明的假设数量。
**实验 E3:证明感知的智能体知识复用**
让相同模型完成知识检索、函数复用与程序修改任务,对比普通语义检索、只使用知识图、知识图加证明证书三种方案。
指标:错误知识复用率、任务成功率、人工审核量、输入 Token 和总执行成本。
这三个实验分别验证“知识编译”、“证明组合”和“智能体使用价值”,能够避免把三个研究主张混成一个难以检验的宏大叙事。
## **我的总体判断**
如果按照技术潜力排序,我会这样看:
| 方向 | 评价 |
| ----------------- | ---------------- |
| 给所有语句生成锚点 | 必要的基础设施,但单独创新性有限 |
| 让 `[]()` 成为稳定知识引用 | 很有价值,能形成统一知识身份 |
| 让知识锚点携带可验证契约和证书 | 更有研究深度 |
| 让证明沿知识依赖传播并支持增量复用 | 我认为是最值得集中攻关的核心 |
而且现在你拥有了一个很好的技术条件:**2.8.0 已经实现了真正的 Lean 证明路径,不再只是设计中的设想。**
我建议将 Marqdo 2.9 的主线收敛成:
**Proof-Carrying Executable Knowledge(携带证明的可执行知识)**
但需要注意,Proof-Carrying Code、契约式程序验证和模块化证明本身都是已有研究。Marqdo 真正需要体现的区别,是它如何把 Markdown 原生描述、稳定知识锚点、可执行语义、证明义务与增量知识依赖统一编译为同一个制品体系,而非仅仅给代码加上证明。
一句话总结我的建议:
**2.8.0 实现了“文档中的程序可以被证明”;2.9 应当实现“证明可以成为知识的一部分,并随着知识被引用、组合、验证和复用”。**
我认为,这比单纯继续扩展 `marqdo prove` 可支持的表达式范围,更符合 Marqdo 的长期方向。