feat(http): parse and build HTTP/1.1 framing by bytes
This commit is contained in:
1 parent
28b178fc70
commit
0d8ed44010
11 files changed
+416
-105
No files matched your search
+15
-1
@@ -4,6 +4,20 @@ This directory is the official, offline `marqdo-stdlib` bundle consumed by
|
||||
`std:<path>` imports. The CLI verifies `stdlib.json.digest` before loading any
|
||||
module; a mismatch is a hard error.
|
||||
|
||||
> **Migration status (RFC-LANG-0002): the sources here are still pre-RFC and
|
||||
> do not yet use the current language syntax.** Every `.mq.md` module in this
|
||||
> directory is written in the superseded mapping (unmarked H2 as function,
|
||||
> `Strong` as execution, `Emph` as return, ordered-list branches, bullet-list
|
||||
> loops, block-quote calls, first code-span signatures). They are **not**
|
||||
> valid sources for the target language and are not syntax examples to copy.
|
||||
> The bundled stdlib will be migrated together with the Rust frontend and
|
||||
> expression parser; `stdlib.json` and this digest will then be regenerated in
|
||||
> the same change. Do not claim the stdlib already uses the new syntax.
|
||||
> Authority:
|
||||
> [`docs/architecture/RFC-LANG-0002-unified-semantics.md`](../docs/architecture/RFC-LANG-0002-unified-semantics.md),
|
||||
> normative summary [`spec/mapping.md`](../spec/mapping.md), status
|
||||
> [`docs/STATUS.md`](../docs/STATUS.md).
|
||||
|
||||
- `format.mq.md` — value formatting (`显示`, list/map/table display, escaping)
|
||||
- `text.mq.md` — compatibility UTF-8 encoding into `Memory`
|
||||
- `text/utf8.mq.md` — `.mq.md` UTF-8 encoder and validating decoder
|
||||
@@ -23,7 +37,7 @@ module; a mismatch is a hard error.
|
||||
- `clock.mq.md` — project-mode `clock.now` over `resource.request`
|
||||
- `path.mq.md` — lexical join/basename/dirname/extension/normalize (no I/O)
|
||||
- `regex.mq.md` — pure subset matcher + host-backed groups/alternation/captures
|
||||
- `net/http.mq.md` — HTTP/1.1 response parsing (headers/chunked) and request builder
|
||||
- `net/http.mq.md` — byte-exact HTTP/1.1 parsing (chunked) and request builder
|
||||
- `tests/` — product self-tests for every public module
|
||||
(`clock`, `compress`, `console`, `csv`, `datetime`, `demo`, `env`, `format`, `fs`, `http`,
|
||||
`io`, `json`, `path`, `process`, `random`, `regex`, `stream`, `table`, `text`, `utf8`)
|
||||
|
||||
+226
-87
@@ -1,14 +1,19 @@
|
||||
## 切片
|
||||
---
|
||||
import:
|
||||
utf8: "../text/utf8.mq.md"
|
||||
---
|
||||
|
||||
`(点, 起, 止)`
|
||||
## 切片字节
|
||||
|
||||
**结果 = ""**
|
||||
`(字节, 起, 止)`
|
||||
|
||||
**结果 = []**
|
||||
|
||||
**下标 = 起**
|
||||
|
||||
- `下标 < 止`
|
||||
- `下标 < 止 and 下标 < 长度(字节)`
|
||||
|
||||
**结果 = 结果 + text.from_codepoint(点[下标])**
|
||||
**结果 = list.append(结果, 字节[下标])**
|
||||
|
||||
**下标 = 下标 + 1**
|
||||
|
||||
@@ -16,21 +21,21 @@
|
||||
|
||||
## 找子串
|
||||
|
||||
`(点, 子点, 起点)`
|
||||
`(字节, 子, 起点)`
|
||||
|
||||
**结果 = 0 - 1**
|
||||
|
||||
**下标 = 起点**
|
||||
|
||||
- `下标 + 长度(子点) <= 长度(点) and 结果 < 0`
|
||||
- `下标 + 长度(子) <= 长度(字节) and 结果 < 0`
|
||||
|
||||
**偏移 = 0**
|
||||
|
||||
**匹配 = true**
|
||||
|
||||
- `偏移 < 长度(子点) and 匹配`
|
||||
- `偏移 < 长度(子) and 匹配`
|
||||
|
||||
1. `点[下标 + 偏移] != 子点[偏移]`
|
||||
1. `字节[下标 + 偏移] != 子[偏移]`
|
||||
|
||||
**匹配 = false**
|
||||
|
||||
@@ -54,15 +59,15 @@
|
||||
|
||||
## 找字符
|
||||
|
||||
`(点, 码点, 起点)`
|
||||
`(字节, 值, 起点)`
|
||||
|
||||
**结果 = 0 - 1**
|
||||
|
||||
**下标 = 起点**
|
||||
|
||||
- `下标 < 长度(点) and 结果 < 0`
|
||||
- `下标 < 长度(字节) and 结果 < 0`
|
||||
|
||||
1. `点[下标] == 码点`
|
||||
1. `字节[下标] == 值`
|
||||
|
||||
**结果 = 下标**
|
||||
|
||||
@@ -76,27 +81,27 @@
|
||||
|
||||
## 十六进制值
|
||||
|
||||
`(点)`
|
||||
`(字节)`
|
||||
|
||||
**数值 = 0**
|
||||
|
||||
**下标 = 0**
|
||||
|
||||
- `下标 < 长度(点)`
|
||||
- `下标 < 长度(字节)`
|
||||
|
||||
**码点 = 点[下标]**
|
||||
**值 = 字节[下标]**
|
||||
|
||||
1. `码点 >= 48 and 码点 <= 57`
|
||||
1. `值 >= 48 and 值 <= 57`
|
||||
|
||||
**数值 = 数值 * 16 + 码点 - 48**
|
||||
**数值 = 数值 * 16 + 值 - 48**
|
||||
|
||||
2. `码点 >= 65 and 码点 <= 70`
|
||||
2. `值 >= 65 and 值 <= 70`
|
||||
|
||||
**数值 = 数值 * 16 + 码点 - 55**
|
||||
**数值 = 数值 * 16 + 值 - 55**
|
||||
|
||||
3. `码点 >= 97 and 码点 <= 102`
|
||||
3. `值 >= 97 and 值 <= 102`
|
||||
|
||||
**数值 = 数值 * 16 + 码点 - 87**
|
||||
**数值 = 数值 * 16 + 值 - 87**
|
||||
|
||||
4. `true`
|
||||
|
||||
@@ -106,83 +111,162 @@
|
||||
|
||||
*数值*
|
||||
|
||||
## 解码分块
|
||||
|
||||
`(体)`
|
||||
|
||||
**点 = text.codepoints(体)**
|
||||
|
||||
**结果 = ""**
|
||||
|
||||
**位置 = 0**
|
||||
|
||||
- `位置 < 长度(点)`
|
||||
|
||||
**行尾 = 找子串(点, text.codepoints("\r\n"), 位置)**
|
||||
|
||||
- `行尾 < 0`
|
||||
|
||||
*""*
|
||||
|
||||
**大小文本 = 切片(点, 位置, 行尾)**
|
||||
|
||||
**大小 = 十六进制值(text.codepoints(大小文本))**
|
||||
|
||||
1. `大小 == 0`
|
||||
|
||||
**位置 = 长度(点)**
|
||||
|
||||
2. `true`
|
||||
|
||||
**结果 = 结果 + 切片(点, 行尾 + 2, 行尾 + 2 + 大小)**
|
||||
|
||||
**位置 = 行尾 + 2 + 大小 + 2**
|
||||
|
||||
*结果*
|
||||
|
||||
## 解析响应
|
||||
## 文本字节
|
||||
|
||||
`(文本)`
|
||||
|
||||
**点 = text.codepoints(文本)**
|
||||
把 UTF-8 文本编码为字节列表,上限 8 MiB。
|
||||
|
||||
**分隔 = text.codepoints("\r\n\r\n")**
|
||||
**内存 = memory.new(128, 128)**
|
||||
|
||||
**头部结束 = 找子串(点, 分隔, 0)**
|
||||
**字节数 = utf8.编码(文本, 内存, 0)**
|
||||
|
||||
**头部 = 切片(点, 0, 头部结束)**
|
||||
**结果 = []**
|
||||
|
||||
**体 = 切片(点, 头部结束 + 4, 长度(点))**
|
||||
**下标 = 0**
|
||||
|
||||
**头部点 = text.codepoints(头部)**
|
||||
- `下标 < 字节数`
|
||||
|
||||
**结果 = list.append(结果, 内存[下标])**
|
||||
|
||||
**下标 = 下标 + 1**
|
||||
|
||||
*结果*
|
||||
|
||||
## 字节文本
|
||||
|
||||
`(字节)`
|
||||
|
||||
把字节列表按 UTF-8 解码为文本,上限 8 MiB。
|
||||
|
||||
**长度值 = 长度(字节)**
|
||||
|
||||
1. `长度值 == 0`
|
||||
|
||||
*{ok: true, value: ""}*
|
||||
|
||||
**页 = (长度值 + 65535) // 65536**
|
||||
|
||||
**内存 = memory.new(页, 页)**
|
||||
|
||||
**下标 = 0**
|
||||
|
||||
- `下标 < 长度值`
|
||||
|
||||
**内存[下标] = 字节[下标]**
|
||||
|
||||
**下标 = 下标 + 1**
|
||||
|
||||
*utf8.解码(内存, 0, 长度值)*
|
||||
|
||||
## 解码分块字节
|
||||
|
||||
`(体)`
|
||||
|
||||
**结果 = []**
|
||||
|
||||
**位置 = 0**
|
||||
|
||||
**错误 = ""**
|
||||
|
||||
- `位置 < 长度(体) and 错误 == ""`
|
||||
|
||||
**行尾 = 找子串(体, [13, 10], 位置)**
|
||||
|
||||
1. `行尾 < 0`
|
||||
|
||||
**错误 = "http.chunked"**
|
||||
|
||||
2. `true`
|
||||
|
||||
**大小 = 十六进制值(切片字节(体, 位置, 行尾))**
|
||||
|
||||
1. `大小 == 0`
|
||||
|
||||
**位置 = 长度(体)**
|
||||
|
||||
2. `位置 + 大小 + 4 > 长度(体)`
|
||||
|
||||
**错误 = "http.chunked"**
|
||||
|
||||
3. `true`
|
||||
|
||||
**结果 = list.concat(结果, 切片字节(体, 行尾 + 2, 行尾 + 2 + 大小))**
|
||||
|
||||
**位置 = 行尾 + 2 + 大小 + 2**
|
||||
|
||||
1. `错误 != ""`
|
||||
|
||||
*{ok: false, code: 错误, message: "分块长度无效"}*
|
||||
|
||||
*{ok: true, value: 结果}*
|
||||
|
||||
## 解析响应字节
|
||||
|
||||
`(字节)`
|
||||
|
||||
解析 HTTP/1.1 响应字节。头部按 ASCII 解析,正文保持原始字节;chunked
|
||||
长度以字节计。成功返回 `{ok:true, value:{status, reason, headers, body}}`。
|
||||
|
||||
**头部结束 = 找子串(字节, [13, 10, 13, 10], 0)**
|
||||
|
||||
1. `头部结束 < 0`
|
||||
|
||||
*{ok: false, code: "http.invalid", message: "缺少头部结束"}*
|
||||
|
||||
**头部 = 切片字节(字节, 0, 头部结束)**
|
||||
|
||||
**体 = 切片字节(字节, 头部结束 + 4, 长度(字节))**
|
||||
|
||||
**行列表 = []**
|
||||
|
||||
**行起 = 0**
|
||||
|
||||
**下一行 = 找子串(头部点, text.codepoints("\r\n"), 0)**
|
||||
**下一行 = 找子串(头部, [13, 10], 0)**
|
||||
|
||||
- `下一行 >= 0`
|
||||
|
||||
**行列表 = list.append(行列表, 切片(头部点, 行起, 下一行))**
|
||||
**行列表 = list.append(行列表, 切片字节(头部, 行起, 下一行))**
|
||||
|
||||
**行起 = 下一行 + 2**
|
||||
|
||||
**下一行 = 找子串(头部点, text.codepoints("\r\n"), 行起)**
|
||||
**下一行 = 找子串(头部, [13, 10], 行起)**
|
||||
|
||||
**行列表 = list.append(行列表, 切片(头部点, 行起, 长度(头部点)))**
|
||||
**行列表 = list.append(行列表, 切片字节(头部, 行起, 长度(头部)))**
|
||||
|
||||
**状态行 = 行列表[0]**
|
||||
1. `长度(行列表) == 0`
|
||||
|
||||
**状态点 = text.codepoints(状态行)**
|
||||
*{ok: false, code: "http.invalid", message: "缺少状态行"}*
|
||||
|
||||
**第一空格 = 找字符(状态点, 32, 0)**
|
||||
**状态行 = 字节文本(行列表[0])**
|
||||
|
||||
**第二空格 = 找字符(状态点, 32, 第一空格 + 1)**
|
||||
1. `not 状态行.ok`
|
||||
|
||||
**状态 = 整数(切片(状态点, 第一空格 + 1, 第二空格))**
|
||||
*{ok: false, code: "http.invalid", message: "状态行不是 ASCII"}*
|
||||
|
||||
**原因 = 切片(状态点, 第二空格 + 1, 长度(状态点))**
|
||||
**状态字节 = 行列表[0]**
|
||||
|
||||
**第一空格 = 找字符(状态字节, 32, 0)**
|
||||
|
||||
**第二空格 = 找字符(状态字节, 32, 第一空格 + 1)**
|
||||
|
||||
1. `第一空格 < 0 or 第二空格 < 0`
|
||||
|
||||
*{ok: false, code: "http.invalid", message: "状态行格式无效"}*
|
||||
|
||||
**状态文本 = 字节文本(切片字节(状态字节, 第一空格 + 1, 第二空格))**
|
||||
|
||||
1. `not 状态文本.ok`
|
||||
|
||||
*{ok: false, code: "http.invalid", message: "状态码不是 ASCII"}*
|
||||
|
||||
**状态 = 整数(状态文本.value)**
|
||||
|
||||
**原因 = 字节文本(切片字节(状态字节, 第二空格 + 1, 长度(状态字节)))**
|
||||
|
||||
1. `not 原因.ok`
|
||||
|
||||
*{ok: false, code: "http.invalid", message: "原因短语不是 ASCII"}*
|
||||
|
||||
**头 = {}**
|
||||
|
||||
@@ -190,17 +274,23 @@
|
||||
|
||||
- `行号 < 长度(行列表)`
|
||||
|
||||
**行点 = text.codepoints(行列表[行号])**
|
||||
**行 = 行列表[行号]**
|
||||
|
||||
**冒号 = 找字符(行点, 58, 0)**
|
||||
**冒号 = 找字符(行, 58, 0)**
|
||||
|
||||
1. `冒号 >= 0`
|
||||
|
||||
**名 = 切片(行点, 0, 冒号)**
|
||||
**名 = 字节文本(切片字节(行, 0, 冒号))**
|
||||
|
||||
**值 = 切片(行点, 冒号 + 2, 长度(行点))**
|
||||
**值 = 字节文本(切片字节(行, 冒号 + 2, 长度(行)))**
|
||||
|
||||
**头 = map.set(头, 名, 值)**
|
||||
1. `名.ok and 值.ok`
|
||||
|
||||
**头 = map.set(头, 名.value, 值.value)**
|
||||
|
||||
2. `true`
|
||||
|
||||
**忽略 = 0**
|
||||
|
||||
2. `true`
|
||||
|
||||
@@ -214,26 +304,75 @@
|
||||
|
||||
1. `传输 == "chunked"`
|
||||
|
||||
**解码后 = 解码分块(体)**
|
||||
**分块 = 解码分块字节(体)**
|
||||
|
||||
1. `not 分块.ok`
|
||||
|
||||
*分块*
|
||||
|
||||
**解码后 = 分块.value**
|
||||
|
||||
2. `true`
|
||||
|
||||
**解码后 = 体**
|
||||
**忽略 = 0**
|
||||
|
||||
*{状态: 状态, 原因: 原因, 头: 头, 体: 解码后}*
|
||||
*{ok: true, value: {status: 状态, reason: 原因.value, headers: 头, body: 解码后}}*
|
||||
|
||||
## 解析响应
|
||||
|
||||
`(文本)`
|
||||
|
||||
兼容文本 API:按字节解析后,把正文按 UTF-8 解码。
|
||||
|
||||
**响应 = 解析响应字节(文本字节(文本))**
|
||||
|
||||
1. `not 响应.ok`
|
||||
|
||||
*{状态: 0, 原因: "", 头: {}, 体: ""}*
|
||||
|
||||
**正文 = 字节文本(响应.value.body)**
|
||||
|
||||
1. `not 正文.ok`
|
||||
|
||||
*{状态: 响应.value.status, 原因: 响应.value.reason, 头: 响应.value.headers, 体: ""}*
|
||||
|
||||
*{状态: 响应.value.status, 原因: 响应.value.reason, 头: 响应.value.headers, 体: 正文.value}*
|
||||
|
||||
## 构建请求字节
|
||||
|
||||
`(方法, 路径, 头列表, 体字节)`
|
||||
|
||||
构建 HTTP/1.1 请求字节。方法、路径、头名/值按 UTF-8 编码;正文使用
|
||||
传入的字节列表。
|
||||
|
||||
**结果 = 文本字节(方法 + " " + 路径 + " HTTP/1.1" + "\r\n")**
|
||||
|
||||
**下标 = 0**
|
||||
|
||||
- `下标 < 长度(头列表)`
|
||||
|
||||
**头 = 头列表[下标]**
|
||||
|
||||
**结果 = list.concat(结果, 文本字节(文本(头[0]) + ": " + 文本(头[1]) + "\r\n"))**
|
||||
|
||||
**下标 = 下标 + 1**
|
||||
|
||||
**结果 = list.concat(结果, [13, 10])**
|
||||
|
||||
*list.concat(结果, 体字节)*
|
||||
|
||||
## 构建请求
|
||||
|
||||
`(方法, 路径, 头列表, 体)`
|
||||
`(方法, 路径, 头列表, 体文本)`
|
||||
|
||||
**请求 = 方法 + " " + 路径 + " HTTP/1.1\r\n"**
|
||||
兼容文本 API,正文按 UTF-8 编码。
|
||||
|
||||
**行号 = 0**
|
||||
**请求 = 构建请求字节(方法, 路径, 头列表, 文本字节(体文本))**
|
||||
|
||||
- `行号 < 长度(头列表)`
|
||||
**文本结果 = 字节文本(请求)**
|
||||
|
||||
**请求 = 请求 + 头列表[行号][0] + ": " + 头列表[行号][1] + "\r\n"**
|
||||
1. `not 文本结果.ok`
|
||||
|
||||
**行号 = 行号 + 1**
|
||||
*""*
|
||||
|
||||
*请求 + "\r\n" + 体*
|
||||
*文本结果.value*
|
||||
+1
-1
@@ -1,5 +1,5 @@
|
||||
{
|
||||
"name": "marqdo-stdlib",
|
||||
"version": "0.1.0",
|
||||
"digest": "sha256:0809bdb27b2d4688aae7c8a2fcd270b88e23fcf33fa9edbd127681fa05f3a4a1"
|
||||
"digest": "sha256:9a921f5fc7a929cee1fa4b4d8f2b401a3bf69198d1a753b5dc8de5d28d46583f"
|
||||
}
|
||||
@@ -11,4 +11,12 @@ import:
|
||||
|
||||
**请求 = http.构建请求("POST", "/echo", [["Host", "example.test"], ["Content-Length", "2"]], "ok")**
|
||||
|
||||
*[响应.状态, 响应.原因, 响应.头["Content-Type"], 响应.体, 请求]*
|
||||
**响应字节 = http.解析响应字节(http.文本字节("HTTP/1.1 200 OK\r\nTransfer-Encoding: chunked\r\n\r\n6\r\n你好\r\n0\r\n\r\n"))**
|
||||
|
||||
**正文 = http.字节文本(响应字节.value.body)**
|
||||
|
||||
**请求字节 = http.构建请求字节("POST", "/", [], [65, 66])**
|
||||
|
||||
**请求文本 = http.字节文本(请求字节)**
|
||||
|
||||
*[响应.状态, 响应.原因, 响应.头["Content-Type"], 响应.体, 请求, 响应字节.value.status, 正文.value, 请求文本.value]*
|
||||
Reference in new issue
Block a user