4.0 KiB
成功
(值)
{ok: true, value: 值}
失败
(代码, 消息)
{ok: false, code: 代码, message: 消息}
续字节
(字节)
字节 >= 128 and 字节 < 192
编码
(文本, 内存, 基址)
把 Unicode 标量序列按 UTF-8 写入 Memory,返回字节长度。
这是 .mq.md 自己实现的编码逻辑,不是 Rust 内建 UTF-8 转换。
点 = text.codepoints(文本)
下标 = 0
偏移 = 0
-
下标 < 长度(点)码点 = 点[下标]
-
码点 < 128内存[基址 + 偏移] = 码点偏移 = 偏移 + 1
-
码点 < 2048内存[基址 + 偏移] = 192 + 码点 // 64内存[基址 + 偏移 + 1] = 128 + 码点 % 64偏移 = 偏移 + 2
-
码点 < 65536内存[基址 + 偏移] = 224 + 码点 // 4096内存[基址 + 偏移 + 1] = 128 + 码点 // 64 % 64内存[基址 + 偏移 + 2] = 128 + 码点 % 64偏移 = 偏移 + 3
-
true内存[基址 + 偏移] = 240 + 码点 // 262144内存[基址 + 偏移 + 1] = 128 + 码点 // 4096 % 64内存[基址 + 偏移 + 2] = 128 + 码点 // 64 % 64内存[基址 + 偏移 + 3] = 128 + 码点 % 64偏移 = 偏移 + 4
下标 = 下标 + 1
-
偏移
解码2
(内存, 基址, 长度, 偏移, 文本)
-
偏移 + 1 >= 长度[文本, 偏移, "utf8.truncated"]
b1 = 内存[基址 + 偏移 + 1]
-
not 续字节(b1)[文本, 偏移, "utf8.invalid_continuation"]
码点 = (内存[基址 + 偏移] - 192) * 64 + (b1 - 128)
-
码点 < 128[文本, 偏移, "utf8.invalid_scalar"]
[文本 + text.from_codepoint(码点), 偏移 + 2, ""]
解码3
(内存, 基址, 长度, 偏移, 文本)
-
偏移 + 2 >= 长度[文本, 偏移, "utf8.truncated"]
b1 = 内存[基址 + 偏移 + 1]
b2 = 内存[基址 + 偏移 + 2]
-
not (续字节(b1) and 续字节(b2))[文本, 偏移, "utf8.invalid_continuation"]
码点 = (内存[基址 + 偏移] - 224) * 4096 + (b1 - 128) * 64 + (b2 - 128)
-
码点 < 2048 or (码点 >= 55296 and 码点 <= 57343)[文本, 偏移, "utf8.invalid_scalar"]
[文本 + text.from_codepoint(码点), 偏移 + 3, ""]
解码4
(内存, 基址, 长度, 偏移, 文本)
-
偏移 + 3 >= 长度[文本, 偏移, "utf8.truncated"]
b1 = 内存[基址 + 偏移 + 1]
b2 = 内存[基址 + 偏移 + 2]
b3 = 内存[基址 + 偏移 + 3]
-
not (续字节(b1) and 续字节(b2) and 续字节(b3))[文本, 偏移, "utf8.invalid_continuation"]
码点 = (内存[基址 + 偏移] - 240) * 262144 + (b1 - 128) * 4096 + (b2 - 128) * 64 + (b3 - 128)
-
码点 < 65536 or 码点 > 1114111[文本, 偏移, "utf8.invalid_scalar"]
[文本 + text.from_codepoint(码点), 偏移 + 4, ""]
解码
(内存, 基址, 长度)
偏移 = 0
文本 = ""
错误 = ""
-
偏移 < 长度 and 错误 == ""首 = 内存[基址 + 偏移]
-
首 < 128文本 = 文本 + text.from_codepoint(首)
偏移 = 偏移 + 1
-
首 < 194错误 = "utf8.invalid_lead"
-
首 < 224结果 = 解码2(内存, 基址, 长度, 偏移, 文本)
文本 = 结果[0]
偏移 = 结果[1]
错误 = 结果[2]
-
首 < 240结果 = 解码3(内存, 基址, 长度, 偏移, 文本)
文本 = 结果[0]
偏移 = 结果[1]
错误 = 结果[2]
-
首 < 245结果 = 解码4(内存, 基址, 长度, 偏移, 文本)
文本 = 结果[0]
偏移 = 结果[1]
错误 = 结果[2]
-
true错误 = "utf8.invalid_lead"
-
-
错误 == ""成功(文本)
-
true失败(错误, "UTF-8 解码失败")
utf8编码
(文本, 内存, 基址)
编码(文本, 内存, 基址)
utf8解码
(内存, 基址, 长度)
解码(内存, 基址, 长度)