Files
marqdo-cli/stdlib/text/utf8.mq.md
T

4.0 KiB

成功

(值)

{ok: true, value: 值}

失败

(代码, 消息)

{ok: false, code: 代码, message: 消息}

续字节

(字节)

字节 >= 128 and 字节 < 192

编码

(文本, 内存, 基址)

把 Unicode 标量序列按 UTF-8 写入 Memory,返回字节长度。 这是 .mq.md 自己实现的编码逻辑,不是 Rust 内建 UTF-8 转换。

点 = text.codepoints(文本)

下标 = 0

偏移 = 0

  • 下标 < 长度(点)

    码点 = 点[下标]

    1. 码点 < 128

      内存[基址 + 偏移] = 码点

      偏移 = 偏移 + 1

    2. 码点 < 2048

      内存[基址 + 偏移] = 192 + 码点 // 64

      内存[基址 + 偏移 + 1] = 128 + 码点 % 64

      偏移 = 偏移 + 2

    3. 码点 < 65536

      内存[基址 + 偏移] = 224 + 码点 // 4096

      内存[基址 + 偏移 + 1] = 128 + 码点 // 64 % 64

      内存[基址 + 偏移 + 2] = 128 + 码点 % 64

      偏移 = 偏移 + 3

    4. true

      内存[基址 + 偏移] = 240 + 码点 // 262144

      内存[基址 + 偏移 + 1] = 128 + 码点 // 4096 % 64

      内存[基址 + 偏移 + 2] = 128 + 码点 // 64 % 64

      内存[基址 + 偏移 + 3] = 128 + 码点 % 64

      偏移 = 偏移 + 4

    下标 = 下标 + 1

偏移

解码2

(内存, 基址, 长度, 偏移, 文本)

  1. 偏移 + 1 >= 长度

    [文本, 偏移, "utf8.truncated"]

b1 = 内存[基址 + 偏移 + 1]

  1. not 续字节(b1)

    [文本, 偏移, "utf8.invalid_continuation"]

码点 = (内存[基址 + 偏移] - 192) * 64 + (b1 - 128)

  1. 码点 < 128

    [文本, 偏移, "utf8.invalid_scalar"]

[文本 + text.from_codepoint(码点), 偏移 + 2, ""]

解码3

(内存, 基址, 长度, 偏移, 文本)

  1. 偏移 + 2 >= 长度

    [文本, 偏移, "utf8.truncated"]

b1 = 内存[基址 + 偏移 + 1]

b2 = 内存[基址 + 偏移 + 2]

  1. not (续字节(b1) and 续字节(b2))

    [文本, 偏移, "utf8.invalid_continuation"]

码点 = (内存[基址 + 偏移] - 224) * 4096 + (b1 - 128) * 64 + (b2 - 128)

  1. 码点 < 2048 or (码点 >= 55296 and 码点 <= 57343)

    [文本, 偏移, "utf8.invalid_scalar"]

[文本 + text.from_codepoint(码点), 偏移 + 3, ""]

解码4

(内存, 基址, 长度, 偏移, 文本)

  1. 偏移 + 3 >= 长度

    [文本, 偏移, "utf8.truncated"]

b1 = 内存[基址 + 偏移 + 1]

b2 = 内存[基址 + 偏移 + 2]

b3 = 内存[基址 + 偏移 + 3]

  1. not (续字节(b1) and 续字节(b2) and 续字节(b3))

    [文本, 偏移, "utf8.invalid_continuation"]

码点 = (内存[基址 + 偏移] - 240) * 262144 + (b1 - 128) * 4096 + (b2 - 128) * 64 + (b3 - 128)

  1. 码点 < 65536 or 码点 > 1114111

    [文本, 偏移, "utf8.invalid_scalar"]

[文本 + text.from_codepoint(码点), 偏移 + 4, ""]

解码

(内存, 基址, 长度)

偏移 = 0

文本 = ""

错误 = ""

  • 偏移 < 长度 and 错误 == ""

    首 = 内存[基址 + 偏移]

    1. 首 < 128

      文本 = 文本 + text.from_codepoint(首)

      偏移 = 偏移 + 1

    2. 首 < 194

      错误 = "utf8.invalid_lead"

    3. 首 < 224

      结果 = 解码2(内存, 基址, 长度, 偏移, 文本)

      文本 = 结果[0]

      偏移 = 结果[1]

      错误 = 结果[2]

    4. 首 < 240

      结果 = 解码3(内存, 基址, 长度, 偏移, 文本)

      文本 = 结果[0]

      偏移 = 结果[1]

      错误 = 结果[2]

    5. 首 < 245

      结果 = 解码4(内存, 基址, 长度, 偏移, 文本)

      文本 = 结果[0]

      偏移 = 结果[1]

      错误 = 结果[2]

    6. true

      错误 = "utf8.invalid_lead"

  1. 错误 == ""

    成功(文本)

  2. true

    失败(错误, "UTF-8 解码失败")

utf8编码

(文本, 内存, 基址)

编码(文本, 内存, 基址)

utf8解码

(内存, 基址, 长度)

解码(内存, 基址, 长度)