Erlang 位语法与二进制处理：高效数据序列化与协议解析

% binary：8 位倍数的位序列（最常用）
B1 = <<1, 2, 3>>.           % 3 字节二进制
B2 = <<"hello">>.           % 字符串转为二进制

% bitstring：任意位数的位序列
BS = <<1:1, 0:1, 1:1>>.    % 3 位，不是 binary（不是 8 的倍数）

% is_binary/1 和 is_bitstring/1
is_binary(<<1,2>>).          % true
is_binary(<<1:1>>).          % false（是 bitstring 但不是 binary）

# Binary 在堆外分配（refc binary），进程间共享
# 小 binary（< 64 字节）在进程堆内分配（heap binary）
# 大 binary 引用计数释放 → 避免进程间复制大块数据
# 参考：erts 的 refc binary 和 sub binary 机制

<<Value:Size/TypeSpecifierList>>

% 示例
<<256:16>>.                  % 2 字节大端: <<1, 0>>
<<256:16/little>>.           % 2 字节小端: <<0, 1>>
<<3.14:32/float>>.           % 32 位 IEEE 754 浮点
<<-1:8/signed>>.             % 有符号: <<255>>
<<"abc">>.                   % 字符串转为二进制

% 匹配头部字节
<<Header:8, Rest/binary>> = <<1, 2, 3, 4>>.
% Header = 1, Rest = <<2, 3, 4>>

% 匹配固定长度
<<A:8, B:16, C:8>> = <<1, 0, 255, 3>>.
% A=1, B=255 (0*256+255), C=3

% 匹配字符串前缀
<<"GIF", Rest/binary>> = <<"GIF89a", 1, 2, 3>>.

% Length 前缀 + Payload
<<Len:8, Payload:Len/binary, Rest/binary>> = <<3, "abc", "xyz">>.
% Len=3, Payload=<<"abc">>, Rest=<<"xyz">>

% 嵌套长度（如 TCP 选项）
<<Type:8, Len:8, OptData:Len/binary, Rest/binary>> = Data.

parse_packets(<<>>) -> [];
parse_packets(<<Len:16, Payload:Len/binary, Rest/binary>>) ->
    [Payload | parse_packets(Rest)].

% 解析全部长度前缀的报文

% 将列表转为 UTF-8 二进制
<< <<X/utf8>> || X <- [1049, 1088, 1083, 1072, 1085, 1076] >>.
% => <<"Ирланд">>  (爱尔兰)

% 偶数过滤
<< <<X:8>> || X <- [1,2,3,4,5,6], X rem 2 == 0 >>.
% => <<2, 4, 6>>

% 二进制推导生成
[ X || <<X:8>> <= <<1,2,3>> ].
% => [1, 2, 3]

binary_to_list(<<1,2,3>>).     % => [1, 2, 3]
list_to_binary([1,2,3]).       % => <<1, 2, 3>>

% 注意：binary_to_list/1 处理大 binary 效率低，保持二进制操作

% 每次拼接创建新 binary → O(n) 拷贝
% 大量拼接时性能灾难
% 解决：iolist——树形结构，延迟拼接

% iolist = [iolist() | byte() | binary()]
% 即：嵌套列表、字节、二进制的混合树

IoList = ["HTTP/1.1 200 OK\r\n",
          ["Content-Length: ", integer_to_binary(12), "\r\n"],
          "\r\n",
          <<"Hello World!">>].

% 使用时统一转换
Response = iolist_to_binary(IoList).

% 或直接发给端口（gen_tcp:send 接受 iolist）
gen_tcp:Socket, IoList).

iodata = iolist() | binary()
% 函数参数声明为 iodata() → 接受 binary 或 iolist
% 宽口径输入、统一处理

% 设置第 N 位（从 0 开始）
set_bit(Flags, N) -> Flags bor (1 bsl N).

% 清除第 N 位
clear_bit(Flags, N) -> Flags band bnot (1 bsl N).

% 检查第 N 位
is_bit_set(Flags, N) -> (Flags band (1 bsl N)) =/= 0.

% 位掩码提取低 4 位
Low4 = Flags band 2#1111.

-define(FIN, 1).  % 0b00000001
-define(SYN, 2).  % 0b00000010
-define(RST, 4).  % 0b00000100
-define(PSH, 8).  % 0b00001000
-define(ACK, 16). % 0b00010000
-define(URG, 32). % 0b00100000

is_syn(Flags) -> (Flags band ?SYN) =/= 0.
is_syn_ack(Flags) -> (Flags band (?SYN bor ?ACK)) =:= (?SYN bor ?ACK).

parse_tcp(<<SrcPort:16, DstPort:16,
            Seq:32, Ack:32,
            DataOffset:4, _Reserved:4, Flags:8,
            Window:16, Checksum:16, Urgent:16,
            OptionsAndData/binary>>) ->
    HeaderLen = DataOffset * 4,
    <<Options:HeaderLen/binary, Data/binary>> = OptionsAndData,
    #{src_port => SrcPort, dst_port => DstPort,
      seq => Seq, ack => Ack,
      flags => Flags, window => Window,
      options => Options, data => Data}.

% 编码
encode(Msg) ->
    Payload = jsx:encode(Msg),
    <<(byte_size(Payload)):32, Payload/binary>>.

% 解码（处理粘包）
decode(Buffer) -> decode(Buffer, []).

decode(<<Len:32, Payload:Len/binary, Rest/binary>>, Acc) ->
    decode(Rest, [jsx:decode(Payload) | Acc]);
decode(Buffer, Acc) ->
    {lists:reverse(Acc), Buffer}.

// C NIF 接收 Erlang binary
static ERL_NIF_TERM parse_header(ErlNifEnv* env, int argc, const ERL_NIF_TERM argv[]) {
    ErlNifBinary bin;
    if (!enif_inspect_binary(env, argv[0], &bin)) return enif_make_badarg(env);
    
    // bin.data 指向共享内存，只读不可修改
    uint16_t magic = (bin.data[0] << 8) | bin.data[1];
    return enif_make_uint(env, magic);
}

# NIF 不能长时间运行（会阻塞 Erlang 调度器）
# dirty NIF（dirty_cpu/dirty_io）用于耗时操作
# Binary 在 NIF 中是只读的，修改需复制到新内存

# 1) 避免频繁 binary_to_list → 保持二进制上下文
# 2) 用 iolist 替代多次 << >> 拼接
# 3) 模式匹配提取优于 binary:part/3
# 4) 大文件用 file:read_file 或 raw 模式
# 5) 二进制复制开销：sub binary（引用）vs 新分配

<<_:8, Rest/binary>> = <<1, 2, 3, 4>>.
% Rest 是 sub binary：引用原内存 + 偏移/长度
% 不分配新内存，直到写入才复制（copy-on-write）

% 查看 binary 内存
erlang:memory(binary).    % 当前 binary 总内存

% 进程持有的 binary
process_info(Pid, binary). % 进程引用的二进制列表