笔记 on Hacper's Blog

绿联 NAS 配置 frp 内网穿透

Mon, 11 Aug 2025 00:28:37 +0800

绿联 NAS 当前自带内网穿透功能，对于远程访问设备服务很方便，但是自带的内网穿透功能也有缺点，需要登录用户账号之后才能使用，而且映射的域名是动态变化的。对于一些需要固定地址且稳定访问的服务，还是得考虑自建服务穿透。这里记录使用 docker+frp 搭建内网穿透服务的一些经验。

服务器

需要一台具备公网ip的服务器，使用 docker 搭建frp 服务端。新建一个 frps 目录，新建 frp 配置文件 frps.toml：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


bindPort = 7000

transport.maxPoolCount = 15

transport.tls.force = false

webServer.addr = "0.0.0.0"
webServer.port = 7500
webServer.user = "admin"
webServer.password = "12345678"

detailedErrorsToClient = true

auth.method = "token"
auth.token = "12345678"

注意需要设置 webServer.addr = "0.0.0.0", 不然打不开web管理面板界面。auth.token 和 webServer.password 安卓实际需要修改成自己的。

然后再创建 docker-compose.yaml 文件：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


services:
  frps:
    image: snowdreamtech/frps
    container_name: frps
    network_mode: bridge
    volumes:
      - ./frps.toml:/frp/frps.toml
    ports:
      # 监听端口
      - "7000:7000"
      # 面板端口
      - "7500:7500"
      # nas
      - "9999:9999"
    command: ["-c", "/frp/frps.toml"]
    restart: always

服务器上的 network_mode 设置成 bridge，需要外网访问的端口需要映射到host。包括后面在客户端新增的服务端口，都需要映射到 host，比如这里的 nas 登录服务 - "9999:9999"。

然后执行指令 docker-compose up -d 启动 frp 服务器。

客户端 NAS

在 NAS 上搭建 frp 客户端需要在共享目录创建 docker/frpc 文件目录，创建配置文件 frpc.toml ：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


serverAddr = "117.125.189.120"
serverPort = 7000


auth.method = "token"
auth.token = "12345678"

[[proxies]]
name = "nas"
type = "tcp"
localIP = "127.0.0.1"
localPort = 9999
remotePort = 9999

其中 serverAddr = "117.125.189.120" 改成自己的公网服务器地址，auth.token = "12345678"改成服务器上配置的 token。增加需要内网穿透的服务， localIP 设置为 127.0.0.1，端口 localPort 和 remotePort 设置为实际使用的端口。

在绿联 NAS docker 应用界面新建项目，保存路径选择 docker/frpc 目录，填写 docker-compose.yaml 内容：

1
2
3
4
5
6
7
8
9


services:
  frpc:
    image: snowdreamtech/frpc
    container_name: frpc
    volumes:
      - ./frpc.toml:/frp/frpc.toml
    network_mode: host
    command: ["-c", "/frp/frpc.toml"]
    restart: always

然后点立即部署创建容器。

注意 network_mode 需要设置为 host，创建容器、启动客户端之后便可以通过公网服务器ip:端口访问NAS的服务了,如访问 117.125.189.120:9999 登录NAS。

如果有需要，之后可以添加更多的服务穿透，新增、修改、和删除服务只需要修改服务器和客户端的的配置文件，再重新启动 docker 容器。

J-Link 命令行工具烧写 N32G430 MCU 固件

Fri, 23 May 2025 00:49:37 +0800

J-Link 提供一个叫做 J-Link Commander (JLink.exe) 的命令行工具，可以使用 J-Link Command File (.jlink script) 方式批量自动化烧录。

创建一个.jlink后缀的 J-Link 脚本：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


USB
Device N32G430K8
If SWD
Speed 4000
r
h
loadbin firmware.bin, 0x08000000
r
g
exit

在命令行调用指令：

1

JLink.exe -CommanderScript C:\Users\xxxx\Desktop\j.jlink

烧写固件示例 log:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89


~\Desktop via 🐍 v2.7.18
❯ JLink.exe -CommanderScript C:\Users\xxxx\Desktop\j.jlink
SEGGER J-Link Commander V7.94a (Compiled Dec  6 2023 16:07:38)
DLL version V7.94a, compiled Dec  6 2023 16:06:16


J-Link Command File read successfully.
Processing script file...
J-Link>USB
Connecting to J-Link via USB...O.K.
Firmware: J-Link OB-STM32F072-CortexM compiled Jan  7 2019 14:09:37
Hardware version: V1.00
J-Link uptime (since boot): N/A (Not supported by this model)
S/N: -1
License(s): GDB, RDI, FlashBP, FlashDL, JFlash, RDDI
VTref=3.300V
J-Link>Device N32G430K8
J-Link>If SWD
Selecting SWD as current target interface.
J-Link>Speed 4000
Selecting 4000 kHz as target interface speed
J-Link>r
Target connection not established yet but required for command.
Device "N32G430K8" selected.


Connecting to target via SWD
Found SW-DP with ID 0x2BA01477
DPv0 detected
CoreSight SoC-400 or earlier
Scanning AP map to find all available APs
AP[1]: Stopped AP scan as end of AP map has been reached
AP[0]: AHB-AP (IDR: 0x24770011)
Iterating through AP map to find AHB-AP to use
AP[0]: Core found
AP[0]: AHB-AP ROM base: 0xE00FF000
CPUID register: 0x410FC241. Implementer code: 0x41 (ARM)
Found Cortex-M4 r0p1, Little endian.
FPUnit: 6 code (BP) slots and 2 literal slots
CoreSight components:
ROMTbl[0] @ E00FF000
[0][0]: E000E000 CID B105E00D PID 000BB00C SCS-M7
[0][1]: E0001000 CID B105E00D PID 003BB002 DWT
[0][2]: E0002000 CID B105E00D PID 002BB003 FPB
[0][3]: E0000000 CID B105E00D PID 003BB001 ITM
[0][4]: E0040000 CID B105900D PID 000BB9A1 TPIU
Memory zones:
  Zone: "Default" Description: Default access mode
Cortex-M4 identified.
Reset delay: 0 ms
Reset type NORMAL: Resets core & peripherals via SYSRESETREQ & VECTRESET bit.
Reset: Halt core after reset via DEMCR.VC_CORERESET.
Reset: Reset device via AIRCR.SYSRESETREQ.
J-Link>h
PC = 08003244, CycleCnt = 00000000
R0 = 00000000, R1 = 00000000, R2 = 00000000, R3 = 00000000
R4 = 00000000, R5 = 00000000, R6 = 00000000, R7 = 00000000
R8 = 00000000, R9 = 00000000, R10= 00000000, R11= 00000000
R12= 00000000
SP(R13)= 20004000, MSP= 20004000, PSP= 00000000, R14(LR) = FFFFFFFF
XPSR = 01000000: APSR = nzcvq, EPSR = 01000000, IPSR = 000 (NoException)
CFBP = 00000000, CONTROL = 00, FAULTMASK = 00, BASEPRI = 00, PRIMASK = 00

FPS0 = 00000000, FPS1 = 00000000, FPS2 = 00000000, FPS3 = 00000000
FPS4 = 00000000, FPS5 = 00000000, FPS6 = 00000000, FPS7 = 00000000
FPS8 = 00000000, FPS9 = 00000000, FPS10= 00000000, FPS11= 00000000
FPS12= 00000000, FPS13= 00000000, FPS14= 00000000, FPS15= 00000000
FPS16= 00000000, FPS17= 00000000, FPS18= 00000000, FPS19= 00000000
FPS20= 00000000, FPS21= 00000000, FPS22= 00000000, FPS23= 00000000
FPS24= 00000000, FPS25= 00000000, FPS26= 00000000, FPS27= 00000000
FPS28= 00000000, FPS29= 00000000, FPS30= 00000000, FPS31= 00000000
FPSCR= 00000000
J-Link>loadbin firmware.bin, 0x08000000
'loadbin': Performing implicit reset & halt of MCU.
Reset: Halt core after reset via DEMCR.VC_CORERESET.
Reset: Reset device via AIRCR.SYSRESETREQ.
Downloading file [firmware.bin]...
J-Link: Flash download: Bank 0 @ 0x08000000: Skipped. Contents already match
O.K.
J-Link>r
Reset delay: 0 ms
Reset type NORMAL: Resets core & peripherals via SYSRESETREQ & VECTRESET bit.
Reset: Halt core after reset via DEMCR.VC_CORERESET.
Reset: Reset device via AIRCR.SYSRESETREQ.
J-Link>g
Memory map 'after startup completion point' is active
J-Link>exit

Script processing completed.

c 标准库 nano.spec 和 nosys.spec 的内存占用差异

Fri, 28 Feb 2025 00:49:37 +0800

相同应用代码下，nosys.spec vs nano.spec 的内存占用大小。

nosys.spec:

1
2
3


Memory region         Used Size  Region Size  %age Used
             RAM:        4240 B        16 KB     25.88%
           FLASH:       44892 B        64 KB     68.50%

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


library name,text,rodata,data,bss,code,flash,ram
nofp\libc.a,25152,1056,2476,60,26208,28684,2536
nofp\libgcc.a,3116,0,0,0,3116,3116,0
main.c.obj,220,26,0,100,246,246,100
libCMSIS.a,570,0,4,0,570,574,4
libbsp.a,484,0,0,0,484,484,0
libtask.a,220,0,0,16,220,220,16
libn32g430_std_periph_driver.a,694,64,0,0,758,758,0
nofp\libnosys.a,144,0,0,4,144,144,4
crtn.o,8,0,0,0,8,8,0
crtbegin.o,0,0,0,0,0,0,0

nano.spec:

1
2
3


Memory region         Used Size  Region Size  %age Used
             RAM:        1808 B        16 KB     11.04%
           FLASH:       17620 B        64 KB     26.89%

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


library name,text,rodata,data,bss,code,flash,ram
nofp\libc_nano.a,4328,151,100,15,4479,4579,115
main.c.obj,220,26,0,100,246,246,100
libCMSIS.a,570,0,4,0,570,574,4
libbsp.a,484,0,0,0,484,484,0
libtask.a,220,0,0,16,220,220,16
libn32g430_std_periph_driver.a,694,64,0,0,758,758,0
nofp\libnosys.a,108,0,0,4,108,108,4
crtn.o,8,0,0,0,8,8,0
crtbegin.o,0,0,0,0,0,0,0

当在内存资源不富裕的设备开发，应优先使用 nano.spec，不然光打印一个 hello word flash 内存就已经用到二、三十KB了，开销太大。

Qthing AT SOTA 升级流程

Thu, 02 Jan 2025 00:49:37 +0800

Qthing fota 相关 at 指令

文档上只有指令功能说明，没有整个交互流程介绍。

SOTA 升级 AT 交互流程

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


## 上传组件当前版本号，可以在连上云平台之前配置

AT+QIOTMCUVER="GNSS-P0","LC76GPANR12A03S"
OK
AT+QIOTMCUVER="GNSS-P1","LC76GPANR12A03S"
OK
AT+QIOTMCUVER="GNSS-P2","LC76GPANR12A03S"
OK
AT+QIOTMCUVER="GNSS-P3","LC76GPANR12A03S"
OK
AT+QIOTMCUVER="GNSS-P4","LC76GPANR12A03S"
OK

1
2
3
4


## 请求升级计划，在连上云平台之后发送

AT+QIOTOTAREQ=0
OK

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


## 平台下发升级计划

+QIOTEVT: 7,10700,"GNSS-P0","","LC76GABNR12A02S",30,-113,1110736
+QIOTEVT: 7,10700,"GNSS-P1","","LC76GABNR12A02S",30,-113,1110736
+QIOTEVT: 7,10700,"GNSS-P2","","LC76GABNR12A02S",30,-113,1110736
+QIOTEVT: 7,10700,"GNSS-P3","","LC76GABNR12A02S",30,-113,1110736
+QIOTEVT: 7,10700,"GNSS-P4","","LC76GABNR12A02S",30,-113,1110736

# 一个升级计划可能包含多个组件升级，他这里分别上报各个组件的升级信息，这样 MCU 并不知道当前升级计划有多少个组件要升级。
# 这里的升级计划数据需要持久化，一旦平台开始下载升级了，中间掉电重新上线，不会再次下发升级计划，而是重新开始下载文件。

1
2
3
4


## 设备确认升级

AT+QIOTUPDATE=1
OK

1
2


## 广播操作第一个设备。ps：好像没啥用，当前没处理这个URC
+QIOTEVT: 7,10707,1

1
2
3
4
5
6
7
8
9


## 开始下载组件

+QIOTEVT: 7,10701,"GNSS-P0",43956,"af575a5488587fcbb49a5abc750d9df5",1520610221
# 校验信息在这个阶段得保存下来，用于核对下载完成之后升级文件的完整性校验。

## 下载中

+QIOTEVT: 7,10702
+QIOTEVT: 7,10702

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90


## 文件片段下载完成

+QIOTEVT: 7,10703,"GNSS-P0",43956,0,43956
# ps：需要处理读取的偏移量，需要判断文件下载完成了还是只是文件部分片段下载完成了

## 读取固件数据

AT+QIOTOTARD=0,974
+QIOTOTARD: 0,974
0000-0020: DF F8 58 D0 72 B6 16 48  80 47 16 48 16 49 17 4B  17 4C 18 4A 42 F8 04 0B  42 F8 04 1B 42 F8 04 3B    ..X.r..H.G.H.I.K.L.JB...B...B..;
0020-0040: 14 60 00 20 14 49 0D 4A  41 F8 04 0B 91 42 FF F4  FB AF 12 4A 12 4B 0A F0  5E FB 12 4A 12 4B 0A F0    .`. .I.JA....B.....J.K..^..J.K..
0040-0060: 5A FB 12 49 12 4A 13 4B  0A F0 4C FB 12 49 13 4A  13 4B 0A F0 47 FB 13 48  00 47 70 47 00 40 01 04    Z..I.J.K..L..I.J.K..G..H.GpG.@..
0060-0080: AD A6 20 04 17 00 20 14  00 00 20 04 23 00 00 10  00 00 00 00 00 10 18 E0  00 30 01 04 B4 AB 20 04    .. ... ... .#............0.... .
0080-00A0: 9C F2 20 04 FC 0E 00 04  C8 BF 00 04 78 01 20 04  00 00 00 04 E4 0E 00 04  5C 10 20 04 E4 0E 00 04    .. .........x. .........\. .....
00A0-00C0: FC 0E 00 04 B1 5F 20 04  00 40 01 04 01 00 20 04  B9 73 20 04 B9 73 20 04  B9 73 20 04 B9 73 20 04    ....._ ..@.... ..s ..s ..s ..s .
00C0-00E0: B9 73 20 04 00 00 00 00  00 00 00 00 00 00 00 00  00 00 00 00 B9 73 20 04  B9 73 20 04 00 00 00 00    .s ..................s ..s .....
00E0-0100: B9 73 20 04 B9 73 20 04  11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04    .s ..s .........................
0100-0120: 11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04    ................................
0120-0140: 11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04    ................................
0140-0160: 11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04    ................................
0160-0180: 11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04  11 00 00 04 11 00 00 04  02 4B 58 68 C0 F3 08 00    .........................KXh....
0180-01A0: 10 38 70 47 00 ED 00 E0  08 B5 00 F0 89 FE FF F7  F3 FF C0 B2 1A 28 07 D8  40 B2 0B 4B 53 F8 20 30    .8pG.................(..@..KS. 0
01A0-01C0: 23 B1 98 47 00 20 02 E0  FD 20 00 E0 FC 20 EF F3  12 83 33 B1 05 48 06 4A  06 4B 4F F4 91 71 06 F2    #..G. ... ... ....3..H.J.KO..q..
01C0-01E0: 6F F8 40 B2 08 BD 00 BF  54 AC 20 04 4F 12 20 04  A0 12 20 04 8D 25 20 04  10 B5 74 46 EF F3 12 83    o.@.....T. .O. ... ..% ...tF....
01E0-0200: 03 60 10 23 83 F3 11 88  BF F3 5F 8F BF F3 6F 8F  00 68 48 B9 00 F0 AE FD  02 28 05 D1 01 20 03 49    .`.#......_...o..hH......(... .I
0200-0220: 00 F0 64 F8 02 4B 1C 60  00 20 10 BD E8 0E 00 04  50 AC 20 04 F8 B5 07 46  68 BB EF F3 12 83 10 2B    ..d..K.`. ......P. ....Fh......+
0220-0240: 29 D1 00 F0 97 FD 02 28  22 D1 17 4C 17 4D 18 4E  21 46 01 20 00 F0 4A F8  30 68 21 68 2A 46 00 F0    )......("..L.M.N!F. ..J.0h!h*F..
0240-0260: 71 F8 2B 68 B3 F5 7A 7F  0E D9 1E 20 64 21 04 F2  1D FD 49 F6 40 43 98 42  06 D9 0E 48 0E 4A 0F 4B    q.+h..z.... d!....I.@C.B...H.J.K
0260-0280: 4F F4 AD 71 06 F2 1C F8  00 23 33 60 23 60 2B 60  0B 4B 00 22 1A 60 87 F3  11 88 BF F3 5F 8F BF F3    O..q.....#3`#`+`.K.".`......_...
0280-02A0: 6F 8F 00 20 F8 BD 00 BF  EC 0E 00 04 E4 0E 00 04  E8 0E 00 04 4F 12 20 04  80 12 20 04 8D 25 20 04    o.. ................O. ... ..% .
02A0-02C0: 50 AC 20 04 EF F3 12 83  03 60 10 23 83 F3 11 88  BF F3 5F 8F BF F3 6F 8F  00 20 70 47 80 F3 11 88    P. ......`.#......_...o.. pG....
02C0-02E0: BF F3 5F 8F BF F3 6F 8F  00 20 70 47 70 B5 0D 46  04 46 60 B9 10 4E 33 78  01 2B 06 D0 0F 48 10 21    .._...o.. pGp..F.F`..N3x.+...H.!
02E0-0300: 22 46 00 F0 7A F8 01 23  33 70 0C 48 0C E0 01 28  0F D1 09 4E 73 78 01 2B  05 D0 09 48 00 21 0C 22    "F..z..#3p.H...(...Nsx.+...H.!."
0300-0320: 00 F0 6B F8 74 70 06 48  00 F0 46 F8 28 60 00 20  00 E0 FF 20 40 B2 70 BD  FC 0E 00 04 00 02 12 A2    ..k.tp.H..F.(`. ... @.p.........
0320-0340: 00 03 12 A2 1A B1 08 1A  10 60 00 20 00 E0 FF 20  40 B2 70 47 38 B5 0A 4C  23 78 01 2B 05 46 06 D0    .........`. ... @.pG8..L#x.+.F..
0340-0360: 08 48 10 21 00 22 00 F0  48 F8 01 23 23 70 28 46  00 F0 24 F8 01 46 03 48  00 F0 4B F8 00 20 38 BD    .H.!."..H..##p(F..$..F.H..K.. 8.
0360-0380: FC 0E 00 04 00 02 12 A2  38 B5 09 4C 63 78 01 2B  05 46 06 D0 07 48 00 21  0C 22 00 F0 2E F8 01 23    ........8..Lcx.+.F...H.!.".....#
0380-03A0: 63 70 04 48 29 46 00 F0  34 F8 00 20 38 BD 00 BF  FC 0E 00 04 00 03 12 A2  80 69 70 47 C3 00 19 1A    cp.H)F..4.. 8............ipG....
03A0-03C0: 0A 22 B1 FB F2 F1 06 22  10 B5 42 43 64 24 B2 FB  F4 F2 0A 44 02 EB 40 10  4F F4 7A 72 B3 FB F2 F3    ."....."..BCd$.....D..@.O.zr....
03C0-03E0: 18 44 10 BD 08 B5 34 20  00 F0 0C FB 20 B9 

OK


AT+QIOTOTARD=974,974
+QIOTOTARD: 974,974

0000-0020: 34 20 BD E8 08 40 04 F2  44 BD 08 BD 70 B5 04 46  0D 46 16 46 35 43 FF F7  EE FF 40 F2 01 33 A5 60    4 ...@..D...p..F.F.F5C....@..3.`
0020-0040: 23 60 70 BD 82 69 83 69  9B 1A 8B 42 FB D9 70 47  00 00 0B 28 00 F2 30 81  DF E8 10 F0 0C 00 2F 00    #`p..i.i...B..pG...(..0......./.
0040-0060: 53 00 76 00 98 00 BB 00  DE 00 03 01 0B 01 1B 01  21 01 27 01 91 4B D3 F8  70 22 42 F4 80 72 C3 F8    S.v.............!.'..K..p"B..r..
0060-0080: 70 22 D3 F8 30 22 61 F3  0A 22 C3 F8 30 22 D3 F8  50 22 42 F4 80 72 C3 F8  50 22 D3 F8 50 22 D2 05    p"..0"a.."..0"..P"B..r..P"..P"..
0080-00A0: FB D4 D3 F8 60 12 84 4A  C1 F3 00 21 00 29 F8 D1  D2 F8 70 32 61 F3 08 23  20 E0 7F 4B D3 F8 70 22    ....`..J...!.)....p2a..# ..K..p"
00A0-00C0: 42 F0 01 02 C3 F8 70 22  D3 F8 30 22 61 F3 02 02  C3 F8 30 22 D3 F8 50 22  42 F0 01 02 C3 F8 50 22    B.....p"..0"a.....0"..P"B.....P"
00C0-00E0: D3 F8 50 22 D0 07 FB D4  D3 F8 60 12 73 4A 11 F0  01 01 F9 D1 D2 F8 70 32  61 F3 00 03 C2 F8 70 32    ..P"......`.sJ........p2a.....p2
00E0-0100: 70 47 6D 4B D3 F8 70 22  42 F4 80 32 C3 F8 70 22  D3 F8 30 22 61 F3 12 42  C3 F8 30 22 D3 F8 50 22    pGmK..p"B..2..p"..0"a..B..0"..P"
0100-0120: 42 F4 80 32 C3 F8 50 22  D3 F8 50 22 D1 03 FB D4  D3 F8 60 12 61 4A C1 F3  00 41 00 29 F8 D1 D2 F8    B..2..P"..P"......`.aJ...A.)....
0120-0140: 70 32 61 F3 10 43 D9 E7  5C 4B D3 F8 74 22 42 F0  01 02 C3 F8 74 22 D3 F8  34 22 61 F3 02 02 C3 F8    p2a..C..\K..t"B.....t"..4"a.....
0140-0160: 34 22 D3 F8 54 22 42 F0  01 02 C3 F8 54 22 D3 F8  54 22 D2 07 FB D4 D3 F8  64 12 4F 4A 11 F0 01 01    4"..T"B.....T"..T"......d.OJ....
0160-0180: F9 D1 D2 F8 74 32 61 F3  00 03 67 E0 4B 4B D3 F8  74 22 42 F4 80 72 C3 F8  74 22 D3 F8 34 22 61 F3    ....t2a...g.KK..t"B..r..t"..4"a.
0180-01A0: 0A 22 C3 F8 34 22 D3 F8  54 22 42 F4 80 72 C3 F8  54 22 D3 F8 54 22 D0 05  FB D4 D3 F8 64 12 3E 4A    ."..4"..T"B..r..T"..T"......d.>J
01A0-01C0: C1 F3 00 21 00 29 F8 D1  D2 F8 74 32 61 F3 08 23  44 E0 39 4B D3 F8 74 22  42 F0 80 72 C3 F8 74 22    ...!.)....t2a..#D.9K..t"B..r..t"
01C0-01E0: D3 F8 34 22 61 F3 1A 62  C3 F8 34 22 D3 F8 54 22  42 F0 80 72 C3 F8 54 22  D3 F8 54 22 D1 01 FB D4    ..4"a..b..4"..T"B..r..T"..T"....
01E0-0200: D3 F8 64 12 2D 4A C1 F3  00 61 00 29 F8 D1 D2 F8  74 32 61 F3 18 63 21 E0  28 4B D3 F8 74 22 42 F4    ..d.-J...a.)....t2a..c!.(K..t"B.
0200-0220: 80 32 C3 F8 74 22 D3 F8  34 22 61 F3 11 42 C3 F8  34 22 D3 F8 54 22 42 F4  80 32 C3 F8 54 22 D3 F8    .2..t"..4"a..B..4"..T"B..2..T"..
0220-0240: 54 22 D2 03 FB D4 D3 F8  64 12 1B 4A C1 F3 00 41  00 29 F8 D1 D2 F8 74 32  61 F3 10 43 C2 F8 74 32    T"......d..J...A.)....t2a..C..t2
0240-0260: 70 47 15 4B D3 F8 38 22  61 F3 02 02 C3 F8 38 22  70 47 12 4B D3 F8 04 22  01 F0 01 01 61 F3 00 02    pG.K..8"a.....8"pG.K..."....a...
0260-0280: C3 F8 04 22 D3 F8 04 22  61 F3 08 22 C3 F8 04 22  70 47 0A 4B D3 F8 00 22  61 F3 00 02 0A E0 07 4B    ..."..."a.."..."pG.K..."a......K
0280-02A0: D3 F8 00 22 61 F3 08 22  04 E0 04 4B D3 F8 00 22  61 F3 10 42 C3 F8 00 22  70 47 00 00 02 A2 00 00    ..."a.."...K..."a..B..."pG......
02A0-02C0: 15 A2 10 28 30 B5 00 F0  1F 05 13 D9 A0 F1 30 03  04 2B 13 D9 A0 F1 44 03  15 2B 13 D9 A0 F1 60 03    ...(0.........0..+....D..+....`.
02C0-02E0: 11 2B 13 D9 90 28 15 D0  B0 28 2C D1 19 4B 19 4C  1A 4A 12 E0 1A 4B 1A 4C  1B 4A 0E E0 1B 4B 1B 4C    .+...(...(,..K.L.J...K.L.J...K.L
02E0-0300: 1C 4A 0A E0 1C 4B 1C 4C  1D 4A 06 E0 1D 4B 1D 4C  1E 4A 02 E0 1E 4B 1E 4C  1F 4A 21 B9 20 68 E8 40    .J...K.L.J...K.L.J...K.L.J!. h.@
0300-0320: 00 F0 01 00 30 BD 01 29  04 D1 13 68 A9 40 19 43  11 60 0B E0 02 29 09 D1  1A 68 01 21 01 FA 05 F5    ....0..)...h.@.C.`...)...h.!....
0320-0340: 15 43 1D 60 02 E0 4F F0  FF 30 30 BD 00 20 30 BD  00 BF 70 03 15 A2 60 03  15 A2 80 03 15 A2 10 0B    .C.`..O..00.. 0...p...`.........
0340-0360: 03 A2 00 0B 03 A2 20 0B  03 A2 40 0B 03 A2 30 0B  03 A2 50 0B 03 A2 70 0B  03 A2 60 0B 03 A2 80 0B    ...... ...@...0...P...p...`.....
0360-0380: 03 A2 10 03 15 A2 00 03  15 A2 20 03 15 A2 40 03  15 A2 30 03 15 A2 50 03  15 A2 01 28 24 D1 22 4B    .......... ...@...0...P....($."K
0380-03A0: D3 F8 80 22 02 29 42 F4  80 72 C3 F8 80 22 04 D1  D3 F8 88 22 42 F0 01 02  05 E0 03 29 06 D1 D3 F8    ...".)B..r..."....."B......)....
03A0-03C0: 88 22 42 F4 80 72 C3 F8  88 22 2C E0 05 29 04 D1  D3 F8 88 22 42 F4 80 32  F5 E7 14 29 23 D1 D3 F8    ."B..r...",..)....."B..2...)#...
03C0-03E0: 88 22 42 F0 80 72 EE E7  02 28 1C D1 0F 4B                                                            ."B..r...(...K

OK

# 读这个文件片段完最后一包数据，整个文件下载完成
AT+QIOTOTARD=43830,974                              
+QIOTOTARD: 43830,126
0000-0020: 63 61 74 69 6F 6E 5F 56  32 2E 30 2E 30 2E 41 47  33 33 35 32 5F 45 52 31  00 00 00 00 00 00 00 00    cation_V2.0.0.AG3352_ER1........
0020-0040: 00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  00 00 20 2C 20 04 00 00    .......................... , ...
0040-0060: 00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00    ................................
0060-0080: 00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  00 00 50 AB 20 04          ..........................P. .

OK

1
2
3


## 发送升级中指令
AT+QIOTUPDATE=3
OK

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


## 上传新版本号

AT+QIOTMCUVER="GNSS-P0","LC76GABNR12A02S"

## 平台回复升级中事件

+QIOTEVT: 7,10704

## 平台回复升级成功事件

+QIOTEVT: 7,10705..

## 平台推送开始下载下一个升级组件文件

+QIOTEVT: 7,10701,"GNSS-P1",432,"2db44eb7576c8bd99a673f4a5cf650f9",1329991157

# 之后便是和之前一样的流程，下载中、下载完成、读固件数据，更新升级状态和上报新版本

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127


## 下载大文件的情况处理

+QIOTEVT: 7,10701,"GNSS-P3",1110736,"1e1c252ffd1103e4efbaf6ee66ab8830",1133715339
+QIOTEVT: 7,10702
+QIOTEVT: 7,10702                                                                                             ..

## 下载完成
+QIOTEVT: 7,10703,"GNSS-P3",1110736,0,204800
AT+QIOTOTARD=0,974
+QIOTOTARD: 0,974
0000-0020: DF F8 D8 D0 72 B6 36 48  80 47 36 48 36 49 41 60  36 49 C0 F8 84 10 36 49  C1 60 36 48 36 49 01 60    ....r.6H.G6H6IA`6I....6I.`6H6I.`
0020-0040: 36 48 37 49 01 60 37 48  37 49 38 4B 38 4C 39 4A  42 F8 04 0B 42 F8 04 1B  42 F8 04 3B 14 60 00 20    6H7I.`7H7I8K8L9JB...B...B..;.`. 
0040-0060: 35 49 26 4A 41 F8 04 0B  91 42 FF F4 FB AF 33 49  33 4A 34 4B 00 F0 EE F8  33 49 34 4A 34 4B 00 F0    5I&JA....B....3I3J4K....3I4J4K..
0060-0080: E9 F8 34 4A 34 4B 00 F0  EE F8 34 49 34 4A 35 4B  00 F0 E0 F8 34 49 35 4A  35 4B 00 F0 DB F8 35 49    ..4J4K....4I4J5K....4I5J5K....5I
0080-00A0: 35 4A 36 4B 00 F0 D6 F8  35 4A 36 4B 00 F0 DB F8  35 4A 36 4B 00 F0 D7 F8  35 49 88 47 01 28 00 F0    5J6K....5J6K....5J6K....5I.G.(..
00A0-00C0: 17 80 34 49 34 4A 35 4B  00 F0 C4 F8 34 49 35 4A  35 4B 00 F0 BF F8 35 4A  35 4B 00 F0 C4 F8 35 49    ..4I4J5K....4I5J5K....5J5K....5I
00C0-00E0: 35 4A 36 4B 00 F0 B6 F8  35 4A 36 4B 00 F0 BB F8  35 48 80 47 35 48 00 47  70 47 00 00 00 00 01 04    5J6K....5J6K....5H.G5H.GpG......
00E0-0100: D5 91 00 08 00 00 08 A2  12 00 80 07 00 00 26 00  9A 78 56 14 30 00 08 A2  40 00 00 00 08 00 16 A2    ..............&..xV.0...@.......
0100-0120: 00 00 00 00 17 00 20 14  00 00 20 04 0F 00 30 14  00 00 30 04 00 10 18 E0  00 F0 00 04 60 55 11 08    ...... ... ...0...0.........`U..
0120-0140: 00 00 00 04 98 2C 00 04  F8 81 11 08 98 2C 00 04  70 2D 00 04 70 2D 00 04  28 EE 00 04 F0 31 11 08    .....,.......,..p-..p-..(....1..
0140-0160: 00 00 20 14 80 18 20 14  70 4A 11 08 80 18 20 14  7C 21 20 14 6C 53 11 08  C0 CB 24 04 90 CC 24 04    .. ... .pJ.... .|! .lS....$...$.
0160-0180: 80 21 20 14 C0 CB 24 14  90 CC 24 04 40 FA 24 04  45 4A 01 08 3C 54 11 08  00 04 30 04 24 05 30 04    .! ...$...$.@.$.EJ..0180-01A0: 60 55 11 08 24 05 30 04  24 05 30 04 24 05 30 04  24 05 30 04 60 55 11 08  40 05 30 14 40 05 30 14    `U..$.0.$.0.$.0.$.0.`U..@.0.@.0.
01A0-01C0: 40 05 30 14 F0 BD 30 14  B1 91 00 08 29 A6 02 08  06 4B D3 F8 88 20 42 F4  70 02 C3 F8 88 20 04 4A    @.0...0.....)....K... B.p.... .J
01C0-01E0: 9A 60 5A 6A 42 F4 E0 22  5A 62 70 47 00 ED 00 E0  00 00 00 04 12 4B 13 49  00 22 1A 60 13 22 5A 60    .`ZjB.."ZbpG.........K.I.".`."Z`
01E0-0200: 03 22 5A 60 10 4A 41 F4  80 70 10 60 0F 48 01 44  11 64 01 22 DA 62 0E 4A  B2 F5 A0 3F 08 D0 B2 F5    ."Z`.JA..p.`.H.D.d.".b.J...?....
0200-0220: B0 3F 08 D0 B2 F5 80 3F  08 D1 40 F2 0D 32 04 E0  40 F2 0D 22 01 E0 40 F2  0D 12 1A 60 70 47 00 BF    .?.....?..@..2..@.."..@....`pG..
0220-0240: 00 00 18 E0 00 00 00 08  00 00 19 E0 00 00 20 00  00 00 01 00 9A 42 3E BF  51 F8 04 0B 42 F8 04 0B    .............. ......B>.Q...B...
0240-0260: FF F7 F8 BF 70 47 9A 42  3E BF 00 20 42 F8 04 0B  FF F7 F9 BF 70 47 00 00  D0 40 0B 1C D1 40 9C 46    ....pG.B>.. B.......pG...@...@.F
0260-0280: 20 3A D3 40 18 43 52 42  63 46 93 40 18 43 70 47  91 40 03 1C 90 40 9C 46  20 3A 93 40 19 43 52 42     :.@.CRBcF.@.CpG.@...@.F :.@.CRB
0280-02A0: 63 46 D3 40 19 43 70 47  81 F0 00 41 02 E0 00 BF  83 F0 00 43 30 B5 4F EA  41 04 4F EA 43 05 94 EA    cF.@.CpG...A.......C0.O.A.O.C...
02A0-02C0: 05 0F 08 BF 90 EA 02 0F  1F BF 54 EA 00 0C 55 EA  02 0C 7F EA 64 5C 7F EA  65 5C 00 F0 E2 80 4F EA    ..........T...U.....d\..e\....O.
02C0-02E0: 54 54 D4 EB 55 55 B8 BF  6D 42 0C DD 2C 44 80 EA  02 02 81 EA 03 03 82 EA  00 00 83 EA 01 01 80 EA    TT..UU..mB..,D..................
02E0-0300: 02 02 81 EA 03 03 36 2D  88 BF 30 BD 11 F0 00 4F  4F EA 01 31 4F F4 80 1C  4C EA 11 31 02 D0 40 42    ......6-..0....OO..1O...L..1..@B
0300-0320: 61 EB 41 01 13 F0 00 4F  4F EA 03 33 4C EA 13 33  02 D0 52 42 63 EB 43 03  94 EA 05 0F 00 F0 A7 80    a.A....OO..3L..3..RBc.C.........
0320-0340: A4 F1 01 04 D5 F1 20 0E  0D DB 02 FA 0E FC 22 FA  05 F2 80 18 41 F1 00 01  03 FA 0E F2 80 18 43 FA    ...... .......".....A.........C.
0340-0360: 05 F3 59 41 0E E0 A5 F1  20 05 0E F1 20 0E 01 2A  03 FA 0E FC 28 BF 4C F0  02 0C 43 FA 05 F3 C0 18    ..YA.... ... ..*....(.L...C.....
0360-0380: 51 EB E3 71 01 F0 00 45  07 D5 4F F0 00 0E DC F1  00 0C 7E EB 00 00 6E EB  01 01 B1 F5 80 1F 1B D3    Q..q...E..O.......~...n.........
0380-03A0: B1 F5 00 1F 0C D3 49 08  5F EA 30 00 4F EA 3C 0C  04 F1 01 04 4F EA 44 52  12 F5 80 0F 80 F0 9A 80    ......I._.0.O.<.....O.DR........
03A0-03C0: BC F1 00 4F 08 BF 5F EA  50 0C 50 F1 00 00 41 EB  04 51 41 EA 05 01 30 BD  5F EA 4C 0C 40 41 41 EB    ...O.._.P.P...A..QA...0._.L.@AA.
03C0-03E0: 01 01 11 F4 80 1F A4 F1  01 04 E9 D1 91 F0   

OK

...

AT+QIOTOTARD=204540,974
+QIOTOTARD: 204540,260

0000-0020: 61 8A B0 F0 67 FE 28 46  E1 8A BD E8 38 40 B1 F0  69 B8 70 B5 04 46 0D 46  20 21 B1 F0 CB F9 21 68    a...g.(F....8@..i.p..F.F !....!h
0020-0040: 78 22 00 26 8D 42 0E D0  2B 78 20 2B 01 D0 1E 44  02 E0 20 2A 01 D0 20 36  1A 46 E3 68 01 35 9D 42    x".&.B..+x +...D.. *.. 6.F.h.5.B
0040-0060: 28 BF A5 68 EE E7 20 46  26 21 B1 F0 B3 F9 20 46  F1 B2 B1 F0 77 F9 20 46  BD E8 70 40 B1 F0 E2 BA    (..h.. F&!.... F....w. F..p@....
0060-0080: 01 28 2D E9 F0 47 07 46  0C 46 15 46 1E 46 34 D1  08 46 B1 F0 D7 FA 20 46  23 21 B1 F0 9B F9 20 46    .(-..G.F.F.F.F4..F.... F#!.... F
0080-00A0: 93 49 D4 F8 00 80 B0 F0  6D FB 20 46 31 7E B1 F0  29 F8 20 46 B1 68 B1 F0  A5 F8 20 46 39 46 B1 F0    .I......m. F1~..). F.h.... F9F..
00A0-00C0: 21 F8 20 46 F1 68 B0 F0  DD FD 20 46 31 69 B0 F0  D9 FD 20 46 71 78 B0 F0  ED FA 20 46 71 69 B0 F0    !. F.h.... F1i.... Fqx.... Fqi..
00C0-00E0: D1 FD 20 46 29 7D B1 F0  0D F8 20 46 00 21 B1 F0  B9 F8 20 46 41 46 FF F7  9C FF 01 3F FF 00 07 F1    .. F)}.... F.!.... FAF.....?....
00E0-0100: 08 08 30 25 24 23 05 FB  07 65 B8 F1 33 0F 28 BF  4F F0 33 08 03 FB 07 66  47 45 80 F0 E7 80 95 F8    ..0%$#...e..3.(.O.3....fGE......
0100-0120: 49 37 05 F5                                                                                           I7..

0000-0020: 4F 4B 0D 0A                                                                                           OK


## 请求下载下一个文件片段
AT+QIOTUPDATE=2
OK

+QIOTEVT: 7,10702
+QIOTEVT: 7,10703,"GNSS-P3",1110736,204800,204800

AT+QIOTOTARD=204800,974
+QIOTOTARD: 204800,974

0000-0020: E9 6A 00 2B 00 F0 DC 80  20 46 23 21 B1 F0 50 F9  20 46 6F 49 D4 F8 00 90  B0 F0 22 FB 20 46 39 46    .j.+.... F#!..P. FoI......". F9F
0020-0040: B0 F0 DE FF 20 46 51 46  FF F7 33 FF 20 46 B1 6A  B0 F0 96 FD 20 46 F1 6A  B0 F0 8A FA 31 6B 20 46    .... FQF..3. F.j.... F.j....1k F
0040-0060: B0 F0 7E FC 20 46 B1 F0  9B FA 20 46 F1 8B B1 F0  F7 FA 20 46 B1 F0 94 FA  73 6B 5E 4A 93 42 02 DB    ..~. F.... F...... F....sk^J.B..
0060-0080: 20 46 B1 F0 8D FA 20 46  71 6B B0 F0 69 FC 71 8C  20 46 B0 F0 AD FD 20 46  B1 F0 82 FA F1 6B 20 46     F.... Fqk..i.q. F.... F.....k F
0080-00A0: B0 F0 FE FD 20 46 B1 F0  7B FA B5 F8 54 17 20 46  B1 F0 D6 FA 20 46 B1 F0  73 FA D5 F8 68 17 20 46    .... F..{...T. F.... F..s...h. F
00A0-00C0: B0 F0 56 FA 20 46 B1 F0  6B FA B1 6B 20 46 B0 F0  47 FC 20 46 B1 F0 64 FA  95 F8 50 17 20 46 B0 F0    ..V. F..k..k F..G. F..d...P. F..
00C0-00E0: 67 FA 20 46 B1 F0 5C FA  31 8C 20 46 B1 F0 B8 FA  20 46 B1 F0 55 FA B5 F8  5C 17 20 46 B0 F0 78 FD    g. F..\.1. F.... F..U...\. F..x.
00E0-0100: 20 46 B1 F0 4D FA B5 F9  60 17 20 46 B1 F0 28 F8  20 46 B1 F0 45 FA B6 F9  24 10 20 46 B1 F0 20 F8     F..M...`. F..(. F..E...$. F.. .
0100-0120: 20 46 B1 F0 3D FA B5 F9  62 17 20 46 B1 F0 18 F8  20 46 B1 F0 35 FA 95 F8  48 17 20 46 B1 F0 B0 FA     F..=...b. F.... F..5...H. F....
0120-0140: 20 46 B1 F0 2D FA B5 F9  6C 17 20 46 B0 F0 90 FC  20 46 B1 F0 25 FA B5 F8  64 17 20 46 B0 F0 88 FC     F..-...l. F.... F..%...d. F....
0140-0160: 20 46 B1 F0 1D FA B5 F8  66 17 20 46 B0 F0 80 FC  20 46 B1 F0 15 FA 95 F8  4A 17 20 46 B0 F0 78 FC     F......f. F.... F......J. F..x.
0160-0180: 20 46 B1 F0 0D FA 95 F8  6F 37 95 F8 6E 17 20 46  43 EA 01 21 B0 F0 6C FC  20 46 B1 F0 01 FA B5 F8     F......o7..n. FC..!..l. F......
0180-01A0: 70 17 20 46 B0 F0 64 FC  20 46 B1 F0 F9 F9 B5 F8  72 17 20 46 B0 F0 5C FC  20 46 B1 F0 F1 F9 B5 F8    p. F..d. F......r. F..\. F......
01A0-01C0: 74 17 20 46 B0 F0 54 FC  20 46 B1 F0 E9 F9 20 46  B5 F8 76 17 B0 F0 4C FC  20 46 49 46 FF F7 A7 FE    t. F..T. F.... F..v...L. FIF....
01C0-01E0: 01 37 30 35 24 36 15 E7  BD E8 F0 87 BA 74 0F 08  BF 74 0F 08 01 36 65 C4  2D E9 F0 4F 9F 4B 1A 68    .705$6.......t...t...6e.-..O.K.h
01E0-0200: 52 04 8D B0 04 46 40 F1  35 81 01 29 40 F0 32 81  1A 68 9B 49 22 F4 80 42  1A 60 41 F6 83 03 41 F6    R....F@.5..)@.2..h.I"..B.`A...A.
0200-0220: AA 07 11 F8 03 C0 41 F6  82 03 CB 5C 03 EB 0C 2C  41 F6 85 03 1F FA 8C FC  CA 5C 41 F6 84 03 CB 5C    ......A....\...,A........\A....\
0220-0240: 03 EB 02 22 41 F6 87 03  92 B2 CD 5C 41 F6 86 03  CB 5C 03 EB 05 23 9B B2  03 93 41 F6 89 03 CD 5C    ..."A......\A....\...#....A....\
0240-0260: 41 F6 88 03 CB 5C 03 EB  05 23 9B B2 04 93 41 F6  93 03 CD 5C 41 F6 92 03  CB 5C 03 EB 05 23 9B B2    A....\...#....A....\A....\...#..
0260-0280: 05 93 41 F6 95 03 CD 5C  41 F6 94 03 CB 5C 03 EB  05 23 9B B2 06 93 41 F6  97 03 CD 5C 41 F6 96 03    ..A....\A....\...#....A....\A...
0280-02A0: CB 5C 03 EB 05 23 9B B2  07 93 41 F6 99 03 CD 5C  41 F6 98 03 CB 5C 03 EB  05 23 9B B2 08 93 41 F6    .\...#....A....\A....\...#....A.
02A0-02C0: 81 03 CD 5C 01 F5 C4 53  1B 78 03 EB 05 25 41 F6  9B 03 AD B2 CE 5C 41 F6  9A 03 CB 5C 03 EB 06 23    ...\...S.x...%A......\A....\...#
02C0-02E0: 9B B2 09 93 41 F6 9D 03  CE 5C 41 F6 9C 03 CB 5C  03 EB 06 23 9B B2 0A 93  41 F6 9F 03 CE 5C 41 F6    ....A....\A....\...#....A....\A.
02E0-0300: 9E 03 CB 5C 03 EB 06 23  9B B2 0B 93 41 F6 A1 03  CF 5D CE 5C 01 F5 C5 53  1B 78 03 EB 06 23 41 F6    ...\...#....A....].\...S.x...#A.
0300-0320: A3 06 9B B2 11 F8 06 B0  41 F6 A2 06 8E 5D 06 EB  0B 2B 41 F6 A5 06 1F FA  8B FB 11 F8 06 A0 41 F6    ........A....]...+A...........A.
0320-0340: A4 06 8E 5D 06 EB 0A 2A  41 F6 A7 06 1F FA 8A FA  11 F8 06 90 41 F6 A6 06  8E 5D 06 EB 09 29 41 F6    ...]...*A...........A....]...)A.
0340-0360: A9 06 1F FA 89 F9 11 F8  06 80 41 F6 A8 06 8E 5D  06 EB 08 28 41 F6 AB 06  1F FA 88 F8 8E 5D 41 49    ..........A....]...(A........]AI
0360-0380: 07 EB 06 27 C5 F3 03 26  0E 70 00 93 01 92 CD F8  08 C0 B1 F0 D5 F8 20 46  23 21 B0 F0 99 FF 20 46    ...'...&.p............ F#!.... F
0380-03A0: 39 49 26 68 B0 F0 6C F9  DD F8 08 C0 20 46 61 46  B0 F0 E6 FC 01 9A 20 46  11 46 B0 F0 E1 FC 20 46    9I&h..l..... FaF...... F.F.... F
03A0-03C0: 03 99 B0 F0 DD FC 20 46  04 99 B0 F0 D9 FC 20 46  0B 99 B0 F0 D5 FC 00 9B  20 46 19 46 B0 F0 D0 FC    ...... F...... F........ F.F....
03C0-03E0: 20 46 59 46 B0 F0 CC FC  20 46 51 46 B0 F0                                                             FYF.... FQF..

OK

...

AT+QIOTOTARD=1110686,974                         
+QIOTOTARD: 1110686,50

0000-0020: 00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00    ................................
0020-0040: 00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  00 00                                               ..................

OK

## 整个文件下载完成

AT+QIOTUPDATE=3
OK

AT+QIOTMCUVER="GNSS-P3","LC76GABNR12A02S"

## 升级中
+QIOTEVT: 7,10704
## 升级成功
+QIOTEVT: 7,10705

Github 仓库 ssh 连接失败处理

Tue, 31 Dec 2024 00:49:37 +0800

突然 ssh 连不上 github，无法拉取仓库代码，配置 https.proxy http.proxy 代理无效（可能我用的是 ssh 的原因）。然后看到 git 设置和取消代理可以尝试将 ssh 端口修改为 443，真救了老命了。

1
2
3
4
5
6


# 创建 ~/.ssh/config 配置文件和写入如下配置
# 将 ssh 端口修改为 443
Host github.com
    Hostname ssh.github.com
    Port 443
    User git

【EC200A 学习笔记】-- ASR1803S+AIC8800DW+SZ18201 简单测速结果

Fri, 08 Nov 2024 00:49:37 +0800

硬件环境：ASR1803S+AIC8800DW+SZ18201，手机连接 ASR1803S 热点，PC 端通过网线连接 ASR1803S，简单测速验证结果。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


# PC 端作为 server， 手机端作为 client
❯ .\iperf3.exe -s
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Accepted connection from 192.168.0.200, port 39734
[  5] local 192.168.0.100 port 5201 connected to 192.168.0.200 port 39744
[ ID] Interval           Transfer     Bandwidth
[  5]   0.00-1.00   sec  4.07 MBytes  34.1 Mbits/sec
[  5]   1.00-2.00   sec  4.22 MBytes  35.3 Mbits/sec
[  5]   2.00-3.00   sec  4.18 MBytes  35.1 Mbits/sec
[  5]   3.00-4.00   sec  4.35 MBytes  36.5 Mbits/sec
[  5]   4.00-5.00   sec  4.29 MBytes  35.9 Mbits/sec
[  5]   5.00-6.00   sec  4.31 MBytes  36.3 Mbits/sec
[  5]   6.00-7.00   sec  4.26 MBytes  35.7 Mbits/sec
[  5]   7.00-8.00   sec  4.09 MBytes  34.3 Mbits/sec
[  5]   8.00-9.00   sec  4.32 MBytes  36.2 Mbits/sec
[  5]   9.00-10.00  sec  4.42 MBytes  37.0 Mbits/sec
[  5]  10.00-10.06  sec   218 KBytes  30.2 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  5]   0.00-10.06  sec  42.7 MBytes  35.6 Mbits/sec                  receiver
-----------------------------------------------------------

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


# PC 端作为 client， 手机端作为 server
❯ .\iperf3.exe -c 192.168.0.200
Connecting to host 192.168.0.200, port 5201
[  4] local 192.168.0.100 port 63669 connected to 192.168.0.200 port 5201
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.01   sec  2.12 MBytes  17.7 Mbits/sec
[  4]   1.01-2.01   sec  3.88 MBytes  32.6 Mbits/sec
[  4]   2.01-3.01   sec  4.50 MBytes  37.7 Mbits/sec
[  4]   3.01-4.01   sec  4.75 MBytes  39.7 Mbits/sec
[  4]   4.01-5.00   sec  5.00 MBytes  42.4 Mbits/sec
[  4]   5.00-6.01   sec  4.75 MBytes  39.5 Mbits/sec
[  4]   6.01-7.01   sec  4.75 MBytes  39.9 Mbits/sec
[  4]   7.01-8.01   sec  6.12 MBytes  51.4 Mbits/sec
[  4]   8.01-9.00   sec  6.00 MBytes  50.8 Mbits/sec
[  4]   9.00-10.00  sec  5.75 MBytes  48.2 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec  47.6 MBytes  39.9 Mbits/sec                  sender
[  4]   0.00-10.00  sec  47.6 MBytes  39.9 Mbits/sec                  receiver

iperf Done.

然后实网测速结果：

TRACE32 中通过任务栈中保存的数据恢复 freertos 某个任务调用栈的方法

Wed, 31 Jul 2024 02:00:18 +0800

T32 加载 dump 之后看不到任务调用栈，是因为寄存器的值异常，导致任务调用栈没解析出来。

可以通过 tcb 中栈数据恢复寄存器的值：

打开对应的 task struct，dump pxTopOfStack(0x411420) 指向的内存数据

在pxTopOfStack(0x411420)的第8字节开始，对应寄存器 r1 ~ r15(pc)的值，分别将这些值设置到寄存器。

这样任务调用栈便恢复了，可以继续进行下一步的分析。

为 FC41D 添加 ramdump 和 trace32 离线分析调试方法

Tue, 23 Jul 2024 02:00:18 +0800

想要使用 Trace32 Simulators 离线解析 ramdump，必须具备以下 3 个条件：

知道当前寄存器的值
能够获取到当前运行状态下 ram 的数据
能获取到当前使用的 elf 文件

代码修改

修改代码，将 ram 、 tcm 的数据打印到log，按照 trace 32 的脚本格式，将寄存器数据打印到log。新增一个 bk_dump_parser.py 脚本，从log中提取ram、tcm、寄存器数据，并写入到文件。

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293


diff --git a/beken_freertos_sdk_release-SDK_3.0.21/beken378/app/config/sys_config_bk7231n.h b/beken_freertos_sdk_release-SDK_3.0.21/beken378/app/config/sys_config_bk7231n.h
index 601f3d63..bbbe8d4c 100644
--- a/beken_freertos_sdk_release-SDK_3.0.21/beken378/app/config/sys_config_bk7231n.h
+++ b/beken_freertos_sdk_release-SDK_3.0.21/beken378/app/config/sys_config_bk7231n.h
@@ -308,4 +308,6 @@
    #define CONFIG_MBEDTLS_SSL_OUT_CONTENT_LEN      4096
 #endif
 
+#define CFG_RAM_DUMP_ENABLE                               1
+
 #endif // _SYS_CONFIG_H_
diff --git a/beken_freertos_sdk_release-SDK_3.0.21/beken378/driver/intc/intc.c b/beken_freertos_sdk_release-SDK_3.0.21/beken378/driver/intc/intc.c
index bb17af8e..d069d95d 100644
--- a/beken_freertos_sdk_release-SDK_3.0.21/beken378/driver/intc/intc.c
+++ b/beken_freertos_sdk_release-SDK_3.0.21/beken378/driver/intc/intc.c
@@ -365,8 +365,112 @@ void bk_show_register (struct arm_registers *regs)
     }
     
     os_printf("\r\n");
+#if CFG_RAM_DUMP_ENABLE
+    os_printf("; CPU Registers:\r\n");
+    os_printf("reg_cmm_start:\r\n");
+    os_printf("register.set cpsr 0x%08x\r\n", regs->cpsr);
+    os_printf("register.set spsr 0x%08x\r\n", regs->spsr);
+
+    os_printf("register.set pc 0x%08x\r\n", regs->pc);
+
+    os_printf("register.set r0 0x%08x\r\n", regs->r0);
+    os_printf("register.set r1 0x%08x\r\n", regs->r1);
+    os_printf("register.set r2 0x%08x\r\n", regs->r2);
+    os_printf("register.set r3 0x%08x\r\n", regs->r3);
+    os_printf("register.set r4 0x%08x\r\n", regs->r4);
+    os_printf("register.set r5 0x%08x\r\n", regs->r5);
+    os_printf("register.set r6 0x%08x\r\n", regs->r6);
+    os_printf("register.set r7 0x%08x\r\n", regs->r7);
+    os_printf("register.set r8 0x%08x\r\n", regs->r8);
+    os_printf("register.set r9 0x%08x\r\n", regs->r8);
+    os_printf("register.set r10 0x%08x\r\n", regs->r8);
+    os_printf("register.set r11 0x%08x\r\n", regs->fp);
+    os_printf("register.set r12 0x%08x\r\n", regs->ip);
+
+    if((regs->spsr & 0x3f) == 0x20)
+    {
+        os_printf("register.set r13 0x%08x\r\n", regs->sp);
+        os_printf("register.set r14 0x%08x\r\n", regs->lr);
+    }
+    else if((regs->spsr & 0x3f) == 0x21)
+    {
+        reg1 = (const unsigned int *)0x400068;
+        os_printf("register.set r13 0x%08x\r\n", *(reg1+7));
+        os_printf("register.set r14 0x%08x\r\n", *(reg1+8));
+    }
+    else if((regs->spsr & 0x3f) == 0x22)
+    {
+        reg1 = (const unsigned int *)0x400044;
+        os_printf("register.set r13 0x%08x\r\n", *(reg1+7));
+        os_printf("register.set r14 0x%08x\r\n", *(reg1+8));
+    }
+    else if((regs->spsr & 0x3f) == 0x23)
+    {
+        reg1 = (const unsigned int *)0x4000d4;
+        os_printf("register.set r13 0x%08x\r\n", *(reg1+7));
+        os_printf("register.set r14 0x%08x\r\n", *(reg1+8));
+    }
+    else if((regs->spsr & 0x3f) == 0x27)
+    {
+        reg1 = (const unsigned int *)0x40008c;
+        os_printf("register.set r13 0x%08x\r\n", *(reg1+7));
+        os_printf("register.set r14 0x%08x\r\n", *(reg1+8));
+    }
+    else if((regs->spsr & 0x3f) == 0x33)
+    {
+        reg1 = (const unsigned int *)0x4000b0;
+        os_printf("register.set r13 0x%08x\r\n", *(reg1+7));
+        os_printf("register.set r14 0x%08x\r\n", *(reg1+8));
+    }
+    else if((regs->spsr & 0x3f) == 0x3f)
+    {
+        reg1 = (const unsigned int *)0x400024;
+        os_printf("register.set r13 0x%08x\r\n", *(reg1+6));
+        os_printf("register.set r14 0x%08x\r\n", *(reg1+7));
+    }
+    os_printf("\r\nreg_cmm_end:\r\n");
+    os_printf("\r\n");
+
+#endif
 
 }
+#if CFG_RAM_DUMP_ENABLE
+void bk_ram_dump(void)
+{
+    unsigned char *tcm_start = (unsigned char *)0x003F0000;
+    // unsigned char *itcm_start = (unsigned char *)0x003FF000;
+    unsigned char *ram_start = (unsigned char *)0x00400100;
+
+    bk_wdg_finalize();
+    os_printf("dump tcm:\r\n");
+    os_printf("tcm_start:\r\n");
+    for (size_t i = 0; i < (1024 *60); i++)
+    {
+        if(i%16 == 0)
+        {
+            os_printf("\r\n");
+        }
+        os_printf("%02x ", tcm_start[i]);
+        
+    }
+    os_printf("\r\ntcm_end:\r\n");
+    os_printf("\r\n");
+
+    os_printf("dump ram:\r\n");
+    os_printf("ram_start:\r\n");
+    for (size_t i = 0; i < (1024 *192-0x100); i++)
+    {
+        if(i%16 == 0)
+        {
+            os_printf("\r\n");
+        }
+        os_printf("%02x ", ram_start[i]);
+        
+    }
+    os_printf("\r\nram_end:\r\n");
+    os_printf("\r\n");
+}
+#endif
 
 void bk_trap_udef(struct arm_registers *regs)
 {
@@ -377,6 +481,9 @@ void bk_trap_udef(struct arm_registers *regs)
 #endif
     os_printf("undefined instruction\n");
     bk_show_register(regs);
+#if CFG_RAM_DUMP_ENABLE
+    bk_ram_dump();
+#endif
     bk_cpu_shutdown();
 }
 
@@ -389,6 +496,9 @@ void bk_trap_pabt(struct arm_registers *regs)
 #endif
     os_printf("prefetch abort\n");
     bk_show_register(regs);
+#if CFG_RAM_DUMP_ENABLE
+    bk_ram_dump();
+#endif
     bk_cpu_shutdown();
 }
 
@@ -401,6 +511,9 @@ void bk_trap_dabt(struct arm_registers *regs)
 #endif
     os_printf("data abort\n");
     bk_show_register(regs);
+#if CFG_RAM_DUMP_ENABLE
+    bk_ram_dump();
+#endif
     bk_cpu_shutdown();
 }
 
@@ -413,6 +526,9 @@ void bk_trap_resv(struct arm_registers *regs)
 #endif
     os_printf("not used\n");
     bk_show_register(regs);
+#if CFG_RAM_DUMP_ENABLE
+    bk_ram_dump();
+#endif
     bk_cpu_shutdown();
 }
 
diff --git a/beken_freertos_sdk_release-SDK_3.0.21/beken378/func/wlan_ui/wlan_cli.c b/beken_freertos_sdk_release-SDK_3.0.21/beken378/func/wlan_ui/wlan_cli.c
index c90de09e..50b3adb1 100644
--- a/beken_freertos_sdk_release-SDK_3.0.21/beken378/func/wlan_ui/wlan_cli.c
+++ b/beken_freertos_sdk_release-SDK_3.0.21/beken378/func/wlan_ui/wlan_cli.c
@@ -3306,6 +3306,12 @@ void pwr_Command(char *pcWriteBuffer, int xWriteBufferLen, int argc, char **argv
     rw_msg_set_power(0,pwr);
 }
 
+extern void do_undefined( void );
+
+void dump_test_Command(char *pcWriteBuffer, int xWriteBufferLen, int argc, char **argv)
+{
+    do_undefined();
+}
 static void Deep_Sleep_Command(char *pcWriteBuffer, int xWriteBufferLen, int argc, char **argv)
 {
 	PS_DEEP_CTRL_PARAM deep_sleep_param;
@@ -3974,6 +3980,9 @@ static const struct cli_command user_clis[] =
 #if (CFG_SOC_NAME == SOC_BK7221U)
     {"sec", "sec help", sec_Command },
 #endif
+#if CFG_RAM_DUMP_ENABLE
+    {"dump_test", "dump_test", dump_test_Command},
+#endif
 };
 
 
diff --git a/beken_freertos_sdk_release-SDK_3.0.21/quectel_build/scripts/bk_dump_parser.py b/beken_freertos_sdk_release-SDK_3.0.21/quectel_build/scripts/bk_dump_parser.py
new file mode 100644
index 00000000..f59289b4
--- /dev/null
+++ b/beken_freertos_sdk_release-SDK_3.0.21/quectel_build/scripts/bk_dump_parser.py
@@ -0,0 +1,91 @@
+#!/usr/bin/env python3
+
+import os
+import sys
+import optparse
+import binascii
+import re
+
+
+def parse_dump_log_file(filename):
+    reg_cmm = ""
+    tcm_data = ""
+    ram_data = ""
+    f = open(filename, "r")
+    while True:
+        line = f.readline()
+        if line == "":
+            break
+        if "reg_cmm_start:" in line:
+            while True:
+                line = f.readline()
+                if line  == "":
+                    break
+                if "reg_cmm_end:" in line:
+                    break
+                pattern = re.compile(r'register\.set [^\n]+')
+                matches = pattern.findall(line)
+                if len(matches) > 0:
+                    reg_cmm += matches[0] + "\r\n"
+        if "tcm_start:" in line:
+            while True:
+                line = f.readline()
+                if line  == "":
+                    break
+                if "tcm_end:" in line:
+                    break
+                
+                pattern = re.compile(r'(?:\[\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\]\s*)?((?:[0-9a-fA-F]{2}\s*){16})')
+                matches = pattern.findall(line)
+                if len(matches) > 0:
+                    tcm_data += matches[0]
+                
+        if "ram_start:" in line:
+            while True:
+                line = f.readline()
+                if line  == "":
+                    break
+                if "ram_end:" in line:
+                    break
+                
+                pattern = re.compile(r'(?:\[\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\]\s*)?((?:[0-9a-fA-F]{2}\s*){16})')
+                matches = pattern.findall(line)
+                if len(matches) > 0:
+                    ram_data += matches[0]
+            break
+    f.close()
+    return (reg_cmm, tcm_data, ram_data)
+
+def main(argv):
+    opt = optparse.OptionParser(usage="""usage %prog [options]
+    """)
+
+    opt.add_option("--log", action="store", dest="log",
+                   help="dump log file.")
+
+    opt, argv = opt.parse_args(argv)
+
+    if not opt.log:
+        print("No log file specified!")
+        return 1
+    reg_cmm, tcm_data, ram_data = parse_dump_log_file(opt.log)
+
+    if reg_cmm != "":
+        with open("reg.cmm", "w") as f:
+            f.write(reg_cmm)
+    if tcm_data != "":
+        tcm_data = tcm_data.replace(" ", "").replace("\n", "").replace("\r", "")
+        bin_data = binascii.unhexlify(tcm_data)
+        with open("tcm.bin", "wb") as f:
+            f.write(bin_data)
+
+    if ram_data != "":
+        ram_data = ram_data.replace(" ", "").replace("\n", "").replace("\r", "")
+        bin_data = binascii.unhexlify(ram_data)
+        with open("ram.bin", "wb") as f:
+            f.write(bin_data)
+
+
+
+if __name__ == '__main__':
+    sys.exit(main(sys.argv[1:]))
\ No newline at end of file

Trace32 Simulators 环境的搭建参考之前的文章：Trace 32 离线 dump 分析环境搭建方法，在这个基础上新增 Trace32 脚本，用于加载和解析 ramdump 文件。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45


diff --git a/T32_beken_7231.bat b/T32_beken_7231.bat
new file mode 100644
index 0000000..2b69bb0
--- /dev/null
+++ b/T32_beken_7231.bat
@@ -0,0 +1,5 @@
+@echo off
+
+echo Load Trace32
+
+start t32marm.exe -c config.t32, bk7231.cmm &
\ No newline at end of file
diff --git a/bk7231.cmm b/bk7231.cmm
new file mode 100644
index 0000000..4152765
--- /dev/null
+++ b/bk7231.cmm
@@ -0,0 +1,27 @@
+; ARM load script
+screen.on
+SYStem.RESet
+SYStem.CPU ARM968E
+SYStem.Up
+
+&psd=os.psd()
+&dump_dir="bkdump"
+&ap_elf_file="beken7231_bsp.elf"
+
+DATA.LOAD.ELF &dump_dir\&ap_elf_file /NOCLEAR
+
+;DATA.LOAD.BINARY &dump_dir\itcm.bin 0x003FF000 /NOCLEAR
+DATA.LOAD.BINARY &dump_dir\tcm.bin 0x003F0000 /NOCLEAR
+DATA.LOAD.BINARY &dump_dir\ram.bin 0x00400100 /NOCLEAR
+
+; CPU Registers:
+do &dump_dir\reg.cmm
+
+
+MENU.REPROGRAM &psd\freertos\freertos.men
+TASK.CONFIG &psd\freertos\freertos.t32
+
+B::Var.Frame /Locals /Caller
+B::Register
+B::Data.List
+

使用示例

dump log：

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190


=~=~=~=~=~=~=~=~=~=~=~= MobaXterm log 2024.07.23 15:34:18 =~=~=~=~=~=~=~=~=~=~=~=
BK7231n_1.0.8
[2024-07-23 15:34:18]  CPSR:0x000000D3
[2024-07-23 15:34:18]  R0:0x00800000
[2024-07-23 15:34:18]  R1:0x00000000
[2024-07-23 15:34:18]  R2:0x00000003
[2024-07-23 15:34:18]  R3:0x000000A5
[2024-07-23 15:34:18]  R4:0x00401170
[2024-07-23 15:34:18]  R13:0x00401AD4
[2024-07-23 15:34:18]  R14(LR):0x000011D4
[2024-07-23 15:34:18]  ST:0x00000000
[2024-07-23 15:34:18]  [I/FAL] Fal(V0.4.0)success
[2024-07-23 15:34:18]  [I/OTA] RT-Thread OTA package(V0.2.4) initialize success.
[2024-07-23 15:34:18]  
[2024-07-23 15:34:18]  
[2024-07-23 15:34:18]  go os_addr(0x10000)..........
[2024-07-23 15:34:18]  j
[2024-07-23 15:34:18]  prvHeapInit-start addr:0x40aa90, size:152944
[2024-07-23 15:34:18]  [Flash]id:0xeb6015
[2024-07-23 15:34:18]  --write status reg:4004,2--
[2024-07-23 15:34:18]  [Flash]init over
... ...
[2024-07-23 15:34:22]  
[2024-07-23 15:34:22]  configuring interface uap (with Static IP)[THD]dhcp-server:[tcb]413e18 [stack]413988-413e08:1152:2
[2024-07-23 15:34:22]  def netif is no ap's netif, sending boardcast or no-subnet ip packets may failed
[2024-07-23 15:34:22]  init_xtal:0, delta:-1, last_xtal:0
[2024-07-23 15:34:22]  
[2024-07-23 15:34:25]  # dum
[2024-07-23 15:34:28]  [ATSVR]msg type:7
[2024-07-23 15:34:28]  p_test
[2024-07-23 15:34:31]  
[2024-07-23 15:34:31]  undefined instruction
[2024-07-23 15:34:31]  Current regs:
[2024-07-23 15:34:31]  r00:0x004157d0 r01:0x00000800 r02:0x00000001 r03:0x004157d0
[2024-07-23 15:34:31]  r04:0x0003c851 r05:0x003f03d8 r06:0x003f0398 r07:0x003f03d8
[2024-07-23 15:34:31]  r08:0x08080808 r09:0x09090909 r10:0x10101010
[2024-07-23 15:34:31]  fp :0x11111111 ip :0x00000070
[2024-07-23 15:34:31]  sp :0x004014f0 lr :0x000102c4 pc :0x000102c4
[2024-07-23 15:34:31]  SPSR:0x0000003f
[2024-07-23 15:34:31]  CPSR:0x0000009b
[2024-07-23 15:34:31]  
[2024-07-23 15:34:31]  separate regs:
[2024-07-23 15:34:31]  SYS:cpsr r8-r14
[2024-07-23 15:34:31]  0x0000009f
[2024-07-23 15:34:31]  0x08080808
[2024-07-23 15:34:31]  0x09090909
[2024-07-23 15:34:31]  0x10101010
[2024-07-23 15:34:31]  0x11111111
[2024-07-23 15:34:31]  0x00000070
[2024-07-23 15:34:31]  0x00416bc0
[2024-07-23 15:34:31]  0x0003c857
[2024-07-23 15:34:31]  IRQ:cpsr spsr r8-r14
[2024-07-23 15:34:31]  0x00000092
[2024-07-23 15:34:31]  0x6000003f
[2024-07-23 15:34:31]  0x08080808
[2024-07-23 15:34:31]  0x09090909
[2024-07-23 15:34:31]  0x10101010
[2024-07-23 15:34:31]  0x11111111
[2024-07-23 15:34:31]  0x00000070
[2024-07-23 15:34:31]  0x00402e28
[2024-07-23 15:34:31]  0x00054cde
[2024-07-23 15:34:31]  FIR:cpsr spsr r8-r14
[2024-07-23 15:34:31]  0x00000091
[2024-07-23 15:34:31]  0x6000009f
[2024-07-23 15:34:31]  0x00000000
[2024-07-23 15:34:31]  0x00000000
[2024-07-23 15:34:31]  0x00000000
[2024-07-23 15:34:31]  0x00000000
[2024-07-23 15:34:31]  0x00000008
[2024-07-23 15:34:31]  0x00401e38
[2024-07-23 15:34:31]  0x003fff34
[2024-07-23 15:34:31]  ABT:cpsr spsr r8-r14
[2024-07-23 15:34:31]  0x00000097
[2024-07-23 15:34:31]  0x00000010
[2024-07-23 15:34:31]  0x08080808
[2024-07-23 15:34:31]  0x09090909
[2024-07-23 15:34:31]  0x10101010
[2024-07-23 15:34:31]  0x11111111
[2024-07-23 15:34:31]  0x00000070
[2024-07-23 15:34:31]  0x00401538
[2024-07-23 15:34:31]  0xc7109030
[2024-07-23 15:34:31]  UND:cpsr spsr r8-r14
[2024-07-23 15:34:31]  0x0000009b
[2024-07-23 15:34:31]  0x0000003f
[2024-07-23 15:34:31]  0x08080808
[2024-07-23 15:34:31]  0x09090909
[2024-07-23 15:34:31]  0x10101010
[2024-07-23 15:34:31]  0x11111111
[2024-07-23 15:34:31]  0x00000070
[2024-07-23 15:34:31]  0x004014e8
[2024-07-23 15:34:31]  0x000102c4
[2024-07-23 15:34:31]  SVC:cpsr spsr r8-r14
[2024-07-23 15:34:31]  0x00000093
[2024-07-23 15:34:31]  0x6000001f
[2024-07-23 15:34:31]  0x08080808
[2024-07-23 15:34:31]  0x09090909
[2024-07-23 15:34:31]  0x10101010
[2024-07-23 15:34:31]  0x11111111
[2024-07-23 15:34:31]  0x00000070
[2024-07-23 15:34:31]  0x00403208
[2024-07-23 15:34:31]  0x0007e69c
[2024-07-23 15:34:31]  
[2024-07-23 15:34:31]  ; CPU Registers:
[2024-07-23 15:34:31]  reg_cmm_start:
[2024-07-23 15:34:31]  register.set cpsr 0x0000009b
[2024-07-23 15:34:31]  register.set spsr 0x0000003f
[2024-07-23 15:34:31]  register.set pc 0x000102c4
[2024-07-23 15:34:31]  register.set r0 0x004157d0
[2024-07-23 15:34:31]  register.set r1 0x00000800
[2024-07-23 15:34:31]  register.set r2 0x00000001
[2024-07-23 15:34:31]  register.set r3 0x004157d0
[2024-07-23 15:34:31]  register.set r4 0x0003c851
[2024-07-23 15:34:31]  register.set r5 0x003f03d8
[2024-07-23 15:34:31]  register.set r6 0x003f0398
[2024-07-23 15:34:31]  register.set r7 0x003f03d8
[2024-07-23 15:34:31]  register.set r8 0x08080808
[2024-07-23 15:34:31]  register.set r9 0x08080808
[2024-07-23 15:34:31]  register.set r10 0x08080808
[2024-07-23 15:34:31]  register.set r11 0x11111111
[2024-07-23 15:34:31]  register.set r12 0x00000070
[2024-07-23 15:34:31]  register.set r13 0x00416bc0
[2024-07-23 15:34:31]  register.set r14 0x0003c857
[2024-07-23 15:34:31]  
[2024-07-23 15:34:31]  reg_cmm_end:
[2024-07-23 15:34:31]  
[2024-07-23 15:34:31]  dump tcm:
[2024-07-23 15:34:31]  tcm_start:
[2024-07-23 15:34:31]  
[2024-07-23 15:34:31]  00 00 00 00 02 00 00 00 00 00 00 00 6a 84 28 05 
[2024-07-23 15:34:31]  89 c1 09 fe 00 88 a2 cf e4 23 00 00 59 96 c8 65 
[2024-07-23 15:34:31]  aa 30 c0 ba 44 df 7a 72 6b 82 26 52 8a 08 a8 28 
[2024-07-23 15:34:31]  7f 07 1e 00 ff dd 63 80 ce 8a 75 a9 aa 2e 78 86 
[2024-07-23 15:34:31]  39 03 f9 dd f0 bc 01 da 00 80 00 00 30 01 c0 d8 
[2024-07-23 15:34:31]  00 00 00 00 95 21 39 47 cc 5e 30 7b 90 90 88 88 
[2024-07-23 15:34:31]  90 90 90 90 98 a0 94 a8 a8 d0 b8 e0 b4 e8 b0 e8 
[2024-07-23 15:34:31]  ae e8 ae e8 ae e8 ad e7 ac e8 ac e7 a7 ff f8 10 
[2024-07-23 15:34:31]  00 00 00 00 05 00 01 00 00 80 00 00 02 00 00 00 
[2024-07-23 15:34:31]  00 00 00 00 18 00 00 00 51 01 00 00 00 00 00 00 
[2024-07-23 15:34:31]  00 00 00 00 09 00 00 00 00 00 00 f0 30 00 00 00 
[2024-07-23 15:34:31]  01 00 01 00 e0 00 01 00 70 00 01 00 01 00 01 00 
[2024-07-23 15:34:31]  05 00 01 00 39 03 f9 dd 02 00 00 00 2c 01 00 00 
[2024-07-23 15:34:31]  a7 ff f8 00 a7 ff f8 00 01 02 ba 00 95 00 00 00 
[2024-07-23 15:34:31]  00 00 00 00 08 01 57 03 00 02 00 00 00 08 00 18 
[2024-07-23 15:34:31]  00 20 c0 2c 01 00 00 00 2b 08 a9 07 ff 0f a0 0f 
[2024-07-23 15:34:31]  01 08 42 08 00 88 00 c4 fa 56 74 00 00 00 00 00 
[2024-07-23 15:34:31]  00 00 00 00 65 e0 b2 80 77 db 77 00 74 d8 74 00 
[2024-07-23 15:34:31]  64 00 00 80 00 00 00 00 28 36 00 00 00 00 00 00 
[2024-07-23 15:34:31]  00 00 00 00 00 00 00 00 00 00 00 00 ff 00 00 00 
[2024-07-23 15:34:31]  00 00 00 00 00 00 00 00 31 b1 b1 b1 b1 b1 b1 b1 
[2024-07-23 15:34:31]  b1 b1 b1 b1 31 b1 94 94 94 94 94 93 93 93 93 93 
[2024-07-23 15:34:31]  92 92 92 92 92 91 91 91 91 10 90 90 90 90 90 90 
[2024-07-23 15:34:31]  90 90 90 90 90 90 90 90 90 90 90 90 90 90 18 98 
[2024-07-23 15:34:31]  98 98 98 98 98 98 98 98 98 98 18 98 2d ad ad ad 
[2024-07-23 15:34:31]  ad ad ad ad ad ad ad ad 2d ad 00 00 0f 0d 0d 01 
... ...

[2024-07-23 15:34:48]  aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa 
[2024-07-23 15:34:48]  aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa 
[2024-07-23 15:34:48]  aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa 
[2024-07-23 15:34:48]  aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa 
[2024-07-23 15:34:48]  aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa 
[2024-07-23 15:34:48]  aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa aa 
[2024-07-23 15:34:48]  tcm_end:
[2024-07-23 15:34:48]  
[2024-07-23 15:34:48]  dump ram:
[2024-07-23 15:34:48]  ram_start:
[2024-07-23 15:34:48]  
[2024-07-23 15:34:48]  89 0f 07 00 51 0f 07 00 d0 07 00 00 00 10 00 00 
[2024-07-23 15:34:48]  c8 47 8c 42 00 48 00 c8 47 8c 42 00 49 00 00 00 
[2024-07-23 15:34:48]  00 08 00 00 00 00 00 00 00 00 00 00 79 f3 3f 00 
[2024-07-23 15:34:48]  4d f5 3f 00 71 f6 3f 00 c1 6c 01 00 1d 74 01 00 
... ...

[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd 
[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd 
[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd 
[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd 
[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd 
[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd 
[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd 
[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd 
[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd 
[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd 
[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd 
[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd dd 
[2024-07-23 15:35:41]  dd dd dd dd dd dd dd dd 00 00 00 00 00 00 00 00 
[2024-07-23 15:35:41]  ram_end:
[2024-07-23 15:35:41]  
[2024-07-23 15:35:41]  shutdown...
[2024-07-23 15:35:41]  

将 dumplog、elf 文件放到 bkdump 目录, 执行脚本 bk_dump_parser.py 解析 dumplog。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


T32\bkdump on  master [?] via 🐍 v2.7.18
❯ py -3 .\bk_dump_parser.py --log .\dumplog.log
write reg.cmm
write tcm.bin
write ram.bin

T32\bkdump on  master [?] via 🐍 v2.7.18
❯ ls


    目录: C:\Users\x\Desktop\T32\bkdump


Mode                 LastWriteTime         Length Name
----                 -------------         ------ ----
-a----         2024/7/23     15:33       10147160 beken7231_bsp.elf
-a----         2024/7/23     15:33        2372336 beken7231_bsp.map
-a----         2024/7/23     17:03           2922 bk_dump_parser.py
-a----         2024/7/23     15:35        1194721 dumplog.log
-a----         2024/7/23     19:35         196352 ram.bin
-a----         2024/7/23     19:35            531 reg.cmm
-a----         2024/7/23     19:35          61440 tcm.bin

点击 T32_beken_7231.bat 启动 Trace32

查看任务调用栈

查看任务列表

切换任务上下文

USB 知识笔记（一）

Thu, 18 Jul 2024 01:31:42 +0800

设计 USB 接口的目的

设计USB接口的主要目的包括：

统一标准：
- USB接口的设计旨在提供一个统一的标准，取代过去各种不同的接口（如串口、并口、PS/2等），简化连接和接口类型，方便用户使用。
即插即用：
- 提供即插即用的功能，使用户无需重启计算机或进行复杂的设置就能使用新设备，大大提高了设备的易用性。
高效的数据传输：
- 设计高效的数据传输协议，支持不同速度的传输模式（如低速、全速、高速和超高速），满足各种设备的性能需求。
电力供应：
- 通过USB接口供电，使一些外部设备（如键盘、鼠标、U盘等）无需额外的电源适配器，简化了设备的使用。
热插拔功能：
- 支持热插拔，使用户可以在不关闭设备电源的情况下插拔USB设备，提高了使用的灵活性和便利性。
扩展性：
- 设计支持通过集线器扩展多个USB设备，提升了接口的扩展性，满足更多设备连接的需求。

USB 的发展和特点

版本	发布年份	传输速率	主要特点
USB 1.0	1996	1.5 Mbps（低速）和12 Mbps（全速）	最早的USB标准，主要用于低速设备如键盘和鼠标
USB 1.1	1998	1.5 Mbps和12 Mbps	修正了USB 1.0的一些问题，提高了兼容性和稳定性
USB 2.0	2000	480 Mbps（高速）	大幅提升传输速率，广泛应用于U盘、外部硬盘、打印机等设备，向下兼容USB 1.x设备
USB 3.0	2008	5 Gbps（超高速）	增加了更多传输通道（双向传输），提升了数据传输效率，蓝色插头和连接器以区分USB 2.0
USB 3.1	2013	10 Gbps（超级速度+）	进一步提升传输速率，并引入了新的Type-C接口标准
USB 3.2	2017	10 Gbps和20 Gbps（双通道）	引入多通道技术，提升传输速度和带宽，全面支持Type-C接口
USB4	2019	最高40 Gbps	基于Thunderbolt 3协议，提供更高的传输速率和更好的数据传输性能，支持多种协议（如PCIe和DisplayPort），并完全采用Type-C接口
USB Type-C	-	-	可逆设计，支持多种协议（如USB 3.x、USB4、Thunderbolt 3等），高功率传输（支持USB PD协议，提供高达100W的功率）

USB 的拓扑结构和特点

USB的拓扑结构是树形结构，这种结构使得设备可以通过多个层次的集线器（HUB）连接到主机。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


                          主机（Host）
                             |
                         根集线器（Root Hub）
                        /    |     \    \
                       /     |      \    \
                 设备1  集线器1（Hub1） 设备2  设备3
                           /  |  \
                          /   |   \
                    设备4  设备5  集线器2（Hub2）
                                    /   \
                                   /     \
                             设备6  设备7

USB拓扑结构

根集线器（Root Hub）：

每个USB系统有一个根集线器，通常集成在主控制器（Host Controller）中。根集线器直接连接到主机，并为主机提供多个端口，用于连接USB设备或下级集线器。
集线器（Hub）：

集线器用于扩展连接能力，每个集线器有一个上行端口（连接到上一级集线器或根集线器）和多个下行端口（连接到设备或下一级集线器）。集线器可以级联，最多支持5级集线器（包括根集线器）。
设备（Device）：

设备可以是任何USB外围设备，如键盘、鼠标、打印机、U盘等。设备通过集线器的下行端口连接到主机。

拓扑结构特点

树形结构：

USB拓扑结构呈树形，主机位于树的根部，通过根集线器连接多个设备和集线器。这种结构便于扩展，通过增加集线器可以连接更多的设备。
最多层级：

USB规范规定，从根集线器到设备的最大层级数为5级，包括根集线器。这意味着从主机到最远的设备最多可以经过4个集线器。
端口数量：

每个集线器可以有多个下行端口，一般为4到7个，具体数量取决于集线器的设计。
电源管理：

集线器和设备可以通过USB供电。高功率设备可能需要自带电源适配器，而低功率设备（如鼠标、键盘）可以直接从USB端口获取电力。
即插即用：

USB支持即插即用，用户可以在不关闭主机电源的情况下插拔设备，操作系统会自动识别并配置设备。

USB 连接 USB 连接指的就是连接 USB 设备和主机（或 Hub）的四线电缆。电缆中包括 VBUS（电源线）、GND（地线）和两根信号线。USB 系统就是通过 VBUS 和 GND 向 USB 设备提供电源的。主机对连接的 USB 设备提供电源供其使用，而每个 USB 设备也能够有自己的电源。
USB Host Controller （USB 主机控制器）控制所有的 USB 设备的通信，一个 USB 控制器和一个 Hub 集成在一起，而这个Hub 也被称做 Root Hub。
USB 设备 USB 设备包括了 Hub 和功能设备

Composite Device（组合设备）和 Compound Device（复合设备）

在USB术语中，Compound Device（复合设备）和 Composite Device（组合设备）都是指含有多个功能的USB设备，但它们有不同的架构和特点。以下是它们的差异和特点：

特点	Composite Device（组合设备）	Compound Device（复合设备）
USB地址	共享一个USB地址	每个功能设备有独立的USB地址
内部结构	多个接口共享同一个USB设备	包含一个内部集线器和多个功能设备
管理和控制	简单，因为所有功能共享同一个地址	复杂，因为每个功能设备独立管理
设备描述符	一个设备描述符，多个接口描述符	每个功能设备有独立的设备描述符
应用示例	键盘和触摸板的组合设备	多功能打印机

USB 总线及其传输方式

USB 总线是一种轮询式总线。协议规定所有的数据传输都必须由主机发起，由主机控制器初始化所有的数据传输。

USB 通信的端点和管道

USB端点（Endpoint）是USB设备进行数据传输的基本单元，每个端点具有唯一的地址和特定的功能。主机和端点之间的数据传输是通过 Pipe（管道）。

端点就是通信的发送点或者接收点，要发送数据，只需把数据发送到正确的端点就可以了。

端点具有方向性，可以是输入端点（IN），用于从设备向主机发送数据；也可以是输出端点（OUT），用于从主机向设备发送数据。但一般没有既是 in 又是 out 的。

协议规定了，所有的 USB 设备必须具有端点 0，它可以作为 in 端点，也可以作为 out 端点。USB 系统软件利用它来实现默认的控制管道，从而控制设备。

端点的数量是有限的，除了端点 0，低速设备最多只能拥有两个端点，高速设备也最多只能拥有 15 个 in 端点和 15 个 out 端点。

每个端点在一个设备中有唯一的地址，由端点号（Endpoint Number）和方向（Direction）组成。

USB 端点有四种类型，分别对应了四种不同的数据传输方式：它们是控制传输（Control Transfers）、中断传输（Interrupt Data Transfers）、批量传输（Bulk Data Transfers）和等时传输（Isochronous Data Transfers）

每个端点都有一个端点描述符（Endpoint Descriptor），包含端点的特性信息，如端点地址、方向、传输类型、最大包大小等。

USB端点的特点总结：

特性	描述
唯一标识	每个端点在设备中有唯一的地址，由端点号和方向组成。
方向性	输入端点（IN）：从设备向主机发送数据。输出端点（OUT）：从主机向设备发送数据。
端点类型	控制端点：设备配置和管理。中断端点：周期性、小数据量传输，低延迟。批量端点：大数据量传输，高可靠性。等时端点：实时数据传输，恒定带宽。
数据传输类型	控制传输、中断传输、批量传输和等时传输。
带宽分配	主机控制器在设备枚举过程中分配带宽，确保端点有足够带宽进行数据传输。
端点描述符	包含端点地址、方向、传输类型、最大包大小等信息。
数据缓冲区	存储待发送或接收的数据，缓冲区大小和数量取决于端点类型和设备设计。
流量控制	通过握手包（ACK、NAK、STALL）进行流量控制，确保数据传输可靠性和完整性。
端点零（Endpoint 0）	用于设备初始配置和控制传输，在设备枚举过程中扮演关键角色。

管道代表着在主机和设备上的端点之间移动数据的能力，管道的一端是主机上的一个缓冲区，一端是设备上的端点。

管道的通信方式有两种：一种是stream 的，一种是 message 的。 message 管道要求从它那儿过的数据必须具有一定的格式，它主要就是用于主机向设备请求信息的，必须得让设备明白请求的是什么。而 stream 对数据没有特殊的要求。协议中规定，message 管道必须对应两个相同号码的端点：一个用来 in，一个用来 out，默认管道就是 message 管道。

USB总线、端点及其传输方式总结：

分类	特征	描述
USB总线	总线结构	树形拓扑，包括主机控制器、根集线器、集线器和设备，呈树状层次结构。
	主从控制	主机控制数据传输的时序和仲裁，设备通过总线连接到主机。
	差分信号传输	使用D+和D-两根线进行差分信号传输，抗干扰能力强。
	数据包传输	数据以包为单位传输，包括令牌包、数据包、握手包和特殊包。
	同步和握手机制	通过Sync字段实现同步，通过握手包确认数据传输状态（ACK、NAK、STALL）。
	供电功能	USB总线可为设备供电，不同版本提供不同的电力供应能力（如USB 2.0提供5V/500mA，USB 3.0提供5V/900mA）。
端点	端点类型	控制端点（Endpoint 0）：用于设备配置和管理。数据传输端点：包括中断端点、批量端点和等时端点。
	端点属性	方向性：端点可以是输入端点（IN）或输出端点（OUT）。唯一性：每个端点在设备中具有唯一的地址（由端点号和方向性组成）。
传输方式	控制传输（Control Transfer）	用途：设备配置、命令和状态查询。特点：包括设置、数据和状态三个阶段，短包传输。应用：设备枚举和初始化过程。
	中断传输（Interrupt Transfer）	用途：周期性的小数据量传输，低延迟需求。特点：设备周期性地发送中断数据包，保证数据的及时性。应用：键盘、鼠标等输入设备。
	批量传输（Bulk Transfer）	用途：大数据量可靠传输。特点：利用总线空闲时间传输数据，有CRC校验和重传机制，保证数据完整性。应用：打印机、U盘等需要传输大数据量的设备。
	等时传输（Isochronous Transfer）	用途：需要恒定带宽和实时数据传输的应用。特点：保证传输时间一致性，无重传机制，适用于实时数据流。应用：音频设备、视频摄像头等。

USB 逻辑拓扑结构

在内核中的实现所有的 Hub 和设备都被看做是一个个的逻辑设备（Logical Device）。

一个 USB 逻辑设备就是一系列端点的集合，它与主机之间的通信发生在主机上的一个缓冲区和设备上的一个端点之间，通过管道来传输数据。

USB 端点被捆绑为接口（Interface），一个接口代表一个基本功能。有的设备具有多个接口，像 USB 扬声器就包括一个键盘接口和一个音频流接口。在内核中，一个接口要对应一个驱动程序，USB 扬声器在 Linux 里就需要两个不同的驱动程序。

sysfs 与 USB

sysfs 是 Linux 内核中一个伪文件系统，它提供了一种统一的方式，将内核对象、属性和状态信息以文件和目录的形式暴露给用户空间。我们可通过 sysfs 查看和管理系统设备

sysfs的作用

sysfs 是 Linux 内核中一个伪文件系统，它提供了一种统一的方式，将内核对象、属性和状态信息以文件和目录的形式暴露给用户空间。sysfs 的主要作用包括：

内核对象模型的表示：
- sysfs 将内核对象（如设备、驱动程序、文件系统等）映射到文件和目录，使用户可以方便地查看和管理这些对象的属性和状态。
系统信息和配置的访问：
- 用户可以通过读取和写入 sysfs 文件来获取系统信息和配置系统。例如，用户可以查看硬件设备的属性或调整设备的参数。
调试和监控：
- sysfs 提供了一种直接从用户空间访问内核信息的方法，便于调试和监控系统状态。

sysfs 里 USB 设备规则

在 sysfs 中，USB 设备按照层次结构组织，每个设备都有自己的目录，包含该设备的各种属性文件。以下是 sysfs 中 USB 设备的主要规则和内容：

USB 设备目录结构：
- 所有 USB 设备的信息都位于 /sys/bus/usb/devices/ 目录下。
- 每个 USB 设备都有一个唯一的目录名，通常是设备的总线编号和设备编号（如 1-1 表示总线 1 的设备 1）。
USB 设备属性文件：
- 每个 USB 设备目录下有多个属性文件，包含设备的各种信息和配置参数。常见的属性文件包括：
  - idVendor：设备厂商 ID
  - idProduct：设备产品 ID
  - bDeviceClass：设备类
  - bDeviceSubClass：设备子类
  - bDeviceProtocol：设备协议
  - bNumConfigurations：设备配置数量
  - busnum：设备所在的总线编号
  - devnum：设备编号
  - manufacturer：设备制造商
  - product：设备名称
  - serial：设备序列号
USB 端点和接口：
- 每个 USB 设备目录中还包含该设备的接口和端点信息。接口和端点的信息也以文件的形式暴露在设备目录下。
- 接口信息通常位于 interface 文件中，端点信息通常位于 endpoint 文件中。
设备状态和操作：
- sysfs 中的 USB 设备目录还包含一些可以读写的文件，用于控制设备状态和执行操作。例如：
  - authorized：表示设备是否被授权使用，可以写 0 或 1 来禁用或启用设备。
  - remove：写入 1 可以从系统中移除设备。

usb 鼠标的目录树

查看设备名称和制造商

FC41D heap 空间大小优化分析方法

Thu, 11 Jul 2024 02:00:18 +0800

内存优化是指 ram 或者 rom 的使用大小优化，想要优化内存，必须得了解下面这几个知识：

在程序中，得知道哪些类型的代码是占用 ram，哪些代码是存储在 rom 空间上的。
熟悉 ld 文件，知道程序的内存布局是怎样的，有哪些类型的内存、内存大小，不同的代码段（.text .rodata .data .bss）分别分配到哪个内存空间。
会看 map 文件，了解程序中内存使用的细节。

gcc 工具链中的链接器有一个功能，配置加上 -Wl,–print-memory-usage，可以在链接之后输出内存使用情况。

heap 内存放在 ram 这块内存，在.data .bss段内存之后，根据代码使用情况动态调整大小。从 ld 文件和 heap_4.c 可以看到 _empty_ram 就是 heap 的起始地址，结束地址到 ram 的末尾。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39


. = ORIGIN(ram);
/* globals.for example: int ram_data[3]={4,5,6}; */		/* VMA in RAM, but keep LMA in flash */
	_begin_data = .;
        .data :
	{
	    *(.data .data.*)
	    *(.sdata) 
	    *(.gnu.linkonce.d*)
    	SORT(CONSTRUCTORS)
        } >ram AT>flash
        _end_data = .;
	
	/* Loader will copy data from _flash_begin to _ram_begin..ram_end */
	_data_flash_begin = LOADADDR(.data);
	_data_ram_begin = ADDR(.data);
	_data_ram_end = .;

/* uninitialized data section - global   int i; */
	.bss ALIGN(8):
	{
		_bss_start = .;
		*boot_handlers.O(.bss .bss.* .scommon .sbss .dynbss COMMON)
		*(.bss .bss.*)
		*(.scommon)
		*(.sbss)
		*(.dynbss)
		*(COMMON)
		/* Align here to ensure that the .bss section occupies space up to
		_end.  Align after .bss to ensure correct alignment even if the
		.bss section disappears because there are no input sections.  */
		. = ALIGN(32 / 8);
		_bss_end = .;
	} > ram						/* in RAM */

	. = ALIGN (8);
	_empty_ram = .;

/* This symbol defines end of code/data sections. Heap starts here. */
	PROVIDE(end    	  = .);

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


#if configDYNAMIC_HEAP_SIZE
extern unsigned char _empty_ram;

#define HEAP_START_ADDRESS    (void*)&_empty_ram
#if CFG_SOC_NAME == SOC_BK7231N
#define HEAP_END_ADDRESS      (void*)(0x00400000 + 192 * 1024)
#else
#define HEAP_END_ADDRESS      (void*)(0x00400000 + 256 * 1024)
#endif

static void *prvHeapGetHeaderPointer(void)
{
	return (void *)HEAP_START_ADDRESS;
}

static uint32_t prvHeapGetTotalSize(void)
{
	ASSERT(HEAP_END_ADDRESS > HEAP_START_ADDRESS);
	return (HEAP_END_ADDRESS - HEAP_START_ADDRESS);
}

想增加heap的大小，有两个思路：

裁剪代码，减少 .data .bss 代码的大小
tcm 也是一类 ram，将部分代码放 tcm 区域，heap 所在 ram 这边就腾出空间来了。

codesize.py 脚本可以分析 map 文件，统计各个 lib、obj、section 占用的 ram 、flash 大小，分析结果输出为 csv 文件。

对csv文件按 .bss 或者 .data 的大小进行排序，看哪个地方占用的内存大，那么就可以查看这部分代码是否可以优化。

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240


#!/usr/bin/env python3
# Copyright (C) 2018 RDA Technologies Limited and/or its affiliates("RDA").
# All rights reserved.
#
# This software is supplied "AS IS" without any warranties.
# RDA assumes no responsibility or liability for the use of the software,
# conveys no license or title under any patent, copyright, or mask work
# right to the product. RDA reserves the right to make changes in the
# software without notification.  RDA also make no representation or
# warranty that such application will be suitable for the specified use
# without further testing or modification.

import os
import sys
import re
import optparse
import fnmatch

# section types
section_text = [".text", ".text.*", ".ram", "RESET", "VECTORS",
                ".sramboottext", '.sramtext', '.ramtext', ".boot_sector_start",
                ".boottext", ".irqtext", ".romtext", ".bootsramtext",
                ".ram", ".start_entry", ".exception", ".tlb_exception",
                ".tlbtext", ".syssram_L1_text", ".nbsram_patch_text",
                ".init", ".sramTEXT",".noinit"]
section_ro = [".rodata", ".rodata.*",
              ".bootrodata", ".roresdata", ".robsdata", ".extra"]
section_rw = [".data", ".data.*",
              ".rwkeep", ".bootsramdata", ".sramdata", ".sramucdata",
              ".srroucdata", ".ucdata"]
section_zi = [".bss", ".bss.*", "COMMON", ".scommon", ".sdata", ".sdata.*",
              ".sbss", ".sbss.*", ".nbsram_globals",
              ".sramuninit", ".sramucuninit", ".dsp_iq_data", ".ramucbss",
              ".backup", ".bootsrambss", ".ucbss", ".srambss", ".sramucbss",
              ".ucbackup", ".xcv_reg_value", ".abb_reg_value", ".pmu_reg_value",
              ".hal_boot_sector_reload_struct", ".boot_sector_reload_struct_ptr",
              ".boot_sector_struct", ".boot_sector_struct_ptr",
              ".fixptr", ".dbgfunc", ".sram_overlay", ".TTBL1", ".TTBL2"]
section_ignore = [".ARM.exidx", ".ARM.attributes", ".comment", ".debug_*",
                  ".iplt", ".rel.iplt", ".igot.plt", '.reginfo', ".mdebug.*",
                  ".pdr", '.rel.dyn','.noinit']


# check a name matches a list of patterns
def name_match(name, patterns):
    return any(fnmatch.fnmatch(name, pattern) for pattern in patterns)


# section type by section name
def section_type(section_name):
    if name_match(section_name, section_ignore):
        stype = "ignore"
    elif name_match(section_name, section_text):
        stype = "text"
    elif name_match(section_name, section_ro):
        stype = "rodata"
    elif name_match(section_name, section_rw):
        stype = "data"
    elif name_match(section_name, section_zi):
        stype = "bss"
    else:
        stype = "ignore"
#        print("unknown section:", section_name)
#        sys.exit(1)
    return stype


# make an entry, a section in one object file
def make_entry(section_name, size, obj):
    stype = section_type(section_name)
    r = re.compile(r'(\S+)\((\S+)\)')
    m = r.fullmatch(obj)
    fobj = obj
    if m:
        lib = m.group(1)
        obj = m.group(2)
    else:
        lib = obj

    lib = lib.split("/")[-1]
    obj = obj.split("/")[-1]
    return {"section": section_name, "stype": stype, "size": size,
            "lib": lib, "obj": obj, 'fobj': fobj}


# parse map file
def parse_map(fname):
    fh = open(fname, 'r')

    # "SECTION ADDRESS SIZE OBJ"
    r2 = re.compile(
        r"\s+(\S+)\s+0x([0-9a-fA-F]{8,16})\s+0x([0-9a-fA-F]+)\s+(\S+)")
    # "SECTION"
    r3 = re.compile(r"\s+(\S+)")
    # "ADDRESS SIZE OBJ"
    r4 = re.compile(r"\s+0x([0-9a-fA-F]{8,16})\s+0x([0-9a-fA-F]+)\s+(\S+)")

    ents = []
    map_found = False
    section_name = None
    for line in fh.readlines():
        if line.startswith("Linker script and memory map"):
            map_found = True
            continue
        if not map_found:
            continue
        if line.startswith('OUTPUT('):
            break

        line = line.rstrip()

        if section_name:
            m = r4.fullmatch(line)
            if m:
                size = int(m.group(2), 16)
                obj = m.group(3)
                ents.append(make_entry(section_name, size, obj))
            section_name = None
            continue

        m = r2.fullmatch(line)
        if m:
            name = m.group(1)
            size = int(m.group(3), 16)
            obj = m.group(4)
            ents.append(make_entry(name, size, obj))
            continue

        m = r3.fullmatch(line)
        if m:
            section_name = m.group(1)
            continue
    return ents


def sizelist(f):
    sl = [f["text"],
          f["rodata"],
          f["data"],
          f["bss"],
          f["text"] + f["rodata"],
          f["text"] + f["rodata"] + f["data"],
          f["data"] + f["bss"]]
    ss = [str(s) for s in sl]
    return ",".join(ss)


def main(argv):
    opt = optparse.OptionParser(usage="""usage %prog [options]

This utility will analyze code size from map file. Code size are expressed
in concept of: text, rodata, data, bss. There is a map inside this script
to map each section name to section type. When there is an unknown section
name, it is needed to add the section name to this script.
""")

    opt.add_option("--map", action="store", dest="map",
                   help="map file created at linking.")
    opt.add_option("--outobj", action="store", dest="outobj", default="outobj.csv",
                   help="detailed information by object file (default: outobj.csv)")
    opt.add_option("--outlib", action="store", dest="outlib", default="outlib.csv",
                   help="detailed information by library (default: outlib.csv)")
    opt.add_option("--outsect", action="store", dest="outsect", default="outsect.csv",
                   help="detailed information by section (default: outsect.csv)")

    opt, argv = opt.parse_args(argv)

    if not opt.map:
        print("No map file specified!")
        return 1

    ents = parse_map(opt.map)

    stype_total = {"text": 0, "rodata": 0,
                   "data": 0, "bss": 0, 'ignore': 0}
    for ent in ents:
        stype = ent['stype']
        size = ent['size']
        stype_total[stype] += size

    print("total: text,rodata,data,bss,code,flash,ram")
    print("      ", sizelist(stype_total))

    lib_total = {}
    for ent in ents:
        lib = ent['lib']
        stype = ent['stype']
        size = ent['size']
        if lib not in lib_total:
            lib_total[lib] = {"text": 0, "rodata": 0,
                              "data": 0, "bss": 0, 'ignore': 0}
        lib_total[lib][stype] += size

    print("size by library to %s ..." % (opt.outlib))
    fh = open(opt.outlib, "w")
    fh.write("library name,text,rodata,data,bss,code,flash,ram\n")
    for n, l in lib_total.items():
        fh.write("%s,%s\n" % (n, sizelist(l)))
    fh.close()

    obj_total = {}
    for ent in ents:
        fobj = ent['fobj']
        lib = ent['lib']
        obj = ent['obj']
        stype = ent['stype']
        size = ent['size']
        if fobj not in obj_total:
            obj_total[fobj] = {"lib": lib, "obj": obj, "text": 0, "rodata": 0,
                               "data": 0, "bss": 0, 'ignore': 0}
        obj_total[fobj][stype] += size

    print("size by object to %s ..." % (opt.outobj))
    fh = open(opt.outobj, "w")
    fh.write("object name,library name,text,rodata,data,bss,code,flash,ram\n")
    for n, l in obj_total.items():
        fh.write("%s,%s,%s\n" % (l['obj'], l["lib"], sizelist(l)))
    fh.close()

    section_total = {}
    for ent in ents:
        section = ent['section']
        stype = ent['stype']
        size = ent['size']
        if section not in section_total:
            section_total[section] = {"type": stype, "size": 0}
        section_total[section]['size'] += size

    print("size by section to %s ..." % (opt.outsect))
    fh = open(opt.outsect, "w")
    fh.write("section name,section type,size\n")
    for n, l in section_total.items():
        fh.write("%s,%s,%s\n" % (n, l['type'], l['size']))
    fh.close()

    return 0


if __name__ == '__main__':
    sys.exit(main(sys.argv[1:]))

执行脚本解析map文件：

1
2
3
4
5
6
7


~\Desktop via  v2.7.18
❯ py -3 .\codesize.py --map .\fc41d_bsp_app.map
total: text,rodata,data,bss,code,flash,ram
       979352,144557,4697,101218,1123909,1128606,105915
size by library to outlib.csv ...
size by object to outobj.csv ...
size by section to outsect.csv ...

tcm 使用了 50% 左右，lwip 内存管理相关的 mem memp 内存较大，可以将其放到到 tcm，从而减少 ram 的使用。

修改ld文件，在 tcm 内存段增加 mem memp 的配置。

1
2
3
4
5
6


*mem.c.o(.bss .bss.* .scommon .sbss .dynbss COMMON)
*memp.c.o(.bss .bss.* .scommon .sbss .dynbss COMMON)

*coap_net.c.o(.bss .bss.* .scommon .sbss .dynbss COMMON) 
*coap_pdu.c.o(.bss .bss.* .scommon .sbss .dynbss COMMON)
*coap_uri.c.o(.bss .bss.* .scommon .sbss .dynbss COMMON)

另外 mbedtls 的 MBEDTLS_AES_ROM_TABLES 配置也可以优化，定义 MBEDTLS_AES_ROM_TABLES 可以将一些预定义的表放到rom，从而减少ram的使用。之前为了减少 rom 的空间使用关闭了 MBEDTLS_AES_ROM_TABLES。

1

#define MBEDTLS_AES_ROM_TABLES

优化之后的内存使用情况：

1
2
3
4
5


Memory region         Used Size  Region Size  %age Used
           flash:     1138056 B      3912 KB     28.41%
             tcm:       60036 B        60 KB     97.71%
            itcm:        3848 B         4 KB     93.95%
             ram:       46196 B     196352 B     23.53%

heap 空间最终增加了接近 40kB。

总之，–print-memory-usage 看内存整体的使用情况，codesize.py 解析 map 文件查看内存使用细节，根据这些信息调整内存布局或者优化、裁剪代码。

FC41D 通过烧录工具 BKFIL 导出 flash 指定分区数据方法

Thu, 11 Jul 2024 02:00:18 +0800

按照分区地址和大小，在烧录工具上配置各个分区文件地址和大小。

按照标识顺序填写

点读flash

重启模组进下载模式

然后导出完成

也可以通过同样的方式配置来擦除、写入指定位置大小的数据。

udp socket 收不到数据问题

Fri, 05 Jul 2024 02:00:18 +0800

最近在调试一个 coap 发送请求接收不到响应数据的问题，客户端往局域网内的广播地址发送请求收不到响应，但是往局域网的实际设备的地址发送请求却能收到响应。

coap://192.168.10.255:5683/qlink/searchRouter 广播地址收不到响应，一直 socket select 超时。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75


libcoap on  dev [!+?] via △ v3.19.1 via 🌙 
❯ .\build\mingw\x86_64\release\coap_client.exe coap://192.168.10.255:5683/qlink/searchRouter 
uri:coap://192.168.10.255:5683/qlink/searchRouter
send_data:{"searchKey":"ANDLINK-DEVICE","andlinkVersion":"V3"}
is_mcast 0
create socket2:592
bind2!!!!!!!!!!!
Jul 04 16:29:43.593 DEBG ***192.168.10.3:12345 <-> 192.168.10.255:5683 UDP : session 00007ff718508994: created outgoing session
Jul 04 16:29:43.599 DEBG ***192.168.10.3:12345 <-> 192.168.10.255:5683 UDP : session connected
v:1 t:CON c:POST i:cbb3 {01} [ Uri-Path:qlink, Uri-Path:searchRouter, Content-Format:application/json ] :: '{"searchKey":"ANDLINK-DEVICE","andlinkVersion":"V3"}'
Jul 04 16:29:43.609 DEBG *  192.168.10.3:12345 <-> 192.168.10.255:5683 UDP : netif: sent   86 bytes
v:1 t:CON c:POST i:cbb3 {01} [ Uri-Path:qlink, Uri-Path:searchRouter, Content-Format:application/json, Request-Tag:0xd13222ab ] :: '{"searchKey":"ANDLINK-DEVICE","andlinkVersion":"V3"}'
Jul 04 16:29:43.621 DEBG ** 192.168.10.3:12345 <-> 192.168.10.255:5683 UDP : mid=0xcbb3: added to retransmit queue (2969ms)
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
select:0
nfds:593
nfds:593
select:0
Jul 04 16:29:46.597 DEBG ***EVENT: COAP_EVENT_MSG_RETRANSMITTED
Jul 04 16:29:46.600 DEBG ** 192.168.10.3:12345 <-> 192.168.10.255:5683 UDP : mid=0xcbb3: retransmission #1 (next 5938ms)
Jul 04 16:29:46.604 DEBG *  192.168.10.3:12345 <-> 192.168.10.255:5683 UDP : netif: sent   86 bytes
v:1 t:CON c:POST i:cbb3 {01} [ Uri-Path:qlink, Uri-Path:searchRouter, Content-Format:application/json, Request-Tag:0xd13222ab ] :: '{"searchKey":"ANDLINK-DEVICE","andlinkVersion":"V3"}'
select:0
Jul 04 16:29:46.722 ERR  timeout
Jul 04 16:29:46.724 DEBG ***192.168.10.3:12345 <-> 192.168.10.255:5683 UDP : session 00007ff718508994: closed

对比正常的，coap://192.168.10.1:5683/qlink/searchRouter 这个地址可以收到响应，程序相同只是请求地址不同。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


libcoap on  dev [!+?] via △ v3.19.1 via 🌙 took 2s
❯ .\build\mingw\x86_64\release\coap_client.exe coap://192.168.10.1:5683/qlink/searchRouter   
uri:coap://192.168.10.1:5683/qlink/searchRouter
send_data:{"searchKey":"ANDLINK-DEVICE","andlinkVersion":"V3"}
is_mcast 0
create socket2:604
bind2!!!!!!!!!!!
Jul 04 16:29:32.373 DEBG ***192.168.10.3:12345 <-> 192.168.10.1:5683 UDP : session 00007ff718508994: created outgoing session
Jul 04 16:29:32.381 DEBG ***192.168.10.3:12345 <-> 192.168.10.1:5683 UDP : session connected
v:1 t:CON c:POST i:1757 {01} [ Uri-Path:qlink, Uri-Path:searchRouter, Content-Format:application/json ] :: '{"searchKey":"ANDLINK-DEVICE","andlinkVersion":"V3"}'
Jul 04 16:29:32.392 DEBG *  192.168.10.3:12345 <-> 192.168.10.1:5683 UDP : netif: sent   86 bytes
ICE","andlinkVersion":"V3"}'
Jul 04 16:29:32.406 DEBG ** 192.168.10.3:12345 <-> 192.168.10.1:5683 UDP : mid=0x1757: added to retransmit queue (2219ms)
nfds:605
select:1
Jul 04 16:29:32.413 DEBG *  192.168.10.3:12345 <-> 192.168.10.1:5683 UDP : netif: recv   60 bytes
v:1 t:ACK c:2.05 i:1757 {01} [ Content-Format:application/json ] :: '{"searchAck":"ANDLINK-ROUTER","andlinkVersion":"V4"}'
Jul 04 16:29:32.422 DEBG ** 192.168.10.3:12345 <-> 192.168.10.1:5683 UDP : mid=0x1757: removed (1)
have_response
v:1 t:ACK c:2.05 i:1757 {01} [ Content-Format:application/json ] :: '{"searchAck":"ANDLINK-ROUTER","andlinkVersion":"V4"}'
recv[52]:{"searchAck":"ANDLINK-ROUTER","andlinkVersion":"V4"}
Jul 04 16:29:32.437 DEBG ***192.168.10.3:12345 <-> 192.168.10.1:5683 UDP : session 00007ff718508994: closed
recv rsp:{"searchAck":"ANDLINK-ROUTER","andlinkVersion":"V4"}

抓包分析看到服务器有回复，但 socket 就是收不到数据，百思不得其解。

暂时没有什么分析思路，于是打算写个简单的 udp demo 在两台电脑上运行验证看看，一台电脑往广播地址发生数据，另一台电脑一直监听 socket 收数据, 收到数据再往源地址发一个回复的测试数据，然后看向广播地址发送数据的电脑能否收到数据。验证下来又是正常的，两边都能收发数据。

后面再看了一遍 coap 代码的执行流程，创建 udp socket 之后调用了 connect，收发数据使用 send read 接口，而不是 sendto recvfrom，怀疑差别在这里，于是修改测试程序，再验证一下。

往广播地址发送数据的测试程序：

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116


#include 
#include 
#include 
#include 
#include 
#ifdef _WIN32
#include 
#include 
#include 
#endif

#define BROADCAST_IP "192.168.10.255"
#define PORT 12345
#define MESSAGE "Hello, Broadcast!"
int sock = -1;
int sock_ok = 0;

void *receive_broadcast(void *arg) {
  
    struct sockaddr_in local_addr;
    char buffer[256];
    int addr_len;
    int message_len;

    while (sock_ok == 0)
    {
    }

    while (1) {
        addr_len = sizeof(local_addr);
        // message_len = recvfrom(sock, buffer, sizeof(buffer) - 1, 0, (struct sockaddr*)&local_addr, &addr_len);
        message_len = recv(sock, buffer, sizeof(buffer) - 1, 0);
        if (message_len < 0) {
            perror("recvfrom");
            close(sock);
            pthread_exit(NULL);
        }

        buffer[message_len] = '\0';
        printf("Received message from %s: %s\n", inet_ntoa(local_addr.sin_addr), buffer);
    }

    close(sock);
    pthread_exit(NULL);
}

int main() {
    struct sockaddr_in broadcast_addr;
    int broadcast_enable = 1;
    pthread_t receive_thread;
    struct sockaddr_in local_addr;

    #ifdef _WIN32
    WORD wVersionRequested;
    WSADATA wsaData;
    int err;
    char response[100] = {0};
    wVersionRequested = MAKEWORD(2, 2);

    err = WSAStartup(wVersionRequested, &wsaData);
    if (err != 0)
    {
        printf("WSAStartup failed with error: %d\n", err);
        return 1;
    }

#endif

    if (pthread_create(&receive_thread, NULL, receive_broadcast, NULL) != 0) {
        perror("pthread_create");
        exit(EXIT_FAILURE);
    }
    if ((sock = socket(AF_INET, SOCK_DGRAM, 0)) < 0) {
        perror("socket");
        exit(EXIT_FAILURE);
    }
    memset(&local_addr, 0, sizeof(local_addr));
    local_addr.sin_family = AF_INET;
    local_addr.sin_addr.s_addr = htonl(INADDR_ANY);
    local_addr.sin_port = htons(3387);
    if (bind(sock, (struct sockaddr*)&local_addr, sizeof(local_addr)) < 0) {
        perror("bind");
        close(sock);
        pthread_exit(NULL);
    }
    if (setsockopt(sock, SOL_SOCKET, SO_BROADCAST, &broadcast_enable, sizeof(broadcast_enable)) < 0) {
        perror("setsockopt(SO_BROADCAST)");
        close(sock);
        exit(EXIT_FAILURE);
    }
    memset(&broadcast_addr, 0, sizeof(broadcast_addr));
    broadcast_addr.sin_family = AF_INET;
    broadcast_addr.sin_addr.s_addr = inet_addr(BROADCAST_IP);
    broadcast_addr.sin_port = htons(PORT);
    
	if(connect(sock, (struct sockaddr*)&broadcast_addr, sizeof(broadcast_addr)) != 0)
    {
        perror("connect");
        close(sock);
        exit(EXIT_FAILURE);
    }
    sock_ok = 1;
    while (1) {
        // if (sendto(sock, MESSAGE, strlen(MESSAGE), 0, (struct sockaddr*)&broadcast_addr, sizeof(broadcast_addr)) < 0) {
        if (send(sock, MESSAGE, strlen(MESSAGE), 0) < 0) {
            perror("sendto");
            close(sock);
            exit(EXIT_FAILURE);
        }
        printf("Sent message: %s\n", MESSAGE);
        sleep(2);
    }

    close(sock);
    return 0;
}

接收数据并回复：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75


#include 
#include 
#include 
#include 
#include 
#ifdef _WIN32
#include 
#include 
#include 
#endif

#define BROADCAST_IP "192.168.10.255"
#define PORT 12345
#define MESSAGE "hi, Broadcast!"


int main() {

    int sock;
    struct sockaddr_in local_addr;
    char buffer[256];
    int addr_len;
    int message_len;

    #ifdef _WIN32
    WORD wVersionRequested;
    WSADATA wsaData;
    int err;
    char response[100] = {0};
    wVersionRequested = MAKEWORD(2, 2);
    err = WSAStartup(wVersionRequested, &wsaData);
    if (err != 0)
    {                           */
        printf("WSAStartup failed with error: %d\n", err);
        return 1;
    }

#endif
    if ((sock = socket(AF_INET, SOCK_DGRAM, 0)) < 0) {
        perror("socket");
        exit(EXIT_FAILURE);
    }

    memset(&local_addr, 0, sizeof(local_addr));
    local_addr.sin_family = AF_INET;
    local_addr.sin_addr.s_addr = htonl(INADDR_ANY);
    local_addr.sin_port = htons(PORT);

    if (bind(sock, (struct sockaddr*)&local_addr, sizeof(local_addr)) < 0) {
        perror("bind");
        close(sock);
        exit(EXIT_FAILURE);
    }

    while (1) {
        addr_len = sizeof(local_addr);
        message_len = recvfrom(sock, buffer, sizeof(buffer) - 1, 0, (struct sockaddr*)&local_addr, &addr_len);
        if (message_len < 0) {
            perror("recvfrom");
            close(sock);
            exit(EXIT_FAILURE);
        }

        buffer[message_len] = '\0';
        printf("Received message from %s: %s\n", inet_ntoa(local_addr.sin_addr), buffer);
        if (sendto(sock, MESSAGE, strlen(MESSAGE), 0, (struct sockaddr*)&local_addr, sizeof(local_addr)) < 0) {
            perror("sendto");
            close(sock);
            exit(EXIT_FAILURE);
        }
    }

    close(sock);
    return 0;
}

结果还真复现了问题，网络抓包有回复，但 socket 收不到数据。

udp socket 收发数据可以使用两套接口: sendto recvfrom 和 connect send recv。udp 使用 connect send recv 可以简化一些编程的处理，适用于与对方是固定地址的通信，在目的地址是广播、组播地址，或者是作为服务需要监听数据的时候就不适合使用 connect 的方式。

Ubuntu-20.04 python 2.7 安装 pylzma 失败问题处理

Wed, 03 Jul 2024 02:00:18 +0800

fcm362k sdk 打包 ota 固件的时候，需要用到 python 的 pylzma 模块，使用的是 python 2.7。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79



❯ pip install pylzma
DEPRECATION: Python 2.7 reached the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 is no longer maintained. pip 21.0 will drop support for Python 2.7 in January 2021. More details about Python 2 support in pip can be found at https://pip.pypa.io/en/latest/development/release-process/#python-2-support pip 21.0 will remove support for this functionality.
Defaulting to user installation because normal site-packages is not writeable
Collecting pylzma
  Downloading pylzma-0.5.0.tar.gz (4.2 MB)
     |████████████████████████████████| 4.2 MB 6.0 MB/s 
Building wheels for collected packages: pylzma
  Building wheel for pylzma (setup.py) ... error
  ERROR: Command errored out with exit status 1:
   command: /usr/bin/python2.7 -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-wMwVPQ/pylzma/setup.py'"'"'; __file__='"'"'/tmp/pip-install-wMwVPQ/pylzma/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' bdist_wheel -d /tmp/pip-wheel-2wm2G0
       cwd: /tmp/pip-install-wMwVPQ/pylzma/
  Complete output (27 lines):
  running bdist_wheel
  running build
  running build_py
  creating build
  creating build/lib.linux-x86_64-2.7
  copying py7zlib.py -> build/lib.linux-x86_64-2.7
  running build_ext
  There is a workaround to now inherit optimization CFLAGS when compiling wheels.
  To enable this, set APPLY_LP2002043_UBUNTU_CFLAGS_WORKAROUND in your
  environment. See LP: https://launchpad.net/bugs/2002043 for further context.
  APPLY_LP2002043_UBUNTU_CFLAGS_WORKAROUND not detected.
  /tmp/pip-install-wMwVPQ/pylzma/setup.py:107: UnsupportedPlatformWarning: Multithreading is not supported on the platform "linux2",
  please contact mail@joachim-bauch.de for more informations.
    please contact mail@joachim-bauch.de for more informations.""" % (sys.platform), UnsupportedPlatformWarning)
  building 'pylzma' extension
  creating build/temp.linux-x86_64-2.7
  creating build/temp.linux-x86_64-2.7/src
  creating build/temp.linux-x86_64-2.7/src/pylzma
  creating build/temp.linux-x86_64-2.7/src/sdk
  creating build/temp.linux-x86_64-2.7/src/sdk/C
  creating build/temp.linux-x86_64-2.7/src/compat
  x86_64-linux-gnu-gcc -pthread -fno-strict-aliasing -Wdate-time -D_FORTIFY_SOURCE=2 -g -fdebug-prefix-map=/build/python2.7-CxOYiX/python2.7-2.7.18=. -fstack-protector-strong -Wformat -Werror=format-security -fPIC -DPY_SSIZE_T_CLEAN=1 -DWITH_COMPAT=1 -DPYLZMA_VERSION=0.5.0 -D_7ZIP_ST=1 -Isrc/sdk/C -I/usr/include/python2.7 -c src/pylzma/pylzma.c -o build/temp.linux-x86_64-2.7/src/pylzma/pylzma.o
  src/pylzma/pylzma.c:26:10: fatal error: Python.h: No such file or directory
     26 | #include 
        |          ^~~~~~~~~~
  compilation terminated.
  error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
  ----------------------------------------
  ERROR: Failed building wheel for pylzma
  Running setup.py clean for pylzma
Failed to build pylzma
Installing collected packages: pylzma
    Running setup.py install for pylzma ... error
    ERROR: Command errored out with exit status 1:
     command: /usr/bin/python2.7 -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-wMwVPQ/pylzma/setup.py'"'"'; __file__='"'"'/tmp/pip-install-wMwVPQ/pylzma/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record /tmp/pip-record-LvdYpy/install-record.txt --single-version-externally-managed --user --prefix= --compile --install-headers /home/xxx/.local/include/python2.7/pylzma
         cwd: /tmp/pip-install-wMwVPQ/pylzma/
    Complete output (27 lines):
    running install
    running build
    running build_py
    creating build
    creating build/lib.linux-x86_64-2.7
    copying py7zlib.py -> build/lib.linux-x86_64-2.7
    running build_ext
    There is a workaround to now inherit optimization CFLAGS when compiling wheels.
    To enable this, set APPLY_LP2002043_UBUNTU_CFLAGS_WORKAROUND in your
    environment. See LP: https://launchpad.net/bugs/2002043 for further context.
    APPLY_LP2002043_UBUNTU_CFLAGS_WORKAROUND not detected.
    /tmp/pip-install-wMwVPQ/pylzma/setup.py:107: UnsupportedPlatformWarning: Multithreading is not supported on the platform "linux2",
    please contact mail@joachim-bauch.de for more informations.
      please contact mail@joachim-bauch.de for more informations.""" % (sys.platform), UnsupportedPlatformWarning)
    building 'pylzma' extension
    creating build/temp.linux-x86_64-2.7
    creating build/temp.linux-x86_64-2.7/src
    creating build/temp.linux-x86_64-2.7/src/pylzma
    creating build/temp.linux-x86_64-2.7/src/sdk
    creating build/temp.linux-x86_64-2.7/src/sdk/C
    creating build/temp.linux-x86_64-2.7/src/compat
    x86_64-linux-gnu-gcc -pthread -fno-strict-aliasing -Wdate-time -D_FORTIFY_SOURCE=2 -g -fdebug-prefix-map=/build/python2.7-CxOYiX/python2.7-2.7.18=. -fstack-protector-strong -Wformat -Werror=format-security -fPIC -DPY_SSIZE_T_CLEAN=1 -DWITH_COMPAT=1 -DPYLZMA_VERSION=0.5.0 -D_7ZIP_ST=1 -Isrc/sdk/C -I/usr/include/python2.7 -c src/pylzma/pylzma.c -o build/temp.linux-x86_64-2.7/src/pylzma/pylzma.o
    src/pylzma/pylzma.c:26:10: fatal error: Python.h: No such file or directory
       26 | #include 
          |          ^~~~~~~~~~
    compilation terminated.
    error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
    ----------------------------------------
ERROR: Command errored out with exit status 1: /usr/bin/python2.7 -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-wMwVPQ/pylzma/setup.py'"'"'; __file__='"'"'/tmp/pip-install-wMwVPQ/pylzma/setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record /tmp/pip-record-LvdYpy/install-record.txt --single-version-externally-managed --user --prefix= --compile --install-headers /home/xxx/.local/include/python2.7/pylzma Check the logs for full command output.

一安装就报错，折腾老半天:

1
2
3
4
5
6


 x86_64-linux-gnu-gcc -pthread -fno-strict-aliasing -Wdate-time -D_FORTIFY_SOURCE=2 -g -fdebug-prefix-map=/build/python2.7-CxOYiX/python2.7-2.7.18=. -fstack-protector-strong -Wformat -Werror=format-security -fPIC -DPY_SSIZE_T_CLEAN=1 -DWITH_COMPAT=1 -DPYLZMA_VERSION=0.5.0 -D_7ZIP_ST=1 -Isrc/sdk/C -I/usr/include/python2.7 -c src/pylzma/pylzma.c -o build/temp.linux-x86_64-2.7/src/pylzma/pylzma.o
  src/pylzma/pylzma.c:26:10: fatal error: Python.h: No such file or directory
     26 | #include 
        |          ^~~~~~~~~~
  compilation terminated.
  error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

后面才发现是需要安装 libpython2.7-dev 包

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


sudo apt-get install libpython2.7-dev
Reading package lists... Done
Building dependency tree       
Reading state information... Done
The following additional packages will be installed:
  libpython2.7
The following NEW packages will be installed:
  libpython2.7 libpython2.7-dev
0 upgraded, 2 newly installed, 0 to remove and 19 not upgraded.
Need to get 3506 kB of archives.
After this operation, 17.3 MB of additional disk space will be used.
Do you want to continue? [Y/n] y
Get:1 http://archive.ubuntu.com/ubuntu focal-updates/universe amd64 libpython2.7 amd64 2.7.18-1~20.04.4 [1038 kB]
Get:2 http://archive.ubuntu.com/ubuntu focal-updates/universe amd64 libpython2.7-dev amd64 2.7.18-1~20.04.4 [2468 kB]
Fetched 3506 kB in 3s (1033 kB/s)           
Selecting previously unselected package libpython2.7:amd64.
(Reading database ... 47106 files and directories currently installed.)
Preparing to unpack .../libpython2.7_2.7.18-1~20.04.4_amd64.deb ...
Unpacking libpython2.7:amd64 (2.7.18-1~20.04.4) ...
Selecting previously unselected package libpython2.7-dev:amd64.
Preparing to unpack .../libpython2.7-dev_2.7.18-1~20.04.4_amd64.deb ...
Unpacking libpython2.7-dev:amd64 (2.7.18-1~20.04.4) ...
Setting up libpython2.7:amd64 (2.7.18-1~20.04.4) ...
Setting up libpython2.7-dev:amd64 (2.7.18-1~20.04.4) ...
Processing triggers for man-db (2.9.1-1) ...
Processing triggers for libc-bin (2.31-0ubuntu9.16) ...

fcm362k_open on  main [!+?⇡] via △ v3.28.2 took 32s 

再用pip 安装 pylzma，搞定。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


❯ pip install pylzma
DEPRECATION: Python 2.7 reached the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 is no longer maintained. pip 21.0 will drop support for Python 2.7 in January 2021. More details about Python 2 support in pip can be found at https://pip.pypa.io/en/latest/development/release-process/#python-2-support pip 21.0 will remove support for this functionality.
Defaulting to user installation because normal site-packages is not writeable
Collecting pylzma
  Using cached pylzma-0.5.0.tar.gz (4.2 MB)
Building wheels for collected packages: pylzma
  Building wheel for pylzma (setup.py) ... done
  Created wheel for pylzma: filename=pylzma-0.5.0-cp27-cp27mu-linux_x86_64.whl size=141946 sha256=b377270f54367f030a7250e6f01a76e9d05262f124bd73bf039bc82425a1570c
  Stored in directory: /home/xxx/.cache/pip/wheels/a3/08/31/80d21f91a9a7bf972721aee8a821c96311b65781dda8a6411a
Successfully built pylzma
Installing collected packages: pylzma
Successfully installed pylzma-0.5.0

为 freertos 的 heap_4 动态内存分配方案增加 heap info 调试信息

Sun, 23 Jun 2024 02:00:18 +0800

如何为 freertos 的 heap_4 动态内存分配方案增加 heap info 调试信息？

增加调试信息的目的是为了方便排查内存泄漏和内存越界问题，为了排查内存泄漏，需要记录每个内存块的申请者信息，以下是针对内存泄漏问题调试的修改。

修改内存块头部的数据结构，增加字段记录内存申请者的信息和申请的内存大小。

1
2
3
4
5
6
7


typedef struct A_BLOCK_LINK
{
    struct A_BLOCK_LINK * pxNextFreeBlock; /*<< The next free block in the list. */
    size_t xBlockSize;                     /*<< The size of the free block. */
    size_t xWantedSize;
    void *caller;
} BlockLink_t;

xWantedSize 和 caller 是新增的字段，分别用于记录内存分配时候的调用者信息和申请的内存大小。

修改 pvPortMalloc 和 pvPortRealloc 的定义，传入参数增加 caller。

1
2
3


void * pvPortMalloc( size_t xSize , void *caller) PRIVILEGED_FUNCTION;
void * pvPortRealloc( void *p,
                     size_t xSize, void *caller) PRIVILEGED_FUNCTION;

修改 prvHeapInit pvPortMalloc 的实现，增加记录 caller，增加新接口 show_heap_info 查看 heap 的内存使用情况。

在 heap 初始化的时候增加 caller xWantedSize 的初始化。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48


static void prvHeapInit( void ) /* PRIVILEGED_FUNCTION */
{
    BlockLink_t * pxFirstFreeBlock;
    uint8_t * pucAlignedHeap;
    size_t uxAddress;
    size_t xTotalHeapSize = configTOTAL_HEAP_SIZE;

    /* Ensure the heap starts on a correctly aligned boundary. */
    uxAddress = ( size_t ) ucHeap;

    if( ( uxAddress & portBYTE_ALIGNMENT_MASK ) != 0 )
    {
        uxAddress += ( portBYTE_ALIGNMENT - 1 );
        uxAddress &= ~( ( size_t ) portBYTE_ALIGNMENT_MASK );
        xTotalHeapSize -= uxAddress - ( size_t ) ucHeap;
    }

    pucAlignedHeap = ( uint8_t * ) uxAddress;

    /* xStart is used to hold a pointer to the first item in the list of free
     * blocks.  The void cast is used to prevent compiler warnings. */
    xStart.pxNextFreeBlock = ( void * ) pucAlignedHeap;
    xStart.xBlockSize = ( size_t ) 0;
    xStart.caller = NULL;
    xStart.xWantedSize = 0;

    /* pxEnd is used to mark the end of the list of free blocks and is inserted
     * at the end of the heap space. */
    uxAddress = ( ( size_t ) pucAlignedHeap ) + xTotalHeapSize;
    uxAddress -= xHeapStructSize;
    uxAddress &= ~( ( size_t ) portBYTE_ALIGNMENT_MASK );
    pxEnd = ( void * ) uxAddress;
    pxEnd->xBlockSize = 0;
    pxEnd->caller = NULL;
    pxEnd->pxNextFreeBlock = NULL;

    /* To start with there is a single free block that is sized to take up the
     * entire heap space, minus the space taken by pxEnd. */
    pxFirstFreeBlock = ( void * ) pucAlignedHeap;
    pxFirstFreeBlock->xBlockSize = uxAddress - ( size_t ) pxFirstFreeBlock;
    pxFirstFreeBlock->xWantedSize = 0;
    pxFirstFreeBlock->caller = NULL;
    pxFirstFreeBlock->pxNextFreeBlock = pxEnd;

    /* Only one block exists - and it covers the entire usable heap space. */
    xMinimumEverFreeBytesRemaining = pxFirstFreeBlock->xBlockSize;
    xFreeBytesRemaining = pxFirstFreeBlock->xBlockSize;
}

在分配内存的时候，记录caller 和 xWantedSize 到内存卡的头部。

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185


void * pvPortMalloc( size_t xWantedSize , void * caller)
{
    BlockLink_t * pxBlock, * pxPreviousBlock, * pxNewBlockLink;
    void * pvReturn = NULL;
    size_t xAdditionalRequiredSize;
    size_t _xWantedSize = xWantedSize;

    vTaskSuspendAll();
    {
        /* If this is the first call to malloc then the heap will require
         * initialisation to setup the list of free blocks. */
        if( pxEnd == NULL )
        {
            prvHeapInit();
        }
        else
        {
            mtCOVERAGE_TEST_MARKER();
        }

        if( xWantedSize > 0 )
        {
            /* The wanted size must be increased so it can contain a BlockLink_t
             * structure in addition to the requested amount of bytes. Some
             * additional increment may also be needed for alignment. */
            xAdditionalRequiredSize = xHeapStructSize  + portBYTE_ALIGNMENT - ( xWantedSize & portBYTE_ALIGNMENT_MASK );

            if( heapADD_WILL_OVERFLOW( xWantedSize, xAdditionalRequiredSize ) == 0 )
            {
                xWantedSize += xAdditionalRequiredSize;
            }
            else
            {
                xWantedSize = 0;
            }
        }
        else
        {
            mtCOVERAGE_TEST_MARKER();
        }

        /* Check the block size we are trying to allocate is not so large that the
         * top bit is set.  The top bit of the block size member of the BlockLink_t
         * structure is used to determine who owns the block - the application or
         * the kernel, so it must be free. */
        if( heapBLOCK_SIZE_IS_VALID( xWantedSize ) != 0 )
        {
            if( ( xWantedSize > 0 ) && ( xWantedSize <= xFreeBytesRemaining ) )
            {
                /* Traverse the list from the start (lowest address) block until
                 * one of adequate size is found. */
                pxPreviousBlock = &xStart;
                pxBlock = xStart.pxNextFreeBlock;

                while( ( pxBlock->xBlockSize < xWantedSize ) && ( pxBlock->pxNextFreeBlock != NULL ) )
                {
                    pxPreviousBlock = pxBlock;
                    pxBlock = pxBlock->pxNextFreeBlock;
                }

                /* If the end marker was reached then a block of adequate size
                 * was not found. */
                if( pxBlock != pxEnd )
                {
                    /* Return the memory space pointed to - jumping over the
                     * BlockLink_t structure at its start. */
                    pvReturn = ( void * ) ( ( ( uint8_t * ) pxPreviousBlock->pxNextFreeBlock ) + xHeapStructSize );

                    /* This block is being returned for use so must be taken out
                     * of the list of free blocks. */
                    pxPreviousBlock->pxNextFreeBlock = pxBlock->pxNextFreeBlock;

                    /* If the block is larger than required it can be split into
                     * two. */
                    if( ( pxBlock->xBlockSize - xWantedSize ) > heapMINIMUM_BLOCK_SIZE )
                    {
                        /* This block is to be split into two.  Create a new
                         * block following the number of bytes requested. The void
                         * cast is used to prevent byte alignment warnings from the
                         * compiler. */
                        pxNewBlockLink = ( void * ) ( ( ( uint8_t * ) pxBlock ) + xWantedSize );
                        configASSERT( ( ( ( size_t ) pxNewBlockLink ) & portBYTE_ALIGNMENT_MASK ) == 0 );

                        /* Calculate the sizes of two blocks split from the
                         * single block. */
                        pxNewBlockLink->xBlockSize = pxBlock->xBlockSize - xWantedSize;
                        pxNewBlockLink->xWantedSize = 0;
                        pxNewBlockLink->caller = NULL;
                        pxBlock->xBlockSize = xWantedSize;

                        /* Insert the new block into the list of free blocks. */
                        prvInsertBlockIntoFreeList( pxNewBlockLink );
                    }
                    else
                    {
                        mtCOVERAGE_TEST_MARKER();
                    }

                    

                    xFreeBytesRemaining -= pxBlock->xBlockSize;
                    

                    if( xFreeBytesRemaining < xMinimumEverFreeBytesRemaining )
                    {
                        xMinimumEverFreeBytesRemaining = xFreeBytesRemaining;
                    }
                    else
                    {
                        mtCOVERAGE_TEST_MARKER();
                    }

              
                    pxBlock->xWantedSize = _xWantedSize;
                    pxBlock->caller = caller;
                    /* The block is being returned - it is allocated and owned
                     * by the application and has no "next" block. */
                    heapALLOCATE_BLOCK( pxBlock );
                    pxBlock->pxNextFreeBlock = NULL;
                    xNumberOfSuccessfulAllocations++;
                }
                else
                {
                    mtCOVERAGE_TEST_MARKER();
                }
            }
            else
            {
                mtCOVERAGE_TEST_MARKER();
            }
        }
        else
        {
            mtCOVERAGE_TEST_MARKER();
        }

        traceMALLOC( pvReturn, xWantedSize );
    }
    xTaskResumeAll();

    #if ( configUSE_MALLOC_FAILED_HOOK == 1 )
    {
        if( pvReturn == NULL )
        {
            vApplicationMallocFailedHook();
        }
        else
        {
            mtCOVERAGE_TEST_MARKER();
        }
    }
    #endif /* if ( configUSE_MALLOC_FAILED_HOOK == 1 ) */

    configASSERT( ( ( ( size_t ) pvReturn ) & ( size_t ) portBYTE_ALIGNMENT_MASK ) == 0 );
    return pvReturn;
}

void *pvPortRealloc(void *p,
                    size_t xSize, void * caller)
{
    void *pv = NULL;
    uint8_t *puc = (uint8_t *)p;
    BlockLink_t *pxLink;

    if (p == NULL)
    {
        return NULL;
    }

    puc -= xHeapStructSize;
    pxLink = (void *)puc;

    configASSERT(heapBLOCK_IS_ALLOCATED(pxLink) != 0);
    configASSERT(pxLink->pxNextFreeBlock == NULL);

    pv = pvPortMalloc(xSize, caller);
    if (pv == NULL)
    {
        return NULL;
    }
    memcpy(pv, p, pxLink->xWantedSize);
    vPortFree(p);

    return pv;   
}

遍历 heap 所有的内存块，打印出其调用者、申请内存大小、是已分配的内存块还是空闲的内存块，利用这些信息排查内存泄漏。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35


void show_heap_info(void)
{
    BlockLink_t * pxLink = NULL;
    uint8_t * pucAlignedHeap;
    size_t uxAddress;
    size_t xTotalHeapSize = configTOTAL_HEAP_SIZE;

    vTaskSuspendAll();
    uxAddress = ( size_t ) ucHeap;

    if( ( uxAddress & portBYTE_ALIGNMENT_MASK ) != 0 )
    {
        uxAddress += ( portBYTE_ALIGNMENT - 1 );
        uxAddress &= ~( ( size_t ) portBYTE_ALIGNMENT_MASK );
        xTotalHeapSize -= uxAddress - ( size_t ) ucHeap;
    }

    pucAlignedHeap = ( uint8_t * ) uxAddress;

    pxLink = (BlockLink_t *)pucAlignedHeap;

    printf("\r\naddress: 0x%p\r\nsize: %d\r\navail: %d\r\npool_start: 0x%p\r\npool_end: 0x%p\r\n",
           ucHeap, xTotalHeapSize, xFreeBytesRemaining, pucAlignedHeap, pxEnd);

    printf("state,block_addr,user_addr,caller,blocksize,wanted_size\r\n");
 
    while (pxLink != pxEnd)
    {
		
        printf("%s, 0x%p, 0x%p, 0x%p,%d,%d\r\n", ((pxLink->xBlockSize & heapBLOCK_ALLOCATED_BITMASK)!=0)? "U":"F", pxLink, (uint8_t *)pxLink+xHeapStructSize, pxLink->caller, (( pxLink->xBlockSize ) & ~heapBLOCK_ALLOCATED_BITMASK), pxLink->xWantedSize);
        pxLink =(BlockLink_t *) (( uint8_t * )pxLink + (( pxLink->xBlockSize ) & ~heapBLOCK_ALLOCATED_BITMASK));
    }

    xTaskResumeAll();
}

利用库打桩机制，替换标准库中的 malloc free realloc 等内存分配函数。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50



/************** wrap C library functions **************/
void * __wrap_malloc (size_t size)
{
    void *caller = __builtin_return_address (0);
	return pvPortMalloc(size, caller);
}

void * __wrap__malloc_r (void *p, size_t size)
{
	void *caller = __builtin_return_address (0);
	return pvPortMalloc(size, caller);
}

void __wrap_free (void *pv)
{
	vPortFree(pv);
}

void * __wrap_calloc (size_t a, size_t b)
{
	void *pvReturn;
    void *caller = __builtin_return_address (0);
    pvReturn = pvPortMalloc( a*b, caller);
    if (pvReturn)
    {
        memset(pvReturn, 0, a*b);
    }

    return pvReturn;
}

void * __wrap_realloc (void* pv, size_t size)
{
    void *caller = __builtin_return_address (0);
	return pvPortRealloc(pv, size, caller);
}

void __wrap__free_r (void *p, void *x)
{
  __wrap_free(x);
}

void* __wrap__realloc_r (void *p, void* x, size_t sz)
{
    void *caller = __builtin_return_address (0);
	return pvPortRealloc(x, sz, caller);
}

/*-----------------------------------------------------------*/

gcc 的链接器支持用 –wrap f 参数进行链接时打桩，这个参数告诉链接器，把对符号 f 的引用解析成 __wrap_f。通过这个机制，我们调用malloc的时候，便会替换成我们加了调试信息的__wrap_malloc。另外，再使用 __builtin_return_address 接口获取函数的返回地址并记录，这样就知道是谁申请了这块内存。

最后再添加连接器参数：

1
2
3
4
5
6
7
8
9


sdk_add_link_options(
        -Wl,--wrap=malloc
        -Wl,--wrap=_malloc_r
        -Wl,--wrap=free
        -Wl,--wrap=calloc
        -Wl,--wrap=realloc
        -Wl,--wrap=_free_r
        -Wl,--wrap=_realloc_r
)

对于内存越界问题，可以在每个内存块的末尾增加冗余长度，并填充特定数据，在内存释放的时候检查填充的数据有没有被篡改，以此判断是否存在内存被破坏问题。

pvPortMalloc 的修改

在 xWantedSize 的基础上增加一个字节，确保内存块的尾部够空间填充一个特殊数据。然后在将要分配出去的内存块中末尾未使用的数据全部填充为0xfd，填充的长度为 pxBlock->xBlockSize-_xWantedSize-xHeapStructSize。

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166


void * pvPortMalloc( size_t xWantedSize , void * caller)
{
    BlockLink_t * pxBlock, * pxPreviousBlock, * pxNewBlockLink;
    void * pvReturn = NULL;
    size_t xAdditionalRequiredSize;
    size_t _xWantedSize = xWantedSize;

    vTaskSuspendAll();
    {
        /* If this is the first call to malloc then the heap will require
         * initialisation to setup the list of free blocks. */
        if( pxEnd == NULL )
        {
            prvHeapInit();
        }
        else
        {
            mtCOVERAGE_TEST_MARKER();
        }

        if( xWantedSize > 0 )
        {
            /* The wanted size must be increased so it can contain a BlockLink_t
             * structure in addition to the requested amount of bytes. Some
             * additional increment may also be needed for alignment. */
            xWantedSize += 1;
            xAdditionalRequiredSize = xHeapStructSize  + portBYTE_ALIGNMENT - ( xWantedSize & portBYTE_ALIGNMENT_MASK );

            if( heapADD_WILL_OVERFLOW( xWantedSize, xAdditionalRequiredSize ) == 0 )
            {
                xWantedSize += xAdditionalRequiredSize;
            }
            else
            {
                xWantedSize = 0;
            }
        }
        else
        {
            mtCOVERAGE_TEST_MARKER();
        }

        /* Check the block size we are trying to allocate is not so large that the
         * top bit is set.  The top bit of the block size member of the BlockLink_t
         * structure is used to determine who owns the block - the application or
         * the kernel, so it must be free. */
        if( heapBLOCK_SIZE_IS_VALID( xWantedSize ) != 0 )
        {
            if( ( xWantedSize > 0 ) && ( xWantedSize <= xFreeBytesRemaining ) )
            {
                /* Traverse the list from the start (lowest address) block until
                 * one of adequate size is found. */
                pxPreviousBlock = &xStart;
                pxBlock = xStart.pxNextFreeBlock;

                while( ( pxBlock->xBlockSize < xWantedSize ) && ( pxBlock->pxNextFreeBlock != NULL ) )
                {
                    pxPreviousBlock = pxBlock;
                    pxBlock = pxBlock->pxNextFreeBlock;
                }

                /* If the end marker was reached then a block of adequate size
                 * was not found. */
                if( pxBlock != pxEnd )
                {
                    /* Return the memory space pointed to - jumping over the
                     * BlockLink_t structure at its start. */
                    pvReturn = ( void * ) ( ( ( uint8_t * ) pxPreviousBlock->pxNextFreeBlock ) + xHeapStructSize );

                    /* This block is being returned for use so must be taken out
                     * of the list of free blocks. */
                    pxPreviousBlock->pxNextFreeBlock = pxBlock->pxNextFreeBlock;

                    /* If the block is larger than required it can be split into
                     * two. */
                    if( ( pxBlock->xBlockSize - xWantedSize ) > heapMINIMUM_BLOCK_SIZE )
                    {
                        /* This block is to be split into two.  Create a new
                         * block following the number of bytes requested. The void
                         * cast is used to prevent byte alignment warnings from the
                         * compiler. */
                        pxNewBlockLink = ( void * ) ( ( ( uint8_t * ) pxBlock ) + xWantedSize );
                        configASSERT( ( ( ( size_t ) pxNewBlockLink ) & portBYTE_ALIGNMENT_MASK ) == 0 );

                        /* Calculate the sizes of two blocks split from the
                         * single block. */
                        pxNewBlockLink->xBlockSize = pxBlock->xBlockSize - xWantedSize;
                        pxNewBlockLink->xWantedSize = 0;
                        pxNewBlockLink->caller = NULL;
                        pxBlock->xBlockSize = xWantedSize;

                        /* Insert the new block into the list of free blocks. */
                        prvInsertBlockIntoFreeList( pxNewBlockLink );
                    }
                    else
                    {
                        mtCOVERAGE_TEST_MARKER();
                    }

                    

                    xFreeBytesRemaining -= pxBlock->xBlockSize;
                    

                    if( xFreeBytesRemaining < xMinimumEverFreeBytesRemaining )
                    {
                        xMinimumEverFreeBytesRemaining = xFreeBytesRemaining;
                    }
                    else
                    {
                        mtCOVERAGE_TEST_MARKER();
                    }

              
                    pxBlock->xWantedSize = _xWantedSize;
                    pxBlock->caller = caller;
                    int _len = pxBlock->xBlockSize-_xWantedSize-xHeapStructSize;
					uint8_t *_p = (uint8_t *)pxBlock+_xWantedSize+xHeapStructSize;
					while (_len > 0)
					{
						*_p = 0xfd;
						_p++;
						_len--;
					}

                    /* The block is being returned - it is allocated and owned
                     * by the application and has no "next" block. */
                    heapALLOCATE_BLOCK( pxBlock );
                    pxBlock->pxNextFreeBlock = NULL;
                    xNumberOfSuccessfulAllocations++;
                }
                else
                {
                    mtCOVERAGE_TEST_MARKER();
                }
            }
            else
            {
                mtCOVERAGE_TEST_MARKER();
            }
        }
        else
        {
            mtCOVERAGE_TEST_MARKER();
        }

        traceMALLOC( pvReturn, xWantedSize );
    }
    xTaskResumeAll();

    #if ( configUSE_MALLOC_FAILED_HOOK == 1 )
    {
        if( pvReturn == NULL )
        {
            vApplicationMallocFailedHook();
        }
        else
        {
            mtCOVERAGE_TEST_MARKER();
        }
    }
    #endif /* if ( configUSE_MALLOC_FAILED_HOOK == 1 ) */

    configASSERT( ( ( ( size_t ) pvReturn ) & ( size_t ) portBYTE_ALIGNMENT_MASK ) == 0 );
    return pvReturn;
}

在释放内存的时候检查内存块的填充数据是否有被篡改，如果有被篡改则说明出现了内存越界问题，可以打印当前内存块的 caller 信息和 dump 整个 block 数据，然后立再触发 ASSERT。除了在内存释放的时候检查heap是否有越界，也可以在任务上下文切换的时候检查，不过这样会增加任务调度的开销，影响任务切换的效率。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66



void vPortFree( void * pv )
{
    uint8_t * puc = ( uint8_t * ) pv;
    BlockLink_t * pxLink;

    if( pv != NULL )
    {
        /* The memory being freed will have an BlockLink_t structure immediately
         * before it. */
        puc -= xHeapStructSize;

        /* This casting is to keep the compiler from issuing warnings. */
        pxLink = ( void * ) puc;

        configASSERT( heapBLOCK_IS_ALLOCATED( pxLink ) != 0 );
        configASSERT( pxLink->pxNextFreeBlock == NULL );

        if( heapBLOCK_IS_ALLOCATED( pxLink ) != 0 )
        {
            if( pxLink->pxNextFreeBlock == NULL )
            {
                /* The block is being returned to the heap - it is no longer
                 * allocated. */
                heapFREE_BLOCK( pxLink );
                #if ( configHEAP_CLEAR_MEMORY_ON_FREE == 1 )
                {
                    ( void ) memset( puc + xHeapStructSize, 0, pxLink->xBlockSize - xHeapStructSize );
                }
                #endif

                vTaskSuspendAll();
                int _len = pxLink->xBlockSize - pxLink->xWantedSize - xHeapStructSize;
				uint8_t *_p = (uint8_t *)pxLink + pxLink->xWantedSize + xHeapStructSize;
				while (_len > 0)
				{
					if(*_p != 0xfd)
					{
						printf("mem crash,block:0x%p,caller: 0x%p, 0x%02x\r\n", pxLink, pxLink->caller, *_p);
					}
					configASSERT( (*_p == 0xfd ) );
					_p++;
					_len--;
				}

                {
                    /* Add this block to the list of free blocks. */
                    xFreeBytesRemaining += pxLink->xBlockSize;
                    traceFREE( pv, pxLink->xBlockSize );
                    pxLink->xWantedSize = 0;
                    prvInsertBlockIntoFreeList( ( ( BlockLink_t * ) pxLink ) );
                    xNumberOfSuccessfulFrees++;
                }
                /*( void ) */xTaskResumeAll();
            }
            else
            {
                mtCOVERAGE_TEST_MARKER();
            }
        }
        else
        {
            mtCOVERAGE_TEST_MARKER();
        }
    }
}

增加 heap info 信息会增加内存分配的开销，导致实际可以使用的 heap 内存变小，在内存较小的机器，应在正式软件上关闭 heap info 信息，以节省内存。

heap info 调试案例

内存泄漏问题案例

案例1

打开 mqtt 之前的 heap info：

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470


address: 0x40aae8
size: 152856
avail: 45288
pool_start: 0x40aae8
pool_end: 0x42fff0
state,block_addr,user_addr,caller,blocksize,wanted_size
U,0x40aae8,0x40abe8,0x1b695,4112,4096
U,0x40baf8,0x40bbf8,0x1b6b5,40,20
U,0x40bb20,0x40bc20,0x1b695,528,512
U,0x40bd30,0x40be30,0x1b6b5,40,20
U,0x40bd58,0x40be58,0x1b695,4112,4096
U,0x40cd68,0x40ce68,0x1b6b5,40,20
U,0x40cd90,0x40ce90,0x1b695,528,512
U,0x40cfa0,0x40d0a0,0x1b6b5,40,20
U,0x40cfc8,0x40d0c8,0x7eab8,96,80
U,0x40d028,0x40d128,0x7e8ac,96,80
U,0x40d088,0x40d188,0x28319,112,92
U,0x40d0f8,0x40d1f8,0x28441,96,80
U,0x40d158,0x40d258,0x7eab8,96,80
U,0x40d1b8,0x40d2b8,0x7eab8,96,80
U,0x40d218,0x40d318,0x28319,112,92
U,0x40d288,0x40d388,0x28441,96,80
U,0x40d2e8,0x40d3e8,0x7eab8,96,80
U,0x40d348,0x40d448,0x7eab8,96,80
U,0x40d3a8,0x40d4a8,0x28319,112,92
U,0x40d418,0x40d518,0x28441,96,80
U,0x40d478,0x40d578,0x7eab8,96,80
U,0x40d4d8,0x40d5d8,0x7eab8,96,80
U,0x40d538,0x40d638,0x803f4,112,92
U,0x40d5a8,0x40d6a8,0xa4be5,56,36
U,0x40d5e0,0x40d6e0,0x9fb53,48,28
U,0x40d610,0x40d710,0xb22f3,760,744
U,0x40d908,0x40da08,0x7f51c,1040,1024
U,0x40dd18,0x40de18,0x7f51c,112,92
U,0x40dd88,0x40de88,0x7fe1c,288,272
U,0x40dea8,0x40dfa8,0x7fefc,3088,3072
U,0x40eab8,0x40ebb8,0x7fefc,112,92
U,0x40eb28,0x40ec28,0x15769,32,16
U,0x40eb48,0x40ec48,0x15789,128,108
U,0x40ebc8,0x40ecc8,0x157a9,136,114
U,0x40ec50,0x40ed50,0x80808,120,100
U,0x40ecc8,0x40edc8,0x803f4,1040,1024
U,0x40f0d8,0x40f1d8,0x803f4,112,92
U,0x40f148,0x40f248,0x7e8ac,96,80
U,0x40f1a8,0x40f2a8,0x803f4,4112,4096
U,0x4101b8,0x4102b8,0x803f4,112,92
U,0x410228,0x410328,0x28441,96,80
U,0x410288,0x410388,0x1405f,64,40
U,0x4102c8,0x4103c8,0xa01ef,40,22
U,0x4102f0,0x4103f0,0x80c7c,72,44
U,0x410338,0x410438,0x83c1b,24,8
U,0x410350,0x410450,0x83c1b,40,4
U,0x410378,0x410478,0xa1b0d,64,32
U,0x4103b8,0x4104b8,0x34f21,1040,1024
U,0x4107c8,0x4108c8,0x9f79d,40,9
U,0x4107f0,0x4108f0,0x9a079,192,172
U,0x4108b0,0x4109b0,0x9bf95,40,22
U,0x4108d8,0x4109d8,0x99f8f,224,208
U,0x4109b8,0x410ab8,0x9c46f,64,48
U,0x4109f8,0x410af8,0x9dfef,40,22
U,0x410a20,0x410b20,0x6e705,32,9
U,0x410a40,0x410b40,0xa01ef,56,22
U,0x410a78,0x410b78,0x7eab8,96,80
U,0x410ad8,0x410bd8,0x7eab8,96,80
U,0x410b38,0x410c38,0x28319,224,208
U,0x410c18,0x410d18,0x7eab8,96,80
U,0x410c78,0x410d78,0x285a9,2064,2048
U,0x411488,0x411588,0x285a9,112,92
U,0x4114f8,0x4115f8,0x80808,1120,1104
U,0x411958,0x411a58,0x803f4,4112,4096
U,0x412968,0x412a68,0x803f4,112,92
U,0x4129d8,0x412ad8,0x9d659,72,52
U,0x412a20,0x412b20,0x7e8ac,96,80
U,0x412a80,0x412b80,0x80808,1632,1616
U,0x4130e0,0x4131e0,0x803f4,2064,2048
U,0x4138f0,0x4139f0,0x803f4,112,92
U,0x413960,0x413a60,0x80808,256,240
U,0x413a60,0x413b60,0x803f4,1168,1152
U,0x413ef0,0x413ff0,0xa46c5,952,936
U,0x4142a8,0x4143a8,0xb1ff7,56,4
U,0x4142e0,0x4143e0,0x80808,176,160
U,0x414390,0x414490,0x803f4,4112,4096
U,0x4153a0,0x4154a0,0x803f4,112,92
U,0x415410,0x415510,0x7e8ac,96,80
U,0x415470,0x415570,0x803f4,112,92
U,0x4154e0,0x4155e0,0x80808,1296,1280
U,0x4159f0,0x415af0,0x803f4,112,92
U,0x415a60,0x415b60,0x7eab8,96,80
U,0x415ac0,0x415bc0,0x7e8ac,96,80
U,0x415b20,0x415c20,0x803f4,136,92
U,0x415ba8,0x415ca8,0x1405f,56,40
U,0x415be0,0x415ce0,0x1405f,56,40
U,0x415c18,0x415d18,0x13ed5,24,5
U,0x415c30,0x415d30,0x1405f,56,40
U,0x415c68,0x415d68,0x13ed5,24,8
U,0x415c80,0x415d80,0x1405f,56,40
U,0x415cb8,0x415db8,0x13ed5,24,7
U,0x415cd0,0x415dd0,0x1405f,56,40
U,0x415d08,0x415e08,0x13ed5,24,2
U,0x415d20,0x415e20,0x1405f,56,40
U,0x415d58,0x415e58,0x13ed5,24,7
U,0x415d70,0x415e70,0x1405f,56,40
U,0x415da8,0x415ea8,0x13ed5,32,12
U,0x415dc8,0x415ec8,0x1405f,56,40
U,0x415e00,0x415f00,0x13ed5,24,8
U,0x415e18,0x415f18,0x1405f,56,40
U,0x415e50,0x415f50,0x13ed5,32,11
U,0x415e70,0x415f70,0x13ed5,32,12
U,0x415e90,0x415f90,0x1405f,56,40
U,0x415ec8,0x415fc8,0x13ed5,32,13
U,0x415ee8,0x415fe8,0x13ed5,56,33
U,0x415f20,0x416020,0x1405f,56,40
U,0x415f58,0x416058,0x13ed5,32,11
U,0x415f78,0x416078,0x13ed5,24,8
U,0x415f90,0x416090,0x1405f,56,40
U,0x415fc8,0x4160c8,0x13ed5,24,7
U,0x415fe0,0x4160e0,0x1405f,56,40
U,0x416018,0x416118,0x13ed5,24,4
U,0x416030,0x416130,0x1405f,56,40
U,0x416068,0x416168,0x13ed5,24,2
U,0x416080,0x416180,0x13ed5,32,12
U,0x4160a0,0x4161a0,0x1405f,56,40
U,0x4160d8,0x4161d8,0x13ed5,24,2
U,0x4160f0,0x4161f0,0x13ed5,32,13
U,0x416110,0x416210,0x1405f,56,40
U,0x416148,0x416248,0x13ed5,24,4
U,0x416160,0x416260,0x1405f,56,40
U,0x416198,0x416298,0x13ed5,24,2
U,0x4161b0,0x4162b0,0x13ed5,32,12
U,0x4161d0,0x4162d0,0x1405f,56,40
U,0x416208,0x416308,0x13ed5,24,2
U,0x416220,0x416320,0x13ed5,32,13
U,0x416240,0x416340,0x1405f,56,40
U,0x416278,0x416378,0x13ed5,24,4
U,0x416290,0x416390,0x1405f,56,40
U,0x4162c8,0x4163c8,0x13ed5,24,2
U,0x4162e0,0x4163e0,0x1405f,56,40
U,0x416318,0x416418,0x13ed5,24,8
U,0x416330,0x416430,0x1405f,56,40
U,0x416368,0x416468,0x13ed5,32,11
U,0x416388,0x416488,0x13ed5,32,12
U,0x4163a8,0x4164a8,0x1405f,56,40
U,0x4163e0,0x4164e0,0x13ed5,32,13
U,0x416400,0x416500,0x13ed5,56,33
U,0x416438,0x416538,0x1405f,56,40
U,0x416470,0x416570,0x13ed5,32,11
U,0x416490,0x416590,0x13ed5,24,8
U,0x4164a8,0x4165a8,0x1405f,56,40
U,0x4164e0,0x4165e0,0x13ed5,24,7
U,0x4164f8,0x4165f8,0x1405f,56,40
U,0x416530,0x416630,0x13ed5,32,12
U,0x416550,0x416650,0x1405f,56,40
U,0x416588,0x416688,0x13ed5,24,7
U,0x4165a0,0x4166a0,0x1405f,56,40
U,0x4165d8,0x4166d8,0x13ed5,24,4
U,0x4165f0,0x4166f0,0x1405f,56,40
U,0x416628,0x416728,0x13ed5,24,2
U,0x416640,0x416740,0x13ed5,40,19
U,0x416668,0x416768,0x1405f,56,40
U,0x4166a0,0x4167a0,0x13ed5,24,2
U,0x4166b8,0x4167b8,0x13ed5,32,12
U,0x4166d8,0x4167d8,0x1405f,56,40
U,0x416710,0x416810,0x13ed5,24,4
U,0x416728,0x416828,0x1405f,56,40
U,0x416760,0x416860,0x13ed5,24,2
U,0x416778,0x416878,0x13ed5,40,19
U,0x4167a0,0x4168a0,0x1405f,56,40
U,0x4167d8,0x4168d8,0x13ed5,24,2
U,0x4167f0,0x4168f0,0x13ed5,32,12
U,0x416810,0x416910,0x1405f,56,40
U,0x416848,0x416948,0x13ed5,24,4
U,0x416860,0x416960,0x1405f,56,40
U,0x416898,0x416998,0x13ed5,24,2
U,0x4168b0,0x4169b0,0x1405f,56,40
U,0x4168e8,0x4169e8,0x13ed5,24,8
U,0x416900,0x416a00,0x1405f,56,40
U,0x416938,0x416a38,0x13ed5,32,11
U,0x416958,0x416a58,0x13ed5,32,12
U,0x416978,0x416a78,0x1405f,56,40
U,0x4169b0,0x416ab0,0x13ed5,32,13
U,0x4169d0,0x416ad0,0x13ed5,56,33
U,0x416a08,0x416b08,0x1405f,56,40
U,0x416a40,0x416b40,0x13ed5,32,11
U,0x416a60,0x416b60,0x13ed5,24,8
U,0x416a78,0x416b78,0x1405f,56,40
U,0x416ab0,0x416bb0,0x13ed5,24,7
U,0x416ac8,0x416bc8,0x1405f,56,40
U,0x416b00,0x416c00,0x13ed5,32,12
U,0x416b20,0x416c20,0x1405f,56,40
U,0x416b58,0x416c58,0x13ed5,24,7
U,0x416b70,0x416c70,0x1405f,56,40
U,0x416ba8,0x416ca8,0x13ed5,24,4
U,0x416bc0,0x416cc0,0x1405f,56,40
U,0x416bf8,0x416cf8,0x13ed5,24,2
U,0x416c10,0x416d10,0x13ed5,40,19
U,0x416c38,0x416d38,0x1405f,56,40
U,0x416c70,0x416d70,0x13ed5,24,2
U,0x416c88,0x416d88,0x13ed5,40,20
U,0x416cb0,0x416db0,0x1405f,56,40
U,0x416ce8,0x416de8,0x13ed5,24,4
U,0x416d00,0x416e00,0x1405f,56,40
U,0x416d38,0x416e38,0x13ed5,24,2
U,0x416d50,0x416e50,0x13ed5,40,19
U,0x416d78,0x416e78,0x1405f,56,40
U,0x416db0,0x416eb0,0x13ed5,24,2
U,0x416dc8,0x416ec8,0x13ed5,40,20
U,0x416df0,0x416ef0,0x1405f,56,40
U,0x416e28,0x416f28,0x13ed5,24,4
U,0x416e40,0x416f40,0x1405f,56,40
U,0x416e78,0x416f78,0x13ed5,24,2
U,0x416e90,0x416f90,0x1405f,56,40
U,0x416ec8,0x416fc8,0x13ed5,24,8
U,0x416ee0,0x416fe0,0x1405f,56,40
U,0x416f18,0x417018,0x13ed5,32,11
U,0x416f38,0x417038,0x13ed5,32,12
U,0x416f58,0x417058,0x1405f,56,40
U,0x416f90,0x417090,0x13ed5,32,13
U,0x416fb0,0x4170b0,0x13ed5,56,33
U,0x416fe8,0x4170e8,0x1405f,56,40
U,0x417020,0x417120,0x13ed5,32,11
U,0x417040,0x417140,0x13ed5,32,13
U,0x417060,0x417160,0x1405f,56,40
U,0x417098,0x417198,0x13ed5,24,7
U,0x4170b0,0x4171b0,0x1405f,56,40
U,0x4170e8,0x4171e8,0x13ed5,32,12
U,0x417108,0x417208,0x1405f,56,40
U,0x417140,0x417240,0x13ed5,24,7
U,0x417158,0x417258,0x1405f,56,40
U,0x417190,0x417290,0x13ed5,24,4
U,0x4171a8,0x4172a8,0x1405f,56,40
U,0x4171e0,0x4172e0,0x13ed5,24,2
U,0x4171f8,0x4172f8,0x13ed5,40,21
U,0x417220,0x417320,0x1405f,56,40
U,0x417258,0x417358,0x13ed5,24,2
U,0x417270,0x417370,0x13ed5,40,22
U,0x417298,0x417398,0x1405f,56,40
U,0x4172d0,0x4173d0,0x13ed5,24,4
U,0x4172e8,0x4173e8,0x1405f,56,40
U,0x417320,0x417420,0x13ed5,24,2
U,0x417338,0x417438,0x13ed5,40,21
U,0x417360,0x417460,0x1405f,56,40
U,0x417398,0x417498,0x13ed5,24,2
U,0x4173b0,0x4174b0,0x13ed5,40,22
U,0x4173d8,0x4174d8,0x1405f,56,40
U,0x417410,0x417510,0x13ed5,24,4
U,0x417428,0x417528,0x1405f,56,40
U,0x417460,0x417560,0x13ed5,24,2
U,0x417478,0x417578,0x1405f,56,40
U,0x4174b0,0x4175b0,0x13ed5,24,8
U,0x4174c8,0x4175c8,0x1405f,56,40
U,0x417500,0x417600,0x13ed5,32,11
U,0x417520,0x417620,0x13ed5,32,12
U,0x417540,0x417640,0x1405f,56,40
U,0x417578,0x417678,0x13ed5,32,13
U,0x417598,0x417698,0x13ed5,56,33
U,0x4175d0,0x4176d0,0x1405f,56,40
U,0x417608,0x417708,0x13ed5,32,11
U,0x417628,0x417728,0x13ed5,32,13
U,0x417648,0x417748,0x1405f,56,40
U,0x417680,0x417780,0x13ed5,24,7
U,0x417698,0x417798,0x1405f,56,40
U,0x4176d0,0x4177d0,0x13ed5,32,12
U,0x4176f0,0x4177f0,0x1405f,56,40
U,0x417728,0x417828,0x13ed5,24,7
U,0x417740,0x417840,0x1405f,56,40
U,0x417778,0x417878,0x13ed5,24,4
U,0x417790,0x417890,0x1405f,56,40
U,0x4177c8,0x4178c8,0x13ed5,24,2
U,0x4177e0,0x4178e0,0x13ed5,40,21
U,0x417808,0x417908,0x1405f,56,40
U,0x417840,0x417940,0x13ed5,24,2
U,0x417858,0x417958,0x13ed5,40,22
U,0x417880,0x417980,0x1405f,56,40
U,0x4178b8,0x4179b8,0x13ed5,24,4
U,0x4178d0,0x4179d0,0x1405f,56,40
U,0x417908,0x417a08,0x13ed5,24,2
U,0x417920,0x417a20,0x13ed5,40,21
U,0x417948,0x417a48,0x1405f,56,40
U,0x417980,0x417a80,0x13ed5,24,2
U,0x417998,0x417a98,0x13ed5,40,22
U,0x4179c0,0x417ac0,0x1405f,56,40
U,0x4179f8,0x417af8,0x13ed5,24,4
U,0x417a10,0x417b10,0x1405f,56,40
U,0x417a48,0x417b48,0x13ed5,24,8
U,0x417a60,0x417b60,0x1405f,56,40
U,0x417a98,0x417b98,0x1405f,56,40
U,0x417ad0,0x417bd0,0x13ed5,24,8
U,0x417ae8,0x417be8,0x1405f,56,40
U,0x417b20,0x417c20,0x13ed5,32,9
U,0x417b40,0x417c40,0x1405f,56,40
U,0x417b78,0x417c78,0x13ed5,32,9
U,0x417b98,0x417c98,0x1405f,56,40
U,0x417bd0,0x417cd0,0x13ed5,24,6
U,0x417be8,0x417ce8,0x1405f,56,40
U,0x417c20,0x417d20,0x1405f,56,40
U,0x417c58,0x417d58,0x13ed5,24,8
U,0x417c70,0x417d70,0x1405f,56,40
U,0x417ca8,0x417da8,0x13ed5,32,9
U,0x417cc8,0x417dc8,0x1405f,56,40
U,0x417d00,0x417e00,0x13ed5,32,9
U,0x417d20,0x417e20,0x1405f,56,40
U,0x417d58,0x417e58,0x13ed5,24,6
U,0x417d70,0x417e70,0x1405f,56,40
U,0x417da8,0x417ea8,0x1405f,56,40
U,0x417de0,0x417ee0,0x13ed5,24,8
U,0x417df8,0x417ef8,0x1405f,56,40
U,0x417e30,0x417f30,0x13ed5,32,9
U,0x417e50,0x417f50,0x1405f,56,40
U,0x417e88,0x417f88,0x13ed5,32,9
U,0x417ea8,0x417fa8,0x1405f,56,40
U,0x417ee0,0x417fe0,0x13ed5,24,6
U,0x417ef8,0x417ff8,0x1405f,56,40
U,0x417f30,0x418030,0x1405f,56,40
U,0x417f68,0x418068,0x13ed5,24,8
U,0x417f80,0x418080,0x1405f,56,40
U,0x417fb8,0x4180b8,0x13ed5,32,9
U,0x417fd8,0x4180d8,0x1405f,56,40
U,0x418010,0x418110,0x13ed5,32,9
U,0x418030,0x418130,0x1405f,56,40
U,0x418068,0x418168,0x13ed5,24,6
U,0x418080,0x418180,0x1405f,56,40
U,0x4180b8,0x4181b8,0x1405f,56,40
U,0x4180f0,0x4181f0,0x13ed5,24,8
U,0x418108,0x418208,0x1405f,56,40
U,0x418140,0x418240,0x13ed5,32,9
U,0x418160,0x418260,0x1405f,56,40
U,0x418198,0x418298,0x13ed5,32,9
F,0x4181b8,0x4182b8,0x9594d,80,63
U,0x418208,0x418308,0x1405f,56,40
U,0x418240,0x418340,0x13ed5,32,10
U,0x418260,0x418360,0x1405f,56,40
U,0x418298,0x418398,0x13ed5,24,2
U,0x4182b0,0x4183b0,0x1405f,56,40
U,0x4182e8,0x4183e8,0x13ed5,32,9
U,0x418308,0x418408,0x1405f,56,40
U,0x418340,0x418440,0x13ed5,24,5
U,0x418358,0x418458,0x1405f,56,40
U,0x418390,0x418490,0x13ed5,24,8
U,0x4183a8,0x4184a8,0x1405f,56,40
U,0x4183e0,0x4184e0,0x13ed5,24,5
U,0x4183f8,0x4184f8,0x1405f,56,40
U,0x418430,0x418530,0x13ed5,24,5
U,0x418448,0x418548,0x13ed5,24,1
U,0x418460,0x418560,0x1405f,56,40
U,0x418498,0x418598,0x13ed5,24,7
U,0x4184b0,0x4185b0,0x1405f,56,40
U,0x4184e8,0x4185e8,0x13ed5,24,2
U,0x418500,0x418600,0x1405f,56,40
U,0x418538,0x418638,0x13ed5,32,9
U,0x418558,0x418658,0x1405f,56,40
U,0x418590,0x418690,0x13ed5,24,5
U,0x4185a8,0x4186a8,0x1405f,56,40
U,0x4185e0,0x4186e0,0x13ed5,24,8
U,0x4185f8,0x4186f8,0x1405f,56,40
U,0x418630,0x418730,0x13ed5,24,5
U,0x418648,0x418748,0x1405f,56,40
U,0x418680,0x418780,0x13ed5,24,5
U,0x418698,0x418798,0x13ed5,24,1
U,0x4186b0,0x4187b0,0x1405f,56,40
U,0x4186e8,0x4187e8,0x13ed5,24,7
U,0x418700,0x418800,0x1405f,56,40
U,0x418738,0x418838,0x13ed5,24,2
U,0x418750,0x418850,0x1405f,56,40
U,0x418788,0x418888,0x13ed5,32,9
U,0x4187a8,0x4188a8,0x1405f,56,40
U,0x4187e0,0x4188e0,0x13ed5,24,5
U,0x4187f8,0x4188f8,0x1405f,56,40
U,0x418830,0x418930,0x13ed5,24,8
U,0x418848,0x418948,0x1405f,56,40
U,0x418880,0x418980,0x13ed5,24,5
U,0x418898,0x418998,0x1405f,56,40
U,0x4188d0,0x4189d0,0x13ed5,24,5
U,0x4188e8,0x4189e8,0x13ed5,24,1
U,0x418900,0x418a00,0x1405f,56,40
U,0x418938,0x418a38,0x13ed5,24,7
U,0x418950,0x418a50,0x3dc13,2720,2704
U,0x4193f0,0x4194f0,0x803f4,3088,3072
U,0x41a000,0x41a100,0x803f4,3088,3072
U,0x41ac10,0x41ad10,0x80808,896,880
U,0x41af90,0x41b090,0x803f4,1040,1024
U,0x41b3a0,0x41b4a0,0x803f4,12304,12288
U,0x41e3b0,0x41e4b0,0x803f4,112,92
U,0x41e420,0x41e520,0x80808,1296,1280
U,0x41e930,0x41ea30,0x803f4,5136,5120
U,0x41fd40,0x41fe40,0x803f4,112,92
U,0x41fdb0,0x41feb0,0x803f4,4112,4096
U,0x420dc0,0x420ec0,0x803f4,112,92
F,0x420e30,0x420f30,0x956db,64,36
U,0x420e70,0x420f70,0x42d97,40,20
U,0x420e98,0x420f98,0x7eab8,96,80
U,0x420ef8,0x420ff8,0x42d97,40,20
U,0x420f20,0x421020,0x7eab8,96,80
U,0x420f80,0x421080,0x42d97,40,20
U,0x420fa8,0x4210a8,0x7eab8,96,80
U,0x421008,0x421108,0x42d97,40,20
U,0x421030,0x421130,0x7eab8,96,80
U,0x421090,0x421190,0x42d97,40,20
U,0x4210b8,0x4211b8,0x7eab8,96,80
U,0x421118,0x421218,0x42d97,40,20
U,0x421140,0x421240,0x7eab8,96,80
U,0x4211a0,0x4212a0,0x7eab8,96,80
U,0x421200,0x421300,0x80c7c,64,44
U,0x421240,0x421340,0x7e8ac,96,80
U,0x4212a0,0x4213a0,0x7eab8,96,80
U,0x421300,0x421400,0x7e8ac,96,80
U,0x421360,0x421460,0x7e8ac,96,80
U,0x4213c0,0x4214c0,0x7e8ac,96,80
U,0x421420,0x421520,0x803f4,1040,1024
U,0x421830,0x421930,0x803f4,112,92
U,0x4218a0,0x4219a0,0x803f4,1040,1024
U,0x421cb0,0x421db0,0x803f4,112,92
U,0x421d20,0x421e20,0x7e8ac,96,80
U,0x421d80,0x421e80,0x7eab8,96,80
U,0x421de0,0x421ee0,0x961bb,24,4
U,0x421df8,0x421ef8,0x97b51,376,360
U,0x421f70,0x422070,0x6e705,32,11
U,0x421f90,0x422090,0x9642b,328,312
U,0x4220d8,0x4221d8,0x96435,472,456
U,0x4222b0,0x4223b0,0x96455,24,4
U,0x4222c8,0x4223c8,0x6e705,32,9
U,0x4222e8,0x4223e8,0x97b9d,24,4
U,0x422300,0x422400,0x97aa1,288,268
U,0x422420,0x422520,0x97e8b,24,4
U,0x422438,0x422538,0xa4c29,24,4
U,0x422450,0x422550,0x9ec37,88,72
U,0x4224a8,0x4225a8,0x95a9f,48,28
U,0x4224d8,0x4225d8,0x95a9f,48,28
U,0x422508,0x422608,0x9ef85,56,40
U,0x422540,0x422640,0x95a9f,48,28
F,0x422570,0x422670,0x95943,32,16
U,0x422590,0x422690,0xaf3ed,48,12
U,0x4225c0,0x4226c0,0x9d865,72,56
U,0x422608,0x422708,0x9d88b,1472,1456
U,0x422bc8,0x422cc8,0x9d893,64,48
U,0x422c08,0x422d08,0x986b3,40,20
U,0x422c30,0x422d30,0x986e7,112,96
U,0x422ca0,0x422da0,0x96559,104,88
U,0x422d08,0x422e08,0xb1e05,360,342
U,0x422e70,0x422f70,0x83c1b,48,26
F,0x422ea0,0x422fa0,0x9594d,216,130
U,0x422f78,0x423078,0x140f3,40,6
U,0x422fa0,0x4230a0,0x9fe83,96,80
F,0x423000,0x423100,0x8c255,176,130
U,0x4230b0,0x4231b0,0x83c1b,24,1
U,0x4230c8,0x4231c8,0x83c1b,40,20
F,0x4230f0,0x4231f0,0x812b7,40,20
U,0x423118,0x423218,0xb25ff,496,476
U,0x423308,0x423408,0x9e865,88,72
U,0x423360,0x423460,0x95a9f,48,28
U,0x423390,0x423490,0x95a9f,48,28
U,0x4233c0,0x4234c0,0xa4883,56,40
U,0x4233f8,0x4234f8,0xa350b,112,96
U,0x423468,0x423568,0xb0193,1048,1028
U,0x423880,0x423980,0xaf9f7,40,20
U,0x4238a8,0x4239a8,0x9d865,72,56
U,0x4238f0,0x4239f0,0x9d88b,1472,1456
U,0x423eb0,0x423fb0,0x9d893,64,48
U,0x423ef0,0x423ff0,0x9ef85,56,40
U,0x423f28,0x424028,0x95a9f,48,28
U,0x423f58,0x424058,0x9fa4f,64,48
U,0x423f98,0x424098,0x9f79d,32,9
U,0x423fb8,0x4240b8,0x6e705,32,9
U,0x423fd8,0x4240d8,0xb1fa5,144,128
F,0x424068,0x424168,0x9e9a1,3200,512
U,0x424ce8,0x424de8,0x803f4,2064,2048
U,0x4254f8,0x4255f8,0x803f4,112,92
F,0x425568,0x425668,0x95b35,32,16
U,0x425588,0x425688,0x803f4,2064,2048
U,0x425d98,0x425e98,0x803f4,112,92
F,0x425e08,0x425f08,0x14d11,41448,1932

打开 mqtt，然后再关闭 mqtt 之后的 heap info:

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472


address: 0x40aae8
size: 152856
avail: 43120
pool_start: 0x40aae8
pool_end: 0x42fff0
state,block_addr,user_addr,caller,blocksize,wanted_size
U,0x40aae8,0x40abe8,0x1b695,4112,4096
U,0x40baf8,0x40bbf8,0x1b6b5,40,20
U,0x40bb20,0x40bc20,0x1b695,528,512
U,0x40bd30,0x40be30,0x1b6b5,40,20
U,0x40bd58,0x40be58,0x1b695,4112,4096
U,0x40cd68,0x40ce68,0x1b6b5,40,20
U,0x40cd90,0x40ce90,0x1b695,528,512
U,0x40cfa0,0x40d0a0,0x1b6b5,40,20
U,0x40cfc8,0x40d0c8,0x7eab8,96,80
U,0x40d028,0x40d128,0x7e8ac,96,80
U,0x40d088,0x40d188,0x28319,112,92
U,0x40d0f8,0x40d1f8,0x28441,96,80
U,0x40d158,0x40d258,0x7eab8,96,80
U,0x40d1b8,0x40d2b8,0x7eab8,96,80
U,0x40d218,0x40d318,0x28319,112,92
U,0x40d288,0x40d388,0x28441,96,80
U,0x40d2e8,0x40d3e8,0x7eab8,96,80
U,0x40d348,0x40d448,0x7eab8,96,80
U,0x40d3a8,0x40d4a8,0x28319,112,92
U,0x40d418,0x40d518,0x28441,96,80
U,0x40d478,0x40d578,0x7eab8,96,80
U,0x40d4d8,0x40d5d8,0x7eab8,96,80
U,0x40d538,0x40d638,0x803f4,112,92
U,0x40d5a8,0x40d6a8,0xa4be5,56,36
U,0x40d5e0,0x40d6e0,0x9fb53,48,28
U,0x40d610,0x40d710,0xb22f3,760,744
U,0x40d908,0x40da08,0x7f51c,1040,1024
U,0x40dd18,0x40de18,0x7f51c,112,92
U,0x40dd88,0x40de88,0x7fe1c,288,272
U,0x40dea8,0x40dfa8,0x7fefc,3088,3072
U,0x40eab8,0x40ebb8,0x7fefc,112,92
U,0x40eb28,0x40ec28,0x15769,32,16
U,0x40eb48,0x40ec48,0x15789,128,108
U,0x40ebc8,0x40ecc8,0x157a9,136,114
U,0x40ec50,0x40ed50,0x80808,120,100
U,0x40ecc8,0x40edc8,0x803f4,1040,1024
U,0x40f0d8,0x40f1d8,0x803f4,112,92
U,0x40f148,0x40f248,0x7e8ac,96,80
U,0x40f1a8,0x40f2a8,0x803f4,4112,4096
U,0x4101b8,0x4102b8,0x803f4,112,92
U,0x410228,0x410328,0x28441,96,80
U,0x410288,0x410388,0x1405f,64,40
U,0x4102c8,0x4103c8,0xa01ef,40,22
U,0x4102f0,0x4103f0,0x80c7c,72,44
U,0x410338,0x410438,0x83c1b,24,8
U,0x410350,0x410450,0x83c1b,40,4
U,0x410378,0x410478,0xa1b0d,64,32
U,0x4103b8,0x4104b8,0x34f21,1040,1024
U,0x4107c8,0x4108c8,0x9f79d,40,9
U,0x4107f0,0x4108f0,0x9a079,192,172
U,0x4108b0,0x4109b0,0x9bf95,40,22
U,0x4108d8,0x4109d8,0x99f8f,224,208
U,0x4109b8,0x410ab8,0x9c46f,64,48
U,0x4109f8,0x410af8,0x9dfef,40,22
U,0x410a20,0x410b20,0x6e705,32,9
U,0x410a40,0x410b40,0xa01ef,56,22
U,0x410a78,0x410b78,0x7eab8,96,80
U,0x410ad8,0x410bd8,0x7eab8,96,80
U,0x410b38,0x410c38,0x28319,224,208
U,0x410c18,0x410d18,0x7eab8,96,80
U,0x410c78,0x410d78,0x285a9,2064,2048
U,0x411488,0x411588,0x285a9,112,92
U,0x4114f8,0x4115f8,0x80808,1120,1104
U,0x411958,0x411a58,0x803f4,4112,4096
U,0x412968,0x412a68,0x803f4,112,92
U,0x4129d8,0x412ad8,0x9d659,72,52
U,0x412a20,0x412b20,0x7e8ac,96,80
U,0x412a80,0x412b80,0x80808,1632,1616
U,0x4130e0,0x4131e0,0x803f4,2064,2048
U,0x4138f0,0x4139f0,0x803f4,112,92
U,0x413960,0x413a60,0x80808,256,240
U,0x413a60,0x413b60,0x803f4,1168,1152
U,0x413ef0,0x413ff0,0xa46c5,952,936
U,0x4142a8,0x4143a8,0xb1ff7,56,4
U,0x4142e0,0x4143e0,0x80808,176,160
U,0x414390,0x414490,0x803f4,4112,4096
U,0x4153a0,0x4154a0,0x803f4,112,92
U,0x415410,0x415510,0x7e8ac,96,80
U,0x415470,0x415570,0x803f4,112,92
U,0x4154e0,0x4155e0,0x80808,1296,1280
U,0x4159f0,0x415af0,0x803f4,112,92
U,0x415a60,0x415b60,0x7eab8,96,80
U,0x415ac0,0x415bc0,0x7e8ac,96,80
U,0x415b20,0x415c20,0x803f4,136,92
U,0x415ba8,0x415ca8,0x1405f,56,40
U,0x415be0,0x415ce0,0x1405f,56,40
U,0x415c18,0x415d18,0x13ed5,24,5
U,0x415c30,0x415d30,0x1405f,56,40
U,0x415c68,0x415d68,0x13ed5,24,8
U,0x415c80,0x415d80,0x1405f,56,40
U,0x415cb8,0x415db8,0x13ed5,24,7
U,0x415cd0,0x415dd0,0x1405f,56,40
U,0x415d08,0x415e08,0x13ed5,24,2
U,0x415d20,0x415e20,0x1405f,56,40
U,0x415d58,0x415e58,0x13ed5,24,7
U,0x415d70,0x415e70,0x1405f,56,40
U,0x415da8,0x415ea8,0x13ed5,32,12
U,0x415dc8,0x415ec8,0x1405f,56,40
U,0x415e00,0x415f00,0x13ed5,24,8
U,0x415e18,0x415f18,0x1405f,56,40
U,0x415e50,0x415f50,0x13ed5,32,11
U,0x415e70,0x415f70,0x13ed5,32,12
U,0x415e90,0x415f90,0x1405f,56,40
U,0x415ec8,0x415fc8,0x13ed5,32,13
U,0x415ee8,0x415fe8,0x13ed5,56,33
U,0x415f20,0x416020,0x1405f,56,40
U,0x415f58,0x416058,0x13ed5,32,11
U,0x415f78,0x416078,0x13ed5,24,8
U,0x415f90,0x416090,0x1405f,56,40
U,0x415fc8,0x4160c8,0x13ed5,24,7
U,0x415fe0,0x4160e0,0x1405f,56,40
U,0x416018,0x416118,0x13ed5,24,4
U,0x416030,0x416130,0x1405f,56,40
U,0x416068,0x416168,0x13ed5,24,2
U,0x416080,0x416180,0x13ed5,32,12
U,0x4160a0,0x4161a0,0x1405f,56,40
U,0x4160d8,0x4161d8,0x13ed5,24,2
U,0x4160f0,0x4161f0,0x13ed5,32,13
U,0x416110,0x416210,0x1405f,56,40
U,0x416148,0x416248,0x13ed5,24,4
U,0x416160,0x416260,0x1405f,56,40
U,0x416198,0x416298,0x13ed5,24,2
U,0x4161b0,0x4162b0,0x13ed5,32,12
U,0x4161d0,0x4162d0,0x1405f,56,40
U,0x416208,0x416308,0x13ed5,24,2
U,0x416220,0x416320,0x13ed5,32,13
U,0x416240,0x416340,0x1405f,56,40
U,0x416278,0x416378,0x13ed5,24,4
U,0x416290,0x416390,0x1405f,56,40
U,0x4162c8,0x4163c8,0x13ed5,24,2
U,0x4162e0,0x4163e0,0x1405f,56,40
U,0x416318,0x416418,0x13ed5,24,8
U,0x416330,0x416430,0x1405f,56,40
U,0x416368,0x416468,0x13ed5,32,11
U,0x416388,0x416488,0x13ed5,32,12
U,0x4163a8,0x4164a8,0x1405f,56,40
U,0x4163e0,0x4164e0,0x13ed5,32,13
U,0x416400,0x416500,0x13ed5,56,33
U,0x416438,0x416538,0x1405f,56,40
U,0x416470,0x416570,0x13ed5,32,11
U,0x416490,0x416590,0x13ed5,24,8
U,0x4164a8,0x4165a8,0x1405f,56,40
U,0x4164e0,0x4165e0,0x13ed5,24,7
U,0x4164f8,0x4165f8,0x1405f,56,40
U,0x416530,0x416630,0x13ed5,32,12
U,0x416550,0x416650,0x1405f,56,40
U,0x416588,0x416688,0x13ed5,24,7
U,0x4165a0,0x4166a0,0x1405f,56,40
U,0x4165d8,0x4166d8,0x13ed5,24,4
U,0x4165f0,0x4166f0,0x1405f,56,40
U,0x416628,0x416728,0x13ed5,24,2
U,0x416640,0x416740,0x13ed5,40,19
U,0x416668,0x416768,0x1405f,56,40
U,0x4166a0,0x4167a0,0x13ed5,24,2
U,0x4166b8,0x4167b8,0x13ed5,32,12
U,0x4166d8,0x4167d8,0x1405f,56,40
U,0x416710,0x416810,0x13ed5,24,4
U,0x416728,0x416828,0x1405f,56,40
U,0x416760,0x416860,0x13ed5,24,2
U,0x416778,0x416878,0x13ed5,40,19
U,0x4167a0,0x4168a0,0x1405f,56,40
U,0x4167d8,0x4168d8,0x13ed5,24,2
U,0x4167f0,0x4168f0,0x13ed5,32,12
U,0x416810,0x416910,0x1405f,56,40
U,0x416848,0x416948,0x13ed5,24,4
U,0x416860,0x416960,0x1405f,56,40
U,0x416898,0x416998,0x13ed5,24,2
U,0x4168b0,0x4169b0,0x1405f,56,40
U,0x4168e8,0x4169e8,0x13ed5,24,8
U,0x416900,0x416a00,0x1405f,56,40
U,0x416938,0x416a38,0x13ed5,32,11
U,0x416958,0x416a58,0x13ed5,32,12
U,0x416978,0x416a78,0x1405f,56,40
U,0x4169b0,0x416ab0,0x13ed5,32,13
U,0x4169d0,0x416ad0,0x13ed5,56,33
U,0x416a08,0x416b08,0x1405f,56,40
U,0x416a40,0x416b40,0x13ed5,32,11
U,0x416a60,0x416b60,0x13ed5,24,8
U,0x416a78,0x416b78,0x1405f,56,40
U,0x416ab0,0x416bb0,0x13ed5,24,7
U,0x416ac8,0x416bc8,0x1405f,56,40
U,0x416b00,0x416c00,0x13ed5,32,12
U,0x416b20,0x416c20,0x1405f,56,40
U,0x416b58,0x416c58,0x13ed5,24,7
U,0x416b70,0x416c70,0x1405f,56,40
U,0x416ba8,0x416ca8,0x13ed5,24,4
U,0x416bc0,0x416cc0,0x1405f,56,40
U,0x416bf8,0x416cf8,0x13ed5,24,2
U,0x416c10,0x416d10,0x13ed5,40,19
U,0x416c38,0x416d38,0x1405f,56,40
U,0x416c70,0x416d70,0x13ed5,24,2
U,0x416c88,0x416d88,0x13ed5,40,20
U,0x416cb0,0x416db0,0x1405f,56,40
U,0x416ce8,0x416de8,0x13ed5,24,4
U,0x416d00,0x416e00,0x1405f,56,40
U,0x416d38,0x416e38,0x13ed5,24,2
U,0x416d50,0x416e50,0x13ed5,40,19
U,0x416d78,0x416e78,0x1405f,56,40
U,0x416db0,0x416eb0,0x13ed5,24,2
U,0x416dc8,0x416ec8,0x13ed5,40,20
U,0x416df0,0x416ef0,0x1405f,56,40
U,0x416e28,0x416f28,0x13ed5,24,4
U,0x416e40,0x416f40,0x1405f,56,40
U,0x416e78,0x416f78,0x13ed5,24,2
U,0x416e90,0x416f90,0x1405f,56,40
U,0x416ec8,0x416fc8,0x13ed5,24,8
U,0x416ee0,0x416fe0,0x1405f,56,40
U,0x416f18,0x417018,0x13ed5,32,11
U,0x416f38,0x417038,0x13ed5,32,12
U,0x416f58,0x417058,0x1405f,56,40
U,0x416f90,0x417090,0x13ed5,32,13
U,0x416fb0,0x4170b0,0x13ed5,56,33
U,0x416fe8,0x4170e8,0x1405f,56,40
U,0x417020,0x417120,0x13ed5,32,11
U,0x417040,0x417140,0x13ed5,32,13
U,0x417060,0x417160,0x1405f,56,40
U,0x417098,0x417198,0x13ed5,24,7
U,0x4170b0,0x4171b0,0x1405f,56,40
U,0x4170e8,0x4171e8,0x13ed5,32,12
U,0x417108,0x417208,0x1405f,56,40
U,0x417140,0x417240,0x13ed5,24,7
U,0x417158,0x417258,0x1405f,56,40
U,0x417190,0x417290,0x13ed5,24,4
U,0x4171a8,0x4172a8,0x1405f,56,40
U,0x4171e0,0x4172e0,0x13ed5,24,2
U,0x4171f8,0x4172f8,0x13ed5,40,21
U,0x417220,0x417320,0x1405f,56,40
U,0x417258,0x417358,0x13ed5,24,2
U,0x417270,0x417370,0x13ed5,40,22
U,0x417298,0x417398,0x1405f,56,40
U,0x4172d0,0x4173d0,0x13ed5,24,4
U,0x4172e8,0x4173e8,0x1405f,56,40
U,0x417320,0x417420,0x13ed5,24,2
U,0x417338,0x417438,0x13ed5,40,21
U,0x417360,0x417460,0x1405f,56,40
U,0x417398,0x417498,0x13ed5,24,2
U,0x4173b0,0x4174b0,0x13ed5,40,22
U,0x4173d8,0x4174d8,0x1405f,56,40
U,0x417410,0x417510,0x13ed5,24,4
U,0x417428,0x417528,0x1405f,56,40
U,0x417460,0x417560,0x13ed5,24,2
U,0x417478,0x417578,0x1405f,56,40
U,0x4174b0,0x4175b0,0x13ed5,24,8
U,0x4174c8,0x4175c8,0x1405f,56,40
U,0x417500,0x417600,0x13ed5,32,11
U,0x417520,0x417620,0x13ed5,32,12
U,0x417540,0x417640,0x1405f,56,40
U,0x417578,0x417678,0x13ed5,32,13
U,0x417598,0x417698,0x13ed5,56,33
U,0x4175d0,0x4176d0,0x1405f,56,40
U,0x417608,0x417708,0x13ed5,32,11
U,0x417628,0x417728,0x13ed5,32,13
U,0x417648,0x417748,0x1405f,56,40
U,0x417680,0x417780,0x13ed5,24,7
U,0x417698,0x417798,0x1405f,56,40
U,0x4176d0,0x4177d0,0x13ed5,32,12
U,0x4176f0,0x4177f0,0x1405f,56,40
U,0x417728,0x417828,0x13ed5,24,7
U,0x417740,0x417840,0x1405f,56,40
U,0x417778,0x417878,0x13ed5,24,4
U,0x417790,0x417890,0x1405f,56,40
U,0x4177c8,0x4178c8,0x13ed5,24,2
U,0x4177e0,0x4178e0,0x13ed5,40,21
U,0x417808,0x417908,0x1405f,56,40
U,0x417840,0x417940,0x13ed5,24,2
U,0x417858,0x417958,0x13ed5,40,22
U,0x417880,0x417980,0x1405f,56,40
U,0x4178b8,0x4179b8,0x13ed5,24,4
U,0x4178d0,0x4179d0,0x1405f,56,40
U,0x417908,0x417a08,0x13ed5,24,2
U,0x417920,0x417a20,0x13ed5,40,21
U,0x417948,0x417a48,0x1405f,56,40
U,0x417980,0x417a80,0x13ed5,24,2
U,0x417998,0x417a98,0x13ed5,40,22
U,0x4179c0,0x417ac0,0x1405f,56,40
U,0x4179f8,0x417af8,0x13ed5,24,4
U,0x417a10,0x417b10,0x1405f,56,40
U,0x417a48,0x417b48,0x13ed5,24,8
U,0x417a60,0x417b60,0x1405f,56,40
U,0x417a98,0x417b98,0x1405f,56,40
U,0x417ad0,0x417bd0,0x13ed5,24,8
U,0x417ae8,0x417be8,0x1405f,56,40
U,0x417b20,0x417c20,0x13ed5,32,9
U,0x417b40,0x417c40,0x1405f,56,40
U,0x417b78,0x417c78,0x13ed5,32,9
U,0x417b98,0x417c98,0x1405f,56,40
U,0x417bd0,0x417cd0,0x13ed5,24,6
U,0x417be8,0x417ce8,0x1405f,56,40
U,0x417c20,0x417d20,0x1405f,56,40
U,0x417c58,0x417d58,0x13ed5,24,8
U,0x417c70,0x417d70,0x1405f,56,40
U,0x417ca8,0x417da8,0x13ed5,32,9
U,0x417cc8,0x417dc8,0x1405f,56,40
U,0x417d00,0x417e00,0x13ed5,32,9
U,0x417d20,0x417e20,0x1405f,56,40
U,0x417d58,0x417e58,0x13ed5,24,6
U,0x417d70,0x417e70,0x1405f,56,40
U,0x417da8,0x417ea8,0x1405f,56,40
U,0x417de0,0x417ee0,0x13ed5,24,8
U,0x417df8,0x417ef8,0x1405f,56,40
U,0x417e30,0x417f30,0x13ed5,32,9
U,0x417e50,0x417f50,0x1405f,56,40
U,0x417e88,0x417f88,0x13ed5,32,9
U,0x417ea8,0x417fa8,0x1405f,56,40
U,0x417ee0,0x417fe0,0x13ed5,24,6
U,0x417ef8,0x417ff8,0x1405f,56,40
U,0x417f30,0x418030,0x1405f,56,40
U,0x417f68,0x418068,0x13ed5,24,8
U,0x417f80,0x418080,0x1405f,56,40
U,0x417fb8,0x4180b8,0x13ed5,32,9
U,0x417fd8,0x4180d8,0x1405f,56,40
U,0x418010,0x418110,0x13ed5,32,9
U,0x418030,0x418130,0x1405f,56,40
U,0x418068,0x418168,0x13ed5,24,6
U,0x418080,0x418180,0x1405f,56,40
U,0x4180b8,0x4181b8,0x1405f,56,40
U,0x4180f0,0x4181f0,0x13ed5,24,8
U,0x418108,0x418208,0x1405f,56,40
U,0x418140,0x418240,0x13ed5,32,9
U,0x418160,0x418260,0x1405f,56,40
U,0x418198,0x418298,0x13ed5,32,9
F,0x4181b8,0x4182b8,0x812b7,80,20
U,0x418208,0x418308,0x1405f,56,40
U,0x418240,0x418340,0x13ed5,32,10
U,0x418260,0x418360,0x1405f,56,40
U,0x418298,0x418398,0x13ed5,24,2
U,0x4182b0,0x4183b0,0x1405f,56,40
U,0x4182e8,0x4183e8,0x13ed5,32,9
U,0x418308,0x418408,0x1405f,56,40
U,0x418340,0x418440,0x13ed5,24,5
U,0x418358,0x418458,0x1405f,56,40
U,0x418390,0x418490,0x13ed5,24,8
U,0x4183a8,0x4184a8,0x1405f,56,40
U,0x4183e0,0x4184e0,0x13ed5,24,5
U,0x4183f8,0x4184f8,0x1405f,56,40
U,0x418430,0x418530,0x13ed5,24,5
U,0x418448,0x418548,0x13ed5,24,1
U,0x418460,0x418560,0x1405f,56,40
U,0x418498,0x418598,0x13ed5,24,7
U,0x4184b0,0x4185b0,0x1405f,56,40
U,0x4184e8,0x4185e8,0x13ed5,24,2
U,0x418500,0x418600,0x1405f,56,40
U,0x418538,0x418638,0x13ed5,32,9
U,0x418558,0x418658,0x1405f,56,40
U,0x418590,0x418690,0x13ed5,24,5
U,0x4185a8,0x4186a8,0x1405f,56,40
U,0x4185e0,0x4186e0,0x13ed5,24,8
U,0x4185f8,0x4186f8,0x1405f,56,40
U,0x418630,0x418730,0x13ed5,24,5
U,0x418648,0x418748,0x1405f,56,40
U,0x418680,0x418780,0x13ed5,24,5
U,0x418698,0x418798,0x13ed5,24,1
U,0x4186b0,0x4187b0,0x1405f,56,40
U,0x4186e8,0x4187e8,0x13ed5,24,7
U,0x418700,0x418800,0x1405f,56,40
U,0x418738,0x418838,0x13ed5,24,2
U,0x418750,0x418850,0x1405f,56,40
U,0x418788,0x418888,0x13ed5,32,9
U,0x4187a8,0x4188a8,0x1405f,56,40
U,0x4187e0,0x4188e0,0x13ed5,24,5
U,0x4187f8,0x4188f8,0x1405f,56,40
U,0x418830,0x418930,0x13ed5,24,8
U,0x418848,0x418948,0x1405f,56,40
U,0x418880,0x418980,0x13ed5,24,5
U,0x418898,0x418998,0x1405f,56,40
U,0x4188d0,0x4189d0,0x13ed5,24,5
U,0x4188e8,0x4189e8,0x13ed5,24,1
U,0x418900,0x418a00,0x1405f,56,40
U,0x418938,0x418a38,0x13ed5,24,7
U,0x418950,0x418a50,0x3dc13,2720,2704
U,0x4193f0,0x4194f0,0x803f4,3088,3072
U,0x41a000,0x41a100,0x803f4,3088,3072
U,0x41ac10,0x41ad10,0x80808,896,880
U,0x41af90,0x41b090,0x803f4,1040,1024
U,0x41b3a0,0x41b4a0,0x803f4,12304,12288
U,0x41e3b0,0x41e4b0,0x803f4,112,92
U,0x41e420,0x41e520,0x80808,1296,1280
U,0x41e930,0x41ea30,0x803f4,5136,5120
U,0x41fd40,0x41fe40,0x803f4,112,92
U,0x41fdb0,0x41feb0,0x803f4,4112,4096
U,0x420dc0,0x420ec0,0x803f4,112,92
F,0x420e30,0x420f30,0x956db,64,36
U,0x420e70,0x420f70,0x42d97,40,20
U,0x420e98,0x420f98,0x7eab8,96,80
U,0x420ef8,0x420ff8,0x42d97,40,20
U,0x420f20,0x421020,0x7eab8,96,80
U,0x420f80,0x421080,0x42d97,40,20
U,0x420fa8,0x4210a8,0x7eab8,96,80
U,0x421008,0x421108,0x42d97,40,20
U,0x421030,0x421130,0x7eab8,96,80
U,0x421090,0x421190,0x42d97,40,20
U,0x4210b8,0x4211b8,0x7eab8,96,80
U,0x421118,0x421218,0x42d97,40,20
U,0x421140,0x421240,0x7eab8,96,80
U,0x4211a0,0x4212a0,0x7eab8,96,80
U,0x421200,0x421300,0x80c7c,64,44
U,0x421240,0x421340,0x7e8ac,96,80
U,0x4212a0,0x4213a0,0x7eab8,96,80
U,0x421300,0x421400,0x7e8ac,96,80
U,0x421360,0x421460,0x7e8ac,96,80
U,0x4213c0,0x4214c0,0x7e8ac,96,80
U,0x421420,0x421520,0x803f4,1040,1024
U,0x421830,0x421930,0x803f4,112,92
U,0x4218a0,0x4219a0,0x803f4,1040,1024
U,0x421cb0,0x421db0,0x803f4,112,92
U,0x421d20,0x421e20,0x7e8ac,96,80
U,0x421d80,0x421e80,0x7eab8,96,80
U,0x421de0,0x421ee0,0x961bb,24,4
U,0x421df8,0x421ef8,0x97b51,376,360
U,0x421f70,0x422070,0x6e705,32,11
U,0x421f90,0x422090,0x9642b,328,312
U,0x4220d8,0x4221d8,0x96435,472,456
U,0x4222b0,0x4223b0,0x96455,24,4
U,0x4222c8,0x4223c8,0x6e705,32,9
U,0x4222e8,0x4223e8,0x97b9d,24,4
U,0x422300,0x422400,0x97aa1,288,268
U,0x422420,0x422520,0x97e8b,24,4
U,0x422438,0x422538,0xa4c29,24,4
U,0x422450,0x422550,0x9ec37,88,72
U,0x4224a8,0x4225a8,0x95a9f,48,28
U,0x4224d8,0x4225d8,0x95a9f,48,28
U,0x422508,0x422608,0x9ef85,56,40
U,0x422540,0x422640,0x95a9f,48,28
F,0x422570,0x422670,0x363c5,32,8
U,0x422590,0x422690,0xaf3ed,48,12
U,0x4225c0,0x4226c0,0x9d865,72,56
U,0x422608,0x422708,0x9d88b,1472,1456
U,0x422bc8,0x422cc8,0x9d893,64,48
U,0x422c08,0x422d08,0x986b3,40,20
U,0x422c30,0x422d30,0x986e7,112,96
U,0x422ca0,0x422da0,0x96559,104,88
U,0x422d08,0x422e08,0xb1e05,360,342
U,0x422e70,0x422f70,0x83c1b,48,26
F,0x422ea0,0x422fa0,0x9594d,256,88
U,0x422fa0,0x4230a0,0x9fe83,96,80
F,0x423000,0x423100,0x7e8ac,176,80
U,0x4230b0,0x4231b0,0x83c1b,24,1
U,0x4230c8,0x4231c8,0x83c1b,40,20
F,0x4230f0,0x4231f0,0x812b7,40,20
U,0x423118,0x423218,0xb25ff,496,476
U,0x423308,0x423408,0x9e865,88,72
U,0x423360,0x423460,0x95a9f,48,28
U,0x423390,0x423490,0x95a9f,48,28
U,0x4233c0,0x4234c0,0xa4883,56,40
U,0x4233f8,0x4234f8,0xa350b,112,96
U,0x423468,0x423568,0xb0193,1048,1028
U,0x423880,0x423980,0xaf9f7,40,20
U,0x4238a8,0x4239a8,0x9d865,72,56
U,0x4238f0,0x4239f0,0x9d88b,1472,1456
U,0x423eb0,0x423fb0,0x9d893,64,48
U,0x423ef0,0x423ff0,0x9ef85,56,40
U,0x423f28,0x424028,0x95a9f,48,28
U,0x423f58,0x424058,0x9fa4f,64,48
U,0x423f98,0x424098,0x9f79d,32,9
U,0x423fb8,0x4240b8,0x6e705,32,9
U,0x423fd8,0x4240d8,0xb1fa5,144,128
F,0x424068,0x424168,0x9e9a1,3200,512
U,0x424ce8,0x424de8,0x803f4,2064,2048
U,0x4254f8,0x4255f8,0x803f4,112,92
F,0x425568,0x425668,0x9e083,32,12
U,0x425588,0x425688,0x803f4,2064,2048
U,0x425d98,0x425e98,0x803f4,112,92
U,0x425e08,0x425f08,0x140f3,32,6
U,0x425e28,0x425f28,0x803f4,2064,2048
U,0x426638,0x426738,0x803f4,112,92
F,0x4266a8,0x4267a8,0x14d11,39240,1932

对比之下，比较明显地增加了几条新 heap 使用信息

1
2
3


U,0x425e08,0x425f08,0x140f3,32,6
U,0x425e28,0x425f28,0x803f4,2064,2048
U,0x426638,0x426738,0x803f4,112,92

再用 address2line 工具定位这几块内存是哪里申请的

1
2
3
4
5
6
7
8


toolchain/gcc-arm-none-eabi-5_4-2016q3/bin 
❯ ./arm-none-eabi-addr2line -e ~/FC41D/beken_freertos_sdk_release-SDK_3.0.21/out/beken7231_bsp.elf -f 0x140f3 0x803f4 0x803f4
cJSON_strdup
/home/x/FC41D/beken_freertos_sdk_release-SDK_3.0.21/demos/common/json/cJSON.c:67
rtos_create_thread
/home/x/FC41D/beken_freertos_sdk_release-SDK_3.0.21/beken378/os/FreeRTOSv9.0.0/rtos_pub.c:98
rtos_create_thread
/home/x/FC41D/beken_freertos_sdk_release-SDK_3.0.21/beken378/os/FreeRTOSv9.0.0/rtos_pub.c:98

/home/x/FC41D/beken_freertos_sdk_release-SDK_3.0.21/beken378/os/FreeRTOSv9.0.0/rtos_pub.c:98 对应的是创建线程的函数 rtos_create_thread

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33


int ali_iot_close(custom_func_ch_id_e func_id, void *hdl)
{
    ali_iot_mqtt_client_t *mqtt_client = hdl;

    if (mqtt_client == NULL)
    {
        return -1;
    }
    rtos_lock_mutex(&mqtt_client->lock);

    rtos_delete_thread(mqtt_client->task);
    MQTTDisconnect(&mqtt_client->client);
	NetworkDisconnect(&mqtt_client->network);
    mqtt_client->ev_cb(mqtt_client, QL_MQTT_CLOSE, (QL_MQTT_OK << 16)|QL_MQTT_CLOSE_BY_DISCONNECT, NULL, (void *)mqtt_client->func_id);
    if(mqtt_client->sign_mqtt)
    {
        free(mqtt_client->sign_mqtt);
    }
    if(mqtt_client->sub_topic[0])
    {
        free(mqtt_client->sub_topic[0]);
    }
    if(mqtt_client->sub_topic[1])
    {
        free(mqtt_client->sub_topic[1]);
    }
    rtos_unlock_mutex(&mqtt_client->lock);

    rtos_deinit_mutex(&mqtt_client->lock);
    free(mqtt_client);

    return 0;
}

分析代码之后，找到原因是关闭mqtt的时候，没有正确删除线程导致的内存泄漏。 rtos_delete_thread(mqtt_client->task); 传参不对，修改为 rtos_delete_thread(&mqtt_client->task);之后正常。

案例2

挂测日志，出现 malloc 失败，主动重启：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40


[2024-07-26 10:23:39]  malloc failed !!!!!!!!!
[2024-07-26 10:23:39]  
[2024-07-26 10:23:39]  address: 0x40aaa0
[2024-07-26 10:23:39]  size: 152928
[2024-07-26 10:23:39]  avail: 352
[2024-07-26 10:23:39]  pool_start: 0x40aaa0
[2024-07-26 10:23:39]  pool_end: 0x42fff0
[2024-07-26 10:23:39]  state,block_addr,user_addr,caller,blocksize,wanted_size
[2024-07-26 10:23:39]  U,0x40aaa0,0x40aab0,0x1b959,4120,4096
[2024-07-26 10:23:39]  U,0x40bab8,0x40bac8,0x1b979,40,20
[2024-07-26 10:23:39]  U,0x40bae0,0x40baf0,0x1b959,536,512
[2024-07-26 10:23:39]  U,0x40bcf8,0x40bd08,0x1b979,40,20
[2024-07-26 10:23:39]  U,0x40bd20,0x40bd30,0x1b959,4120,4096
[2024-07-26 10:23:39]  U,0x40cd38,0x40cd48,0x1b979,40,20
[2024-07-26 10:23:39]  U,0x40cd60,0x40cd70,0x1b959,536,512
[2024-07-26 10:23:39]  U,0x40cf78,0x40cf88,0x1b979,40,20
[2024-07-26 10:23:39]  U,0x40cfa0,0x40cfb0,0x7e750,104,80
[2024-07-26 10:23:39]  U,0x40d008,0x40d018,0x7e544,104,80

......

[2024-07-26 10:23:41]  U,0x42f368,0x42f378,0x7e750,104,80
[2024-07-26 10:23:41]  U,0x42f3d0,0x42f3e0,0x7e750,104,80
[2024-07-26 10:23:41]  U,0x42f438,0x42f448,0x7e750,104,80
[2024-07-26 10:23:41]  U,0x42f4a0,0x42f4b0,0x7e750,104,80
[2024-07-26 10:23:41]  U,0x42f508,0x42f518,0x7e750,104,80
[2024-07-26 10:23:41]  U,0x42f570,0x42f580,0x7e750,104,80
[2024-07-26 10:23:41]  U,0x42f5d8,0x42f5e8,0x7e750,104,80
[2024-07-26 10:23:41]  U,0x42f640,0x42f650,0x7e750,104,80
[2024-07-26 10:23:41]  U,0x42f6a8,0x42f6b8,0x7e750,104,80
[2024-07-26 10:23:41]  U,0x42f710,0x42f720,0x4ae8b,416,396
[2024-07-26 10:23:41]  U,0x42f8b0,0x42f8c0,0x7e750,104,80
[2024-07-26 10:23:41]  U,0x42f918,0x42f928,0x7e750,104,80
[2024-07-26 10:23:41]  U,0x42f980,0x42f990,0x28721,104,80
[2024-07-26 10:23:41]  F,0x42f9e8,0x42f9f8,0x95719,112,88
[2024-07-26 10:23:41]  U,0x42fa58,0x42fa68,0x9e76d,536,512
[2024-07-26 10:23:41]  U,0x42fc70,0x42fc80,0xacb8d,792,768
[2024-07-26 10:23:41]  F,0x42ff88,0x42ff98,(nil),104,0
[2024-07-26 10:23:41]  bk_reboot
[2024-07-26 10:23:41]  wdt reboot

写脚本，将 log 保存为 csv 文件，并把 caller 地址对应的函数名找出来

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82


from elftools.elf.elffile import ELFFile
import csv

def find_function_name(elf_file, address):
    symtab = elf_file.get_section_by_name('.symtab')
    if not symtab:
        print("No symbol table found in the ELF file.")
        return None
    
    for symbol in symtab.iter_symbols():
        start_addr = symbol.entry.st_value
        size = symbol.entry.st_size
        if start_addr <= address < start_addr + size:
            return symbol.name
    
    print(f"No function found at address 0x{address:x} in the ELF file.")
    return None

def find_function_address(elf_file, function_name):
    symtab = elf_file.get_section_by_name('.symtab')
    if not symtab:
        print("No symbol table found in the ELF file.")
        return None
    
    for symbol in symtab.iter_symbols():
        if symbol.name == function_name:
            return symbol.entry.st_value
    
    print(f"Function '{function_name}' not found in the ELF file.")
    return None


def read_csv(file_path):
    with open(file_path, mode='r', newline='', encoding='utf-8') as csv_file:
        csv_reader = csv.reader(csv_file)
        header = next(csv_reader)  # 读取表头
        data = [row for row in csv_reader]  # 读取数据
    return header, data

def write_csv(file_path, header, data):
    with open(file_path, mode='w', newline='', encoding='utf-8') as csv_file:
        csv_reader = csv.writer(csv_file)
        csv_reader.writerow(header)
        csv_reader.writerows(data)
        

f = open("malloc failed/beken7231_bsp.elf", "rb")
elffile = ELFFile(f)
header, data = read_csv("malloc failed/heap.csv")
f.close()

header.append("func_name")

for row in data:
    caller = row[3]
    try:
        # 尝试将十六进制字符串转换为整数
        caller = int(caller, 16)
        fn = find_function_name(elffile, caller)
    except ValueError:
        fn = None
    except TypeError:
        fn = None
    
    # print(caller)
    
    
    if fn is None:
        fn = ""
        # caller = hex(caller)
    row.append(fn)
    # print((caller, fn))

# 将使用中的内存过滤出来
data2 =[]
for i in data:
    if i[0] == "U":
        data2.append(i)
        


write_csv("malloc failed/heap_U.csv", header, data2)

处理之后的部分数据

state	block_addr	user_addr	caller	blocksize	wanted_size	func_name
U	0x40aaa0	0x40aab0	0x1b959	4120	4096	kfifo_alloc
U	0x40bab8	0x40bac8	0x1b979	40	20	kfifo_alloc
U	0x40bae0	0x40baf0	0x1b959	536	512	kfifo_alloc
U	0x40bcf8	0x40bd08	0x1b979	40	20	kfifo_alloc
U	0x40bd20	0x40bd30	0x1b959	4120	4096	kfifo_alloc
U	0x40cd38	0x40cd48	0x1b979	40	20	kfifo_alloc
U	0x40cd60	0x40cd70	0x1b959	536	512	kfifo_alloc
U	0x40cf78	0x40cf88	0x1b979	40	20	kfifo_alloc
U	0x40cfa0	0x40cfb0	0x7e750	104	80	xQueueCreateMutex
U	0x40d008	0x40d018	0x7e544	104	80	xQueueCreateCountingSemaphore
U	0x40d070	0x40d080	0x28721	104	80	sys_sem_new
U	0x40d0d8	0x40d0e8	0x140c3	64	40	cJSON_New_Item
U	0x40d118	0x40d128	0x839e7	56	8	mm_printf_beacon_ie
U	0x40d150	0x40d160	0x9f569	32	9	dup_binstr
U	0x40d170	0x40d180	0x9ffbb	40	22	os_memdup
U	0x40d198	0x40d1a8	0x7111d	40	9	os_strdup
U	0x40d1c0	0x40d1d0	0x839e7	64	26	mm_printf_beacon_ie
U	0x40d200	0x40d210	0x35871	1048	1024	dhcp_server_init
U	0x40d618	0x40d628	0x285f9	112	92	sys_mbox_new
U	0x40d688	0x40d698	0x99e45	192	172	wpa_init
U	0x40d748	0x40d758	0x9bd61	40	22	wpa_auth_gen_wpa_ie
U	0x40d770	0x40d780	0x99d5b	232	208	wpa_group_init
U	0x40d858	0x40d868	0x9c23b	72	48	pmksa_cache_auth_init
U	0x40d8a0	0x40d8b0	0x9ddbb	40	22	hostap_set_generic_elem
U	0x40d8c8	0x40d8d8	0x9ffbb	48	22	os_memdup

统计函数名字出现的频次，进行分组。

func_name	计数项:func_name
add_notifier	1
ali_iot_open	2
atsvr_msg_main	1
cfg_param_init	3
cJSON_New_Item	99
cJSON_strdup	120
cli_init	1
dhcp_server_init	1
dup_binstr	2
eloop_register_signal	1
eloop_register_sock	1
eloop_register_timeout	1
fsocket_init	6
fsocket_send	1
handle_probe_req	1
handle_read	1
hostap_get_hw_feature_data	6
hostap_init	1
hostap_send_mlme	1
hostap_set_generic_elem	1
hostapd_add_iface	1
hostapd_alloc_bss_data	1
hostapd_alloc_iface	1
hostapd_config_defaults	3
hostapd_init	1
hostapd_main_entry	1
hostapd_prepare_rates	2
hostapd_setup_wpa_psk	1
kfifo_alloc	8
l2_packet_init	2
mm_printf_beacon_ie	5
os_memdup	2
os_realloc_array	1
os_strdup	4
parse_string	10
pmksa_cache_auth_init	1
pmksa_cache_init	1
prvCheckForValidListAndQueue	1
ql_ssl_ctx_init	6
rtos_create_thread	28
rtos_init_queue	8
rtos_init_timer	2
supplicant_main_entry	1
sys_mbox_new	4
sys_sem_new	5
sys_thread_new	2
vTaskStartScheduler	2
wpa_auth_gen_wpa_ie	1
wpa_bss_update_scan_res	2
wpa_config_alloc_empty	1
wpa_config_read	1
wpa_driver_init	1
wpa_group_init	1
wpa_init	1
wpa_psk_cache_init	1
wpa_sm_init	1
wpa_supplicant_add_iface	2
wpa_supplicant_init	2
wpa_supplicant_init_wpa	1
xQueueCreateCountingSemaphore	10
xQueueCreateMutex	428
xTimerCreateTimerTask	2

xQueueCreateMutex 出现的次数最多，xQueueCreateMutex 调用一次分配 104 内存，出现 428 次，也就使用了 40 多 k 的内存一直没释放。

排查代码逻辑，在联网失败的时候进入错误处理，有个互斥锁创建了未销毁，导致内存泄漏。

小结

内存泄漏的判断方法：

功能打开关闭之后，对比前后的 heap info 信息，看看有哪些新增加的内存分配信息，按照这个线索去排查。
挂机压测一段时间之后，打印 heap info 信息，按照 caller 出现的次数排序，出现次数较多的前几个 caller，或者内存申请较多的caller，是该怀疑存在内存泄漏的对象。

heap 内存写越界案例

free 的时候检测到内存块被破坏

1
2
3
4
5


mem corrupt,block:0x422ef8, blocksize:24, xWantedSize:4, caller:0x34747
dump block:
00000000:  00 00 00 00 18 00 00 00  ........
00000008:  04 00 00 00 47 47 03 00  ....GG..
00000010:  48 54 54 50 2F 31 2E 30  HTTP/1.0

调用者申请了4字节内存空间，分配的内存块大小是24字节，减去头部16字节，后面填充了4字节的0xfd,从dump的内存数据来看，填充的数据都被覆盖完了, 通过 caller:0x34747 查找代码位置

1
2
3
4


FC41D/beken_freertos_sdk_release-SDK_3.0.21 on  Iotbranch [!?⇡] 
❯ ./toolchain/gcc-arm-none-eabi-5_4-2016q3/bin/arm-none-eabi-addr2line -e Release/Debug/beken7231_bsp.elf  -f 0x34747
fs_open_custom
/home/x/FC41D/beken_freertos_sdk_release-SDK_3.0.21/beken378/func/lwip_intf/lwip-2.0.2/src/apps/httpd/custom_fsdata.c:239

对应代码：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77


int fs_open_custom(struct fs_file *file, const char *name)
{
    char *wifi_data="{\"aps\":[{\"ssid\":\"123\"},{\"ssid\":\"test234\"}]}";
    int file_data_len = 0;
    
     /* this example only provides one file */
     if (!strcmp(name, "/wifilist.html"))
     {
         /* initialize fs_file correctly */
         memset(file, 0, sizeof(struct fs_file));
         file_data_len = strlen((char *)CUSTOM_FSDATA_WIFILIST_HTML_HEADER) + strlen(wifi_data) +2;
         file->pextension = malloc(sizeof(file_data_len));
         if (file->pextension != NULL)
         {
            memset(file->pextension, 0, file_data_len);
            file_data_len = snprintf(file->pextension, file_data_len - 1, "%s%s", (char *)CUSTOM_FSDATA_WIFILIST_HTML_HEADER, wifi_data);
        
            file->data = (const char *)file->pextension;
            file->len = file_data_len; /* don't send the trailing 0 */
            file->index = file->len;
            /* allow persisteng connections */
            file->flags = FS_FILE_FLAGS_HEADER_INCLUDED;
            return 1;
         }
     }
     else if(!strcmp(name, "/index.html"))
     {
         char *sta_state_data = NULL;
         uint32 uart_band = 9600;
         uint8 ssid[33] = {0};
         uint8 psk[64] = {0};

         int apon = 0;
         char *ap_state_data = NULL;

         if (custom_fsdata_sta_state() == 1)
         {
             sta_state_data = CUSTOM_FSDATA_STA_CONNECTED;
         }
         else
         {
             sta_state_data = CUSTOM_FSDATA_STA_DISCONNECTED;
         }

         custom_sw_ap_cfg_get(apssid, appass, &apon);

         if (apon == 1)
         {
             ap_state_data = "Up";
         }
         else
         {
             ap_state_data = "Down";
         }

         custom_config_uart_braud_get(&uart_band);

         custom_sta_cfg_get(ssid, psk);
         /* initialize fs_file correctly */
         memset(file, 0, sizeof(struct fs_file));
         file_data_len = strlen((char *)CUSTOM_FSDATA_INDEX_HTML_HEADER) + strlen((char *)CUSTOM_FSDATA_INDEX_HTML_FILE_FMT) + 10 /* for uart band */ + strlen((char *)ssid) + strlen(ap_state_data) + strlen(sta_state_data) + strlen((char *)apssid) + 1 /* \0 */;
         file->pextension = malloc(sizeof(file_data_len));
         if (file->pextension != NULL)
         {
            memset(file->pextension, 0, file_data_len);
            file_data_len = snprintf(file->pextension, file_data_len - 1, (char *)CUSTOM_FSDATA_INDEX_HTML_FILE_FMT, (char *)CUSTOM_FSDATA_INDEX_HTML_HEADER, (char *)ssid, sta_state_data, (char *)apssid, ap_state_data, uart_band);
        
            file->data = (const char *)file->pextension;
            file->len = file_data_len; /* don't send the trailing 0 */
            file->index = file->len;
            /* allow persisteng connections */
            file->flags = FS_FILE_FLAGS_HEADER_INCLUDED;
            return 1;
         }
     }
     return 0;
}

file->pextension = malloc(sizeof(file_data_len)); 传的参数传错了，sizeof(file_data_len) 是4字节，实际需要申请 file_data_len 字节，导致后面内存写越界了。

使用 docker 构建 preboot 交叉编译环境

Sun, 05 May 2024 02:00:18 +0800

ASR1606/ASR1603 的 preboot 代码需要在 Linux 环境下编译，通常使用 VMware 或者 VirtualBox 软件创建一个 Linux 虚拟机，在虚拟机中做交叉编译。但 preboot 不是那种需要经常编译的代码，完全可以将 preboot 的编译环境制作成 docker 镜像，与虚拟机相比，docker 的启动速度更快，占用资源更少，需要用到的时候创建一个 docker 容器来编译 preboot，非常适合用来做这类偶尔需要用一下的场景。

构建镜像

docker 根据 dockerfile 文件来构建镜像，dockerfile 中的命令描述其实就是搭建交叉编译环境的过程，主要将工具链、编译脚本复制到镜像内并配置好环境变量。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


FROM ubuntu:latest
LABEL version="1.0.0"
LABEL author="hacper"

RUN apt update && apt install make unzip curl -y &&  mkdir /preboot && mkdir /preboot/src
COPY gcc-arm-none-eabi-9-2019-q4-major.zip /preboot
COPY build_CRANEL.sh /preboot
COPY build_CRANEM.sh /preboot
WORKDIR /preboot
RUN unzip gcc-arm-none-eabi-9-2019-q4-major.zip && rm gcc-arm-none-eabi-9-2019-q4-major.zip
ENV PATH=$PATH:/preboot/gcc-arm-none-eabi-9-2019-q4-major/bin

依赖的工具链 gcc-arm-none-eabi-9-2019-q4-major.zip，需要将其放在根目录。然后执行 docker build 命令构建镜像：

1

docker build -t hacper/preboot_builder:latest .

镜像构建完成之后可以将镜像推送到 docker hub，后面使用的时候直接从 docker hub 拉取构建好的镜像。

1

docker push hacper/preboot_builder

使用

后面使用只需要从 docker hub 拉取镜像:

1

docker pull hacper/preboot_builder

然后创建容器：

1

docker run -v /e/workspace/preboot/preboot_boot2:/preboot/src -it hacper/preboot_builder

/e/workspace/preboot/preboot_boot2 只是示例路径，需要修改为自己电脑上的 preboot 源码路径。preboot_boot2 目录下的 CRANEL、CRANEM 分别放置对应的 preboot 源码，将 preboot_boot2 目录挂载到容器中。

执行编译脚本编译preboot

1
2


 ./build_CRANEL.sh
 ./build_CRANEM.sh

生成的镜像分别在路径：

1
2
3


preboot_boot2\CRANEL\apps\preboot\bin\crane\preboot.bin

preboot_boot2\CRANEM\apps\preboot\bin\cortexr-arom-crane\preboot.bin

mklittlefs: littlefs 镜像打包和解析工具

Sun, 11 Feb 2024 10:25:30 +0800

基于 mklittlefs: https://github.com/earlephilhower/mklittlefs) ，修改并增加了一些配置参数。

由于littlefs v1.x 和 v2.x 不兼容，编译了两个版本：

mklittlefs-v1.exe 用于 littlefs v1.x.x
mklittlefs-v2.exe 用于 littlefs v2.x.x

二者使用的命令参数一样。

命令参数

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51


mklittlefs-v1 or mklittlefs-v2          {-c <pack_dir>|-u <dest_dir>|-l} 
                                        [-T <from_file>] [-d <0-5>] [-a] [-w <number>] 
                                        [-r <number>] [-b <number>] [-s <number>] [--] 
                                        [--version] [-h] <image_file>

Where:

   -c <pack_dir>,  --create <pack_dir>
     (OR required)  create littlefs image from a directory
         -- OR --
   -u <dest_dir>,  --unpack <dest_dir>
     (OR required)  unpack littlefs image to a directory
         -- OR --
   -l,  --list
     (OR required)  list files in littlefs image


   -T <from_file>,  --from-file <from_file>
     when creating an image, include paths in from_file instead of scanning
     pack_dir

   -d <0-5>,  --debug <0-5>
     Debug level. 0 means no debug output.

   -a,  --all-files
     when creating an image, include files which are normally ignored;
     currently only applies to '.DS_Store' files and '.git' directories

   -w <number>,  --prosize <number>
     fs pro size, in bytes

   -r <number>,  --readsize <number>
     fs read_size, in bytes

   -b <number>,  --block <number>
     fs block size, in bytes

   -s <number>,  --size <number>
     fs image size, in bytes

   --,  --ignore_rest
     Ignores the rest of the labeled arguments following this flag.

   --version
     Displays version information and exits.

   -h,  --help
     Displays usage information and exits.

   <image_file>
     (required)  littlefs image file

-c: 制作镜像

-u 解析镜像

-l 列出镜像文件中的文件

其他参数：read_size,prog_size,block_size 根据 lfs_mount 挂载文件系统时 lfs_config 中的配置参数来填写。

使用示例

v1 版本

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48


❯ .\mklittlefs-v1.exe --version
mklittlefs ver. 3.2.0-7-g1a3999a
Build configuration name: generic
LittleFS ver. v1.7.2
Extra build flags: (none)
LittleFS configuration:
  LFS_NAME_MAX: 256
  LFS_FILE_MAX: 2147483647

## 解析
❯ .\mklittlefs-v1.exe -u test3  -b 4096 -w 4096 -s 1048576 -r 4096 customer_fs.bin
Countdown.mp3    > ./test3/Countdown.mp3        size: 14671 Bytes
Loudwarn.mp3     > ./test3/Loudwarn.mp3 size: 46086 Bytes
Overspeed.mp3    > ./test3/Overspeed.mp3        size: 6313 Bytes
PowerOff.mp3     > ./test3/PowerOff.mp3 size: 33954 Bytes
PowerOn.mp3      > ./test3/PowerOn.mp3  size: 24355 Bytes
Register.mp3     > ./test3/Register.mp3 size: 23030 Bytes
Warn.mp3         > ./test3/Warn.mp3     size: 20942 Bytes
1K0dB10s.mp3     > ./test3/1K0dB10s.mp3 size: 159077 Bytes

## 打包
❯ .\mklittlefs-v1.exe -c test  -b 4096 -w 4096 -s 1048576 -r 4096 customer_fs.bin
/bt/ccc/341cf0fc5b670/0
/bt/cf/341cf0fc5b670/0
/bt/hash
/bt/keys/341cf0fc5b670/0
/bt/name
/bt/sc/341cf0fc5b670/0
/btps.db

## 查看镜像文件
❯ .\mklittlefs-v1.exe -l  -b 4096 -w 4096 -s 1048576 -r 4096 customer_fs.bin
   /bt
   /bt/ccc
   /bt/ccc/341cf0fc5b670
4       /bt/ccc/341cf0fc5b670/0
   /bt/cf
   /bt/cf/341cf0fc5b670
1       /bt/cf/341cf0fc5b670/0
16      /bt/hash
   /bt/keys
   /bt/keys/341cf0fc5b670
124     /bt/keys/341cf0fc5b670/0
13      /bt/name
   /bt/sc
   /bt/sc/341cf0fc5b670
4       /bt/sc/341cf0fc5b670/0
6144    /btps.db

v2 版本

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65


❯  .\mklittlefs-v2.exe --version
mklittlefs ver. 3.2.0-7-g1a3999a
Build configuration name: generic
LittleFS ver. v2.5.1
Extra build flags: (none)
LittleFS configuration:
  LFS_NAME_MAX: 256
  LFS_FILE_MAX: 2147483647
  LFS_ATTR_MAX: 1022
      
## 解析
❯ .\mklittlefs-v2.exe -u test  -b 4096 -s 2097152 littlefs_2M.bin
btps.db  > ./test/btps.db       size: 6144 Bytes
bt//ccc//341cf0fc5b670/0         > ./test/bt/ccc/341cf0fc5b670/0        size: 4 Bytes
bt//cf//341cf0fc5b670/0  > ./test/bt/cf/341cf0fc5b670/0 size: 1 Bytes
bt/hash  > ./test/bt/hash       size: 16 Bytes
bt//keys//341cf0fc5b670/0        > ./test/bt/keys/341cf0fc5b670/0       size: 124 Bytes
bt/name  > ./test/bt/name       size: 13 Bytes
bt//sc//341cf0fc5b670/0  > ./test/bt/sc/341cf0fc5b670/0 size: 4 Bytes

## 打包
❯ .\mklittlefs-v2.exe -c test3  -b 4096 -s 2097152 littlefs_2M.bin
/1K0dB10s.mp3
/bt/ccc/341cf0fc5b670/0
/bt/cf/341cf0fc5b670/0
/bt/hash
/bt/keys/341cf0fc5b670/0
/bt/name
/bt/sc/341cf0fc5b670/0
/btps.db
/Countdown.mp3
/Loudwarn.mp3
/Overspeed.mp3
/PowerOff.mp3
/PowerOn.mp3
/Register.mp3
/Warn.mp3

## 列举镜像中的文件
❯ .\mklittlefs-v2.exe -l  -b 4096 -s 2097152 littlefs_2M.bin
159077  /1K0dB10s.mp3   Sun Feb 04 03:08:21 2024
14671   /Countdown.mp3  Sun Feb 04 03:08:21 2024
46086   /Loudwarn.mp3   Sun Feb 04 03:08:21 2024
6313    /Overspeed.mp3  Sun Feb 04 03:08:21 2024
33954   /PowerOff.mp3   Sun Feb 04 03:08:21 2024
24355   /PowerOn.mp3    Sun Feb 04 03:08:21 2024
23030   /Register.mp3   Sun Feb 04 03:08:21 2024
20942   /Warn.mp3       Sun Feb 04 03:08:21 2024
6144    /btps.db        Sun Feb 04 03:09:58 2024
   /bt     Sun Feb 04 03:09:58 2024
   /bt/ccc Sun Feb 04 03:09:58 2024
   /bt/ccc/341cf0fc5b670   Sun Feb 04 03:09:58 2024
4       /bt/ccc/341cf0fc5b670/0 Sun Feb 04 03:09:58 2024
   /bt/cf  Sun Feb 04 03:09:58 2024
   /bt/cf/341cf0fc5b670    Sun Feb 04 03:09:58 2024
1       /bt/cf/341cf0fc5b670/0  Sun Feb 04 03:09:58 2024
16      /bt/hash        Sun Feb 04 03:09:58 2024
   /bt/keys        Sun Feb 04 03:09:58 2024
   /bt/keys/341cf0fc5b670  Sun Feb 04 03:09:58 2024
124     /bt/keys/341cf0fc5b670/0        Sun Feb 04 03:09:58 2024
13      /bt/name        Sun Feb 04 03:09:58 2024
   /bt/sc  Sun Feb 04 03:09:58 2024
   /bt/sc/341cf0fc5b670    Sun Feb 04 03:09:58 2024
4       /bt/sc/341cf0fc5b670/0  Sun Feb 04 03:09:58 2024
Creation time:  Sun Feb 04 03:14:12 2024

编译

源码编译工具使用 xmake 和 gcc.

1
2
3
4
5
6
7
8
9


$ git clone git@github.com:hacperme/mklittlefs.git
$ git submodule update --init

$ xmake

# on windows, use xmake and MinGW

$ xmake f -p mingw --sdk=E:\workspace\tools\winlibs-x86_64-posix-seh-gcc-13.2.0-mingw-w64msvcrt-11.0.1-r2\mingw64
$ xmake

SPI 接口笔记整理

Sat, 23 Dec 2023 22:39:16 +0800

spi 介绍

接口及特点

标准 spi 接口有4根信号线。

信号	作用	方向
SCLK	时钟信号线，用于通讯数据同步	master->slave
MOSI	主设备输出	master->slave
MISO	主设备输入	slave->master
CS	从设备选择信号线，常称为片选信号线，也称为NSS、SS，拉低使能。	master->slave

spi flash 是一种常见的 spi 外设，通常接口有4~6根信号线。为了提高性能，spi flash 支持 Dual SPI 和 Quad SPI 模式，引入更多信号线来传输数据。

信号	作用
CLK	Serial Clock Input
DI/MOSI(IO0)	Serial Data Input(Data input output 0)
DO/MISO(IO1)	Serial Data Output(Data input output 1)
WP#(IO2)	Write Protect (Data input output 2)
HOLD# / RESET# (3) (IO3)	Hold or Reset input(Data input output 3)
CS	Chip Enable

标准的 SPI 中 Master 到 Slave 和 Slave 到 Master 数据传输分别是一根信号线。

Dual SPI 就是让原来的 MISO 和 MOSI 都可以同时发送数据，实际并未增加信号线。

Quad SPI 则是又额外添加了两个信号线来进行数据传输，总共4根信号线同时发送数据。人们常说4线spi flash、6线 spi flash，从信号线接线可以看出区别。

还有一个常见 spi 外设是 spi 串口屏接口，通常带 spi LCM 外设的芯片，其屏幕的 spi 接口并不是标准的 4 线 spi（四根信号线：CS, MOSI, MISO, CLK），而是专用的 spi 接口，在接口上的区别主要在于4 线 spi 和 3 线 spi 接口的区别、1 data line 和 2 data line 的区别以及Ⅰ 型和 Ⅱ 型屏的区别，具体可参考之前的文章：常见的 SPI LCD 接口分类。

spi 时钟模式

spi 一共有4种工作模式，分别对应不同的极性CPOL（Clock POLarity）和相位CPHA(Clock PHAse) 组合。

极性，SPI空闲时时钟信号SCLK的电平（0:空闲为低电平; 1:空闲为高电平），时序图里面看CS拉高时候的CLK电平。

相位，SPI在SCLK第几个边沿开始采样（0:第一个边沿采样; 1:第二个边沿采样）。

标准spi协议在一个时钟边沿发送数据，在另一个时钟边沿采样数据。而CPOL CPHA 的配置决定了 spi 通信在什么时候修改数据，以及在什么时候采样数据，这对于看波形来说是必须要知道的。

模式	CPOL	CPHA	采样时间
mode0	0	0	下降沿修改数据，上升沿采样
mode1	0	1	下降沿采样，上升沿修改数据
mode2	1	0	下降沿采样，上升沿修改数据
mode3	1	1	下降沿修改数据，上升沿采样

对于 spi flash，通常支持 mode0 和 mode3，即都是在下降沿送数据，上升沿采样。

spi 波形

下面是使用逻辑分析仪抓取 stm32 spi master 与 ecr6600 slave 通信时的波形，工作在模式0。

ecr6600 slave 的通信时序是 cmd dummy data，各占一个字节，cmd 为 0x0B 时读取slave的数据，cmd 为 0x51 时写入数据到slave。

SPI 是全双工通信的，发送的同时也在接收。什么时候收，什么时候发其实都由 master 控制，通常外设需要等到主机发送了命令才知道自己要接收数据还是要回复数据，以及回复什么数据，所以很多时候命令设计成了事实上的半双工：前半部分主机在发命令，外设发送无用的数据（dummy）；后半部分外设在发送响应，主机发送无用的数据（dummy）。

前面 stm32 spi master 与 ecr6600 slave 通信时发现一个特点，连续收发数据的时候时钟不连续，每收发两个字节数据之间时钟有空隙，其实是 stm32 master 这边没有开 dma 导致的。当使用dma传输时，连续收发数据时钟便是连续的。

高频下的spi通信问题

在 Using-SPI-Protocol-at-100MHz 中描述了 spi 通信时信号的延时路径，示例为 master 读取 slave 数据。

在高频情况下，需要考虑 master 到 slave 之间 clk 的传输延迟、slave 收到clk之后到数据输出到数据线上的延迟（slave 的响应速度）、slave 输出数据到 master 接收数据线上的延迟。

Tsamp 是 mater 采样数据的可用时间，计算方式如下：

在4MHz下没有问题。

但在100MHz下，Tsamp 的时间不够。100MHz 下时钟周期是10ns，要求 slave 收到master 时钟信号后，要在 5 ns 内准备好发送的数据（做出响应），实际上这样的响应速度很难做到。

怎么解决这个问题呢？

文档中提到3个办法：

缩短二者的通信距离，提高slave的响应速度，影响甚微。
降频。降频自然是可行的，按照前面的示例，时钟频率最大不超过53MHz才能正常通信。
延迟采样，延迟半个或者1个时钟周期采样。100MHz 下时钟周期是10ns，延时半个时钟周期采样则有10ns的时间给slave准备发送数据，延时1个时钟周期采样则有15ns的时间给slave准备发送数据。

资料

cmake 构建环境下自定义 section 失效的问题

Sun, 17 Dec 2023 17:04:49 +0800

由于项目需要，前几天在调整 NXP RW612 MCU wifi SDK 的构建系统，由原来的 cmake+mingw+make+armgcc 调整为 cmake+kcongfig+ninja+mingw+armcc。构建系统调整完成之后，发现烧录固件设备无法启动，而未调整之前编译出来的固件是正常的。

查找原因

对比二者编译生成的固件镜像文件，旧构建系统生成的固件比新构建系统生成的固件文件大小大一点。首先怀疑的是否是一些宏定义没启用，部分代码被屏蔽了而未编译进去，经过一些测试和检查之后发现不是这个问题。接下来从map文件着手，对比发现map文件有差异。

旧构建系统的map信息：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


.flash_config   0x08000000     0x1000
                0x08000000                . = ALIGN (0x4)
 FILL mask 0xff
                0x00000400                . = 0x400
 *fill*         0x08000000      0x400 ff
                0x08000400                __FLASH_BASE = .
 *(.flash_conf)
 .flash_conf    0x08000400      0xc00 out/libs/libmcux_sdk_module_lib.a(flash_config.c.obj)
                0x08000400                flexspi_config
                0x00001000                . = 0x1000

.interrupts     0x00001000      0x280 load address 0x08001000
                0x00001000                . = ALIGN (0x4)
                0x00001000                __VECTOR_TABLE = .
                0x00001000                __Vectors = .

新构建系统的map信息：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


.flash_config   0x08000000     0x1000
                0x08000000                . = ALIGN (0x4)
 FILL mask 0xff
                0x00000400                . = 0x400
 *fill*         0x08000000      0x400 ff
                0x08000400                __FLASH_BASE = .
 *(.flash_conf)
                0x00001000                . = 0x1000
 *fill*         0x08000400      0xc00 ff

.interrupts     0x00001000      0x280 load address 0x08001000
                0x00001000                . = ALIGN (0x4)
                0x00001000                __VECTOR_TABLE = .
                0x00001000                __Vectors = .

旧的构建系统有将 flash_config.c.obj 的代码 flexspi_config 存储在 .flash_config 这个 section，而新的固件却没有，整个map文件都查不到 flexspi_config 的信息。根据 flash_config.c 的代码在这篇文章痞子衡嵌入式：深扒i.MXRTxxx系列ROM中集成的串行NOR Flash启动SW Reset功能及其应用场合中找到 flexspi_config 的作用：flexspi_config 是固件镜像的启动头 FDCB，bootrom 用来给 FlexSPI 外设初始化 flash 用的。对比两个镜像文件也能看到差异，一个有 FDCB，一个没有。

那么 FDCB 是怎么生成的呢？

查看 RW612 的 ld 文件：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33



/* Entry Point */
ENTRY(Reset_Handler)

HEAP_SIZE  = DEFINED(__heap_size__)  ? __heap_size__  : 0x400;
STACK_SIZE = DEFINED(__stack_size__) ? __stack_size__ : 0x400;

/* Specify the memory areas */
MEMORY
{
  m_flash               (RX)  : ORIGIN = 0x08000000, LENGTH = 0x00200000
  m_interrupts          (RX)  : ORIGIN = 0x00001000, LENGTH = 0x00000280
  m_text                (RX)  : ORIGIN = 0x00001280, LENGTH = 0x000B9080
}
/* 0x2012_3000 - 0x2012_FFFF is reserved for BootROM usage */

/* Define output sections */
SECTIONS
{
  .flash_config :
  {
    . = ALIGN(4);
    FILL(0xFF)
    . = 0x400;
    __FLASH_BASE = .;
    KEEP(* (.flash_conf))     /* flash config section */
    . = 0x1000;
  } > m_flash

  /* The startup code goes first into internal ram */

  /*....*/
}

在flash的起始地址定义了一个 4K大小的 .flash_config section，前面填充 1K 0xFF, 后面开始存储 flash_conf 的代码。在 boards\rdrw612bga\flash_config\flash_config.c 也指定了将代码放到 flash_conf section： attribute((section(".flash_conf"), used))

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37


#if defined(BOOT_HEADER_ENABLE) && (BOOT_HEADER_ENABLE == 1)

#if defined(__ARMCC_VERSION) || defined(__GNUC__)

__attribute__((section(".flash_conf"), used))

#elif defined(__ICCARM__)

#pragma location = ".flash_conf"

#endif

const fc_flexspi_nor_config_t flexspi_config = {
    .memConfig =
        {
            .tag                 = FC_BLOCK_TAG,
            .version             = FC_BLOCK_VERSION,
            .readSampleClkSrc    = 1,
            .csHoldTime          = 3,
            .lookupTable =
                {
                    /* Read */
                    [0] = FC_FLEXSPI_LUT_SEQ(FC_CMD_SDR, FC_FLEXSPI_1PAD, 0xEC, FC_RADDR_SDR, FC_FLEXSPI_4PAD, 0x20),
                    [1] = FC_FLEXSPI_LUT_SEQ(FC_DUMMY_SDR, FC_FLEXSPI_4PAD, 0x0A, FC_READ_SDR, FC_FLEXSPI_4PAD, 0x04),
                    /* chip erase */
                    [4 * 11 + 0] =
                        FC_FLEXSPI_LUT_SEQ(FC_CMD_SDR, FC_FLEXSPI_1PAD, 0x60, FC_STOP_EXE, FC_FLEXSPI_1PAD, 0x00),
                },
        },
    .pageSize           = 0x100,
    .sectorSize         = 0x1000,
    .ipcmdSerialClkFreq = 0,
    .blockSize          = 0x8000,
    .fcb_fill[0]        = 0xFFFFFFFF,
};

#endif /* BOOT_HEADER_ENABLE */

那么为什么 FDCB 在新的构建系统下没有生成呢？

我发现二者的差异在于旧构建系统是将flash_config.c放到了构建可执行文件目标的源码里面 add_executable。而新的构建系统是将 flash_config.c 放到构建静态库的源码里面 add_library，然后在构建可执行目标文件的时候通过添加依赖的lib target_link_libraries 加入，在最终链接的时候由于 flash_config.c 的代码未使用而被删除了，即使配置了 attribute((section(".flash_conf"), used)) 也会删除，这个应该是 cmake 的问题。

解决办法有两个：

将 flash_config.c 放到构建可执行目标的源码里面。
找个地方调用一下 flash_config.c 里的变量或者函数，避免未使用而被优化。

使用 cmake 构建系统时需要留意这个坑，如果需要自定义 section 指定变量或者函数的存储位置，要留意代码有没有被使用和是否是在构建可执行的目标的源码中，不然即便设置了 attribute((section(".xx"), used)) 也还是会被优化删除。

资料

痞子衡嵌入式：深扒i.MXRTxxx系列ROM中集成的串行NOR Flash启动SW Reset功能及其应用场合

flowerss bot 安装与迁移

Mon, 11 Dec 2023 00:08:42 +0800

flowerss bot 是一个开源的 Telegram RSS Bot，支持自建和docker部署，目前主要用来订阅自己的博文以及推送到 Telegram 频道。

安装

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 下载配置模板
mkdir ~/flowerss &&\
wget -O ~/flowerss/config.yml \
    https://raw.githubusercontent.com/indes/flowerss-bot/master/config.yml.sample

# 修改配置文件
vim ~/flowerss/config.yml

# 运行
docker run -d --restart=always -v ~/flowerss:/root/.flowerss indes/flowerss-bot

注意：

docker 容器挂载的路径 root/.flowerss 不要修改，不然无法启动。
数据库的文件位置放在 /root/.flowerss 路径下，不要修改，方便备份。

1
2


sqlite:
  path: /root/.flowerss/data.db

bot_token 必须配置。可以配置 allowed_users 的用户id, 限制只能自己使用。

备份 & 迁移

只要备份 ~/flowerss 这个目录，迁移到新的主机也只需要复制 ~/flowerss 下的文件，执行 docker run -d --restart=always -v ~/flowerss:/root/.flowerss indes/flowerss-bot安装即可。

链接

https://github.com/indes/flowerss-bot

riscv32-elf-gcc 在 wsl 上出现 Segmentation fault

Sat, 02 Dec 2023 21:41:22 +0800

BK7256 的开发环境需要用到 RISCV 工具链，下载官方的工具链 toolchain_v5.2.1.tar.gz, 在 WSL 下编译 C 源码的时候出现 Segmentation fault 错误，运行不了。后面找到原因是 vsyscall 没开启导致的，后面遇到类似问题可以往这个方向排查。

WSL 开启 vsyscall 的方法如下：

用户根目录创建配置文件 .wslconfig，在 wsl2 下添加 kernelCommandLine = vsyscall=emulate

1
2


[wsl2]
kernelCommandLine = vsyscall=emulate

参考资料

搭建 Flask Htmlx daisyUI 开发环境

Sat, 28 Oct 2023 20:39:01 +0800

目的

想掌握一套 web 全栈开发技术，用于开发、验证小项目，但不想花太大学习成本，需要一套轻量、简洁、易上手的技术栈。

查找一些资料之后，最终的选择如下

后端：flask 前端：htmlx+Tailwind CSS+daisyUI

htmlx 可以在html中使用属性发送 AJAX 请求，处理服务器响应，可以替换大部分需要 JavaScript 来实现功能。
Tailwind CSS 可以让我们在 html 中添加特定的工具类便能完成页面布局，无须单独写css。
daisyUI 则是一个基于 Tailwind CSS 的组件库，简化 Tailwind CSS 的使用。

搭建步骤

安装 python 和 flask 环境

1
2


py -3 -m venv venv
.\venv\Scripts\Activate.ps1

1

pip install flask flask-assets

安装 Tailwind CSS 和 daisyUI

1
2


npm i -D daisyui@latest
npm install -D @tailwindcss/typography

如果不需要 daisyUI 组件，可以直接使用 Tailwind CSS 的命令行工具，而不需要安装 npm 和 nodejs。

1

pip install pytailwindcss

如果要 daisyUI 暂时没办法，没有独立的安装工具。

下载 htmlx

下载 htmx.min.js 到 static\src\htmx.min.js 路径

整合 Tailwind CSS 到 flask

1

npx tailwindcss init

修改 tailwind.config.js

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


/** @type {import('tailwindcss').Config} */
module.exports = {
  content: [
    "./templates/**/*.html",
  ],
  theme: {
    extend: {},
  },
  plugins: [require("@tailwindcss/typography"), require("daisyui")],
  // daisyUI config (optional - here are the default values)
  daisyui: {
    themes: false, // true: all themes | false: only light + dark | array: specific themes like this ["light", "dark", "cupcake"]
    darkTheme: "dark", // name of one of the included themes for dark mode
    base: true, // applies background color and foreground color for root element by default
    styled: true, // include daisyUI colors and design decisions for all components
    utils: true, // adds responsive and modifier utility classes
    rtl: false, // rotate style direction from left-to-right to right-to-left. You also need to add dir="rtl" to your html tag and install `tailwindcss-flip` plugin for Tailwind CSS.
    prefix: "", // prefix for daisyUI classnames (components, modifiers and responsive class names. Not colors)
    logs: true, // Shows info about daisyUI version and used config in the console when building your CSS
  },
}

增加文件 static\src\main.css

1
2
3


@tailwind base;
@tailwind components;
@tailwind utilities;

然后编写 flask app 应用 app.py，使用 flask-assets 打包生成的 js 和 css文件

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67


from flask import Flask, render_template, request
from flask_assets import Environment, Bundle


app = Flask(__name__)

assets = Environment(app)
css = Bundle("src/main.css", output="dist/main.css")
js = Bundle("src/*.js", output="dist/main.js")

assets.register("css", css)
assets.register("js", js)

css.build()
js.build()


class User:
    id = 0
    def __init__(self, fname, lname, email ):
        User.id  += 1
        self.id = User.id 
        self.fname = fname
        self.lname = lname 
        self.email = email

    def search( self, word ):
        if (word is None):
            return False
        all = self.fname + self.lname + self.email
        return word.lower() in all.lower()

users = [
    User("abe", "vida", "abe@nowhere.com"),
    User("betty", "b", "bb@nowhere.com"),
    User("joe", "robinson", "jrobinson@nowhere.com"),

    User("Luis", "Cortes", "Luis@somewhere.com"),
    User("marty", "hinkle", "mhinkle@nowhere.com"),
    User("matthew", "robinson", "mrobinson@nowhere.com"),

    User("collin", "western", "cwest@nowhere.com"),
    User("marty", "hinkle II", "mhinkle2@nowhere.com"),
    User("joe", "robinson", "jrobinson@nowhere.com"),

    User("juan", "vida", "juanvida@nowhere.com"),
    User("marty", "hinkle III", "mhinkle3@nowhere.com"),
    User("zoe", "omega", "zoe@nowhere.com") 
]




@app.route("/")
def index():
    return render_template("index.html")

@app.route("/search", methods=["POST"])
def search():
    word = request.form.get("search")
    if (word is None or word == ""):
        return render_template("search.html", users=[])
    else:
        return render_template("search.html", users=filter(lambda u: u.search(word), users))
    
if __name__ == "__main__":
    app.run(debug=True)

编写模板文件

templates\base.html

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25



<html lang="en" class="h-full">

<head>
    <meta charset="utf-8">
    <meta http-equiv="X-UA-Compatible" content="IE=edge">
    <meta name="viewpoert" content="width=device-width, initial-scale=1.0">

    {% assets "css" %}
    <link rel="stylesheet" href="{{ ASSET_URL }}">
    {% endassets %}

    {% assets "js" %}
    <script type="text/javascript" src="{{ ASSET_URL }}">script>
    {% endassets %}

    <title>Flask Htmlx daisyUI Demo title>
head>

<body class="h-full">
    {% block content %}
    {% endblock content %}
body>

html>

templates\index.html

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131


{% extends "base.html" %}

{% block content %}
<main class="max-w-screen-md mx-auto flex flex-col gap-8">
  <div class="w-full max-w-screen-md mx-auto">
    <header class="w-full flex items-center p-8" hx-boost="true">
      h1>
      <a href="/" class="btn btn-secondary btn-outline">Homea>
      h1>
    header>
  div>
  <section>
    <div class="flex flex-col gap-8">
      <section class="hero bg-base-200 px-16 sm:px-32 py-24 sm:rounded-3xl">
        <div class="hero-content text-center">
          <div class="flex flex-col gap-6">
            <h1 class="text-4xl font-bold">
              Flask Htmlx daisyUI Demo
            h1>
            <p class="text-lg">
              This is an simple demo of Flask and it's built in HTTP server app using Htmlx, TailwindCSS and DaisyUI.
            p>
          div>

        div>
      section>

      <section class="hero bg-base-200 px-16 sm:px-32 py-24 sm:rounded-3xl">
        <div class="hero-content text-left">
          <div class="flex flex-col gap-6">
            <h1 class="text-4xl font-bold">Search Contacts
              <span class="htmx-indicator">
                <img src="{{url_for('static', filename='img/bars.svg')}}" /> Searching...
              span>
            h1>
            <input class="form-control input input-bordered input-md w-full max-w-xs" type="text" name="search"
              placeholder="Begin Typing To Search Users..." hx-post="/search" hx-trigger="keyup changed delay:250ms"
              hx-target="#search-results" hx-indicator=".htmx-indicator">

            <table class="table table-xs">
              <thead>
                <tr>
                  <th>ID
                  th>
                  <th>First
                    Nameth>
                  <th>Last
                    Nameth>
                  <th>Email
                  th>
                tr>
              thead>

              <tbody id="search-results">
                {% include 'search.html' %}
              tbody>
            table>
          div>
        div>
      section>

      <section class="hero bg-base-200 px-16 sm:px-32 py-24 sm:rounded-3xl">
        <div
          class="flex flex-col w-full max-w-md px-4 py-8 bg-white rounded-lg shadow dark:bg-gray-800 sm:px-6 md:px-8 lg:px-10">
          <div class="self-center mb-6 text-xl font-light text-gray-600 sm:text-2xl dark:text-white">
            Login To Your Account
          div>
          <div class="mt-8">
            <form action="#" autoComplete="off">
              <div class="flex flex-col mb-2">
                <div class="flex relative ">
                  <span
                    class="rounded-l-md inline-flex  items-center px-3">
                    <svg width="15" height="15" fill="currentColor" viewBox="0 0 1792 1792"
                      xmlns="http://www.w3.org/2000/svg">
                      <path
                        d="M1792 710v794q0 66-47 113t-113 47h-1472q-66 0-113-47t-47-113v-794q44 49 101 87 362 246 497 345 57 42 92.5 65.5t94.5 48 110 24.5h2q51 0 110-24.5t94.5-48 92.5-65.5q170-123 498-345 57-39 100-87zm0-294q0 79-49 151t-122 123q-376 261-468 325-10 7-42.5 30.5t-54 38-52 32.5-57.5 27-50 9h-2q-23 0-50-9t-57.5-27-52-32.5-54-38-42.5-30.5q-91-64-262-182.5t-205-142.5q-62-42-117-115.5t-55-136.5q0-78 41.5-130t118.5-52h1472q65 0 112.5 47t47.5 113z">
                      path>
                    svg>
                  span>
                  <input type="text" id="sign-in-email"
                    class="input input-bordered input-md w-full max-w-xs"
                    placeholder="Your email" />
                div>
              div>
              <div class="flex flex-col mb-6">
                <div class="flex relative ">
                  <span
                    class="rounded-l-md inline-flex  items-center px-3">
                    <svg width="15" height="15" fill="currentColor" viewBox="0 0 1792 1792"
                      xmlns="http://www.w3.org/2000/svg">
                      <path
                        d="M1376 768q40 0 68 28t28 68v576q0 40-28 68t-68 28h-960q-40 0-68-28t-28-68v-576q0-40 28-68t68-28h32v-320q0-185 131.5-316.5t316.5-131.5 316.5 131.5 131.5 316.5q0 26-19 45t-45 19h-64q-26 0-45-19t-19-45q0-106-75-181t-181-75-181 75-75 181v320h736z">
                      path>
                    svg>
                  span>
                  <input type="password" id="sign-in-email"
                    class="input input-bordered input-md w-full max-w-xs"
                    placeholder="Your password" />
                div>
              div>
              <div class="flex items-center mb-6 -mt-4">
                <div class="flex ml-auto">
                  <a href="#"
                    class="link link-hover">
                    Forgot Your Password?
                  a>
                div>
              div>
              <div class="flex w-full">
                <button type="submit" class="btn btn-secondary btn-outline">
                  Login
                button>
              div>
            form>
          div>
          <div class="flex items-center justify-center mt-6">
            <a href="#" target="_blank"
              class="link link-hover">
              <span class="ml-2">
                You don't have an account?
              span>
            a>
          div>
        div>

      section>
    div>
  section>
main>
{% endblock content %}

templates\search.html

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


{% if users %}
{% for user in users %}
<tr>
    <td>
        {{user.id}}td>
    <td>
        {{user.fname}}td>
    <td>
        {{user.lname}}td>
    <td>
        {{user.email}}td>
tr>
{% endfor %}
{% endif %}

使用 Tailwind CSS 生成 CSS

1

npx tailwindcss -i ./static/src/main.css -o ./static/dist/main.css --minify

运行 app

1

(venv)$ python app.py

访问 http://127.0.0.1:5000/ 查看效果

资料

ESP32 BLUFI 协议和代码实现梳理

Wed, 25 Oct 2023 23:02:30 +0800

Blufi 是乐鑫设计的一个用在 ESP32 上的蓝牙配网协议，网上开源 Blufi 协议细节和实现代码。最近一个项目需要用到 Blufi，将其移植到了 bk 的 bk7231n mcu WiFi 上。

下面是 esp-idf 上 Blufi 实现的代码整理。

移植过程主要需要关注 ble 驱动和应用 api 两部分，应用接口相关代码对平台没有太多依赖，主要解决从 esp-idf 迁移到新平台上的编译问题；ble 驱动层相关的代码则需要替换为新平台的实现，这里改动较为费劲。

Blufi 的代码流程可以看 esp-idf 代码中 blufi_profile_cb、esp_blufi_gap_event_handler、btc_blufi_cb_handler、btc_blufi_call_handler 这几个回调函数中各个事件的处理过程。驱动层主要关注的事情：

ble GATT UUID 配置
ble 广播开启和关闭
ble 连接断开，数据读写的事件的处理
wifi sta softap 的配置，状态获取，连接断开事件处理

Blufi 协议设计的一些考量

Blufi 协议帧格式如下。

帧不分片格式：

字段	值（字节）
类型（最低有效位）	1
帧控制	1
序列号	1
数据长度	1
数据	${Data Length}
校验（最高有效位）	2

帧分片格式：

字段	值（字节）
类型（最低有效位）	1
帧控制（分片）	1
序列号	1
数据长度	1
数据	内容总长度：2数据内容长度：${Data Length} - 2
校验（最高有效位）	2

Blufi 协议设计的一些考虑：

数据帧的功能区分：通过帧类型区分，分为数据帧和控制帧，以及子类型下的具体功能。
帧控制的作用：是否加密、校验、分片，是否需要ACK以及表明传输方向，提高灵活性。
保障数据安全：采用 DH 算法进行密钥协商, 128-AES 算法用于数据加密。
保障数据完整性：CRC16 算法用于校验和验证。
防止重放攻击：通过校验帧序列号来保障
传输长数据：数据长度1字节，一帧数据长度有限，长数据可帧分片传输，代码中根据mtu大小设置数据分片大小。

相比于其他常见的通信协议，Blufi 中没有用于帧同步的帧头帧尾，在 ble 传输中可能不用考虑，但在其他通信场景需要考虑帧同步的情况。

资料

wsl2 连接 USB 设备

Wed, 11 Oct 2023 00:41:49 +0800

windows 配置

下载安装 usbipd-win。

wsl 配置

安装 USBIP 工具和硬件数据库

输入 sudo apt install linux-tools-generic hwdata 和 sudo update-alternatives --install /usr/local/bin/usbip usbip /usr/lib/linux-tools/*-generic/usbip 20

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


hacper@LAPTOP-0RHP1TGD:~$ sudo apt install linux-tools-generic hwdata

Reading package lists... Donel /usr/local/bin/usbip usbip /usr/lib/linux-tools/*-generic/usbip 20
Building dependency tree
Reading state information... Done
Get:3 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 linux-tools-5.4.0-164 amd64 5.4.0-164.181 [5606 kB]
Get:4 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 linux-tools-5.4.0-164-generic amd64 5.4.0-164.181 [1996 B]
Get:5 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 linux-tools-generic amd64 5.4.0.164.161 [2460 B]
Fetched 5833 kB in 6s (940 kB/s)
Selecting previously unselected package hwdata.
(Reading database ... 50195 files and directories currently installed.)
Preparing to unpack .../hwdata_0.333-1_all.deb ...
Unpacking hwdata (0.333-1) ...
Selecting previously unselected package linux-tools-common.
Preparing to unpack .../linux-tools-common_5.4.0-164.181_all.deb ...
Unpacking linux-tools-common (5.4.0-164.181) ...
Selecting previously unselected package linux-tools-5.4.0-164.
Preparing to unpack .../linux-tools-5.4.0-164_5.4.0-164.181_amd64.deb ...
Unpacking linux-tools-5.4.0-164 (5.4.0-164.181) ...
Selecting previously unselected package linux-tools-5.4.0-164-generic.
Preparing to unpack .../linux-tools-5.4.0-164-generic_5.4.0-164.181_amd64.deb ...
Unpacking linux-tools-5.4.0-164-generic (5.4.0-164.181) ...
Selecting previously unselected package linux-tools-generic.
Preparing to unpack .../linux-tools-generic_5.4.0.164.161_amd64.deb ...
Unpacking linux-tools-generic (5.4.0.164.161) ...
Setting up hwdata (0.333-1) ...
Setting up linux-tools-common (5.4.0-164.181) ...
Setting up linux-tools-5.4.0-164 (5.4.0-164.181) ...
Setting up linux-tools-5.4.0-164-generic (5.4.0-164.181) ...
Setting up linux-tools-generic (5.4.0.164.161) ...
Processing triggers for man-db (2.9.1-1) ...

hacper@LAPTOP-0RHP1TGD:~$ sudo update-alternatives --install /usr/local/bin/usbip usbip /usr/lib/linux-tools/*-generic/usbip 20
update-alternatives: using /usr/lib/linux-tools/5.4.0-164-generic/usbip to provide /usr/local/bin/usbip (usbip) in auto mode

连接 USB 设备到 wsl

管理员权限打开 power shell，输入：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


PS C:\Users\hacper> usbipd wsl list

BUSID  VID:PID    DEVICE                                                        STATE
2-1    1ea7:0066  USB 输入设备                                                  Not attached
2-5    13d3:5471  XiaoMi Webcam                                                 Not attached
2-7    10a5:9200  FPC Fingerprint Reader (Disum), FPC Sensor Controller FW ...  Not attached
2-10   8087:0026  英特尔(R) 无线 Bluetooth(R)                                   Not attached
2-15   1058:25f3  USB Attached SCSI (UAS) 大容量存储设备                        Not attached

usbipd: warning: USB filter 'USBPcap' is known to be incompatible with this software; 'bind --force' will be required.

PS C:\Users\hacper> usbipd wsl attach --busid 2-15

usbipd: info: Using default WSL distribution 'Ubuntu'; specify the '--distribution' option to select a different one.
usbipd: warning: USB filter 'USBPcap' is known to be incompatible with this software; 'bind --force' will be required.

PS C:\Users\hacper> usbipd wsl list

BUSID  VID:PID    DEVICE                                                        STATE
2-1    1ea7:0066  USB 输入设备                                                  Not attached
2-5    13d3:5471  XiaoMi Webcam                                                 Not attached
2-7    10a5:9200  FPC Fingerprint Reader (Disum), FPC Sensor Controller FW ...  Not attached
2-10   8087:0026  英特尔(R) 无线 Bluetooth(R)                                   Not attached
2-15   1058:25f3  USB Attached SCSI (UAS) 大容量存储设备                        Attached - WSL

usbipd: warning: USB filter 'USBPcap' is known to be incompatible with this software; 'bind --force' will be required.
PS C:\Users\hacper>

wsl 中设置

1
2
3
4
5
6


hacper@LAPTOP-0RHP1TGD:~$ lsusb

Bus 002 Device 002: ID 1058:25f3 Western Digital Technologies, Inc. My Passport 25F3
Bus 002 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
hacper@LAPTOP-0RHP1TGD:~$

资料

使用 valgrind 检测内存问题示例

Sat, 19 Aug 2023 00:38:26 +0800

介绍

valgrind 是一套工具集，常用于检测软件内存泄漏和分析软件性能问题。本文只记录使用 valgrind 检测内存相关问题的示例。

valgrind 使用

使用 valgrind 调用将要测试的程序，加上参数 --leak-check=full --show-leak-kinds=all, 如下面示例，检测 test 程序有没有问题。

1

valgrind --leak-check=full --show-leak-kinds=all ./test

常见内存问题

内存泄漏

1
2
3
4
5
6
7
8


void test_memory_leak(void)
{
    char *test_data = NULL;
    test_data = malloc(1024);
    memset(test_data, 0, 1024);
    sprintf(test_data, "[test]\r\nkey=123\r\n");
    printf("test_data:%s\r\n", test_data);
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


valgrind --leak-check=full --show-leak-kinds=all ./build/build_out/target/test
==344== Memcheck, a memory error detector
==344== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward et al.
==344== Using Valgrind-3.15.0 and LibVEX; rerun with -h for copyright info
==344== Command: ./build/build_out/target/test
==344==
test_data:[test]
key=123

test count:36, test passed:36, 100.00%
==344== 
==344== HEAP SUMMARY:
==344==     in use at exit: 1,024 bytes in 1 blocks
==344==   total heap usage: 181 allocs, 180 frees, 28,748 bytes allocated
==344==
==344== 1,024 bytes in 1 blocks are definitely lost in loss record 1 of 1
==344==    at 0x483B7F3: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==344==    by 0x10A59C: test_memory_leak (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==344==    by 0x10A600: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==344==    by 0x10A61B: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==344==
==344== LEAK SUMMARY:
==344==    definitely lost: 1,024 bytes in 1 blocks
==344==    indirectly lost: 0 bytes in 0 blocks
==344==      possibly lost: 0 bytes in 0 blocks
==344==    still reachable: 0 bytes in 0 blocks
==344==         suppressed: 0 bytes in 0 blocks
==344==
==344== For lists of detected and suppressed errors, rerun with: -s
==344== ERROR SUMMARY: 1 errors from 1 contexts (suppressed: 0 from 0)

内存越界

写越界

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


void test_memory(void)
{
    // 内存越界示例
    char *test_data = NULL;
    test_data = malloc(10);
    memset(test_data, 0, 10);
    strcpy(test_data, "test");
    test_data[10] = '\0';
    free(test_data);
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


valgrind --leak-check=full --show-leak-kinds=all ./build/build_out/target/test
==56== Memcheck, a memory error detector
==56== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward et al.
==56== Using Valgrind-3.15.0 and LibVEX; rerun with -h for copyright info
==56== Command: ./build/build_out/target/test
==56==
==56== Invalid write of size 1
==56==    at 0x10A5AD: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==56==    by 0x10A5D5: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==56==    by 0x10A5F0: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==56==  Address 0x4a52c3a is 0 bytes after a block of size 10 alloc'd
==56==    at 0x483B7F3: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)       
==56==    by 0x10A57C: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==56==    by 0x10A5D5: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==56==    by 0x10A5F0: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==56==
test count:36, test passed:36, 100.00%
==56==
==56== HEAP SUMMARY:
==56==     in use at exit: 0 bytes in 0 blocks
==56==   total heap usage: 181 allocs, 181 frees, 27,734 bytes allocated
==56==
==56== All heap blocks were freed -- no leaks are possible
==56==
==56== For lists of detected and suppressed errors, rerun with: -s
==56== ERROR SUMMARY: 1 errors from 1 contexts (suppressed: 0 from 0)

读越界

1
2
3
4
5
6
7
8
9


void test_memory(void)
{
    char *test_data = NULL;
    test_data = malloc(10);
    memset(test_data, 0, 10);
    strcpy(test_data, "test");
    printf("test_data:%c\r\n", test_data[10]);
    free(test_data);
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


valgrind --leak-check=full --show-leak-kinds=all ./build/build_out/target/test
==118== Memcheck, a memory error detector
==118== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward et al.
==118== Using Valgrind-3.15.0 and LibVEX; rerun with -h for copyright info
==118== Command: ./build/build_out/target/test
==118==
==118== Invalid read of size 1
==118==    at 0x10A5AD: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==118==    by 0x10A5EB: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==118==    by 0x10A606: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==118==  Address 0x4a52c3a is 0 bytes after a block of size 10 alloc'd
==118==    at 0x483B7F3: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==118==    by 0x10A57C: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==118==    by 0x10A5EB: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==118==    by 0x10A606: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==118==
test_data:
test count:36, test passed:36, 100.00%
==118== 
==118== HEAP SUMMARY:
==118==     in use at exit: 0 bytes in 0 blocks
==118==   total heap usage: 181 allocs, 181 frees, 27,734 bytes allocated
==118==
==118== All heap blocks were freed -- no leaks are possible
==118==
==118== For lists of detected and suppressed errors, rerun with: -s
==118== ERROR SUMMARY: 1 errors from 1 contexts (suppressed: 0 from 0)

double free

1
2
3
4
5
6
7
8
9


void test_memory(void)
{
    char *test_data = NULL;
    test_data = malloc(10);
    memset(test_data, 0, 10);
    strcpy(test_data, "test");
    free(test_data);
    free(test_data);
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


valgrind --leak-check=full --show-leak-kinds=all ./build/build_out/target/test
==177== Memcheck, a memory error detector
==177== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward et al.
==177== Using Valgrind-3.15.0 and LibVEX; rerun with -h for copyright info
==177== Command: ./build/build_out/target/test
==177==
==177== Invalid free() / delete / delete[] / realloc()
==177==    at 0x483CA3F: free (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==177==    by 0x10A5BC: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==177==    by 0x10A5D6: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==177==    by 0x10A5F1: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==177==  Address 0x4a52c30 is 0 bytes inside a block of size 10 free'd
==177==    at 0x483CA3F: free (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==177==    by 0x10A5B0: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==177==    by 0x10A5D6: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==177==    by 0x10A5F1: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==177==  Block was alloc'd at
==177==    at 0x483B7F3: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==177==    by 0x10A57C: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==177==    by 0x10A5D6: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==177==    by 0x10A5F1: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==177==
test count:36, test passed:36, 100.00%
==177== 
==177== HEAP SUMMARY:
==177==     in use at exit: 0 bytes in 0 blocks
==177==   total heap usage: 181 allocs, 182 frees, 27,734 bytes allocated
==177==
==177== All heap blocks were freed -- no leaks are possible
==177==
==177== For lists of detected and suppressed errors, rerun with: -s
==177== ERROR SUMMARY: 1 errors from 1 contexts (suppressed: 0 from 0)

use after free

1
2
3
4
5
6
7
8
9


void test_memory(void)
{
    char *test_data = NULL;
    test_data = malloc(10);
    memset(test_data, 0, 10);
    strcpy(test_data, "test");
    free(test_data);
    printf("test_data:%s\r\n", test_data);
}

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112


valgrind --leak-check=full --show-leak-kinds=all ./build/build_out/target/test
==330== Memcheck, a memory error detector
==330== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward et al.
==330== Using Valgrind-3.15.0 and LibVEX; rerun with -h for copyright info
==330== Command: ./build/build_out/target/test
==330==
==330== Invalid read of size 1
==330==    at 0x483EF46: strlen (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x48CCD14: __vfprintf_internal (vfprintf-internal.c:1688)
==330==    by 0x48B5D3E: printf (printf.c:33)
==330==    by 0x10A5C8: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==  Address 0x4a52c30 is 0 bytes inside a block of size 10 free'd
==330==    at 0x483CA3F: free (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x10A5B0: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==  Block was alloc'd at
==330==    at 0x483B7F3: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x10A57C: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==
==330== Invalid read of size 1
==330==    at 0x483EF54: strlen (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x48CCD14: __vfprintf_internal (vfprintf-internal.c:1688)
==330==    by 0x48B5D3E: printf (printf.c:33)
==330==    by 0x10A5C8: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==  Address 0x4a52c31 is 1 bytes inside a block of size 10 free'd
==330==    at 0x483CA3F: free (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x10A5B0: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==  Block was alloc'd at
==330==    at 0x483B7F3: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x10A57C: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==
==330== Invalid read of size 1
==330==    at 0x48E370C: _IO_new_file_xsputn (fileops.c:1219)
==330==    by 0x48E370C: _IO_file_xsputn@@GLIBC_2.2.5 (fileops.c:1197)
==330==    by 0x48CB0FB: __vfprintf_internal (vfprintf-internal.c:1688)
==330==    by 0x48B5D3E: printf (printf.c:33)
==330==    by 0x10A5C8: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==  Address 0x4a52c33 is 3 bytes inside a block of size 10 free'd
==330==    at 0x483CA3F: free (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x10A5B0: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==  Block was alloc'd at
==330==    at 0x483B7F3: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x10A57C: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==
==330== Invalid read of size 1
==330==    at 0x48436A0: mempcpy (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x48E3631: _IO_new_file_xsputn (fileops.c:1236)
==330==    by 0x48E3631: _IO_file_xsputn@@GLIBC_2.2.5 (fileops.c:1197)
==330==    by 0x48CB0FB: __vfprintf_internal (vfprintf-internal.c:1688)
==330==    by 0x48B5D3E: printf (printf.c:33)
==330==    by 0x10A5C8: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==  Address 0x4a52c33 is 3 bytes inside a block of size 10 free'd
==330==    at 0x483CA3F: free (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x10A5B0: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==  Block was alloc'd at
==330==    at 0x483B7F3: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x10A57C: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==
==330== Invalid read of size 1
==330==    at 0x48436B2: mempcpy (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x48E3631: _IO_new_file_xsputn (fileops.c:1236)
==330==    by 0x48E3631: _IO_file_xsputn@@GLIBC_2.2.5 (fileops.c:1197)
==330==    by 0x48CB0FB: __vfprintf_internal (vfprintf-internal.c:1688)
==330==    by 0x48B5D3E: printf (printf.c:33)
==330==    by 0x10A5C8: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==  Address 0x4a52c31 is 1 bytes inside a block of size 10 free'd
==330==    at 0x483CA3F: free (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x10A5B0: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==  Block was alloc'd at
==330==    at 0x483B7F3: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==330==    by 0x10A57C: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5E2: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==    by 0x10A5FD: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==330==
test_data:test
test count:36, test passed:36, 100.00%
==330== 
==330== HEAP SUMMARY:
==330==     in use at exit: 0 bytes in 0 blocks
==330==   total heap usage: 181 allocs, 181 frees, 27,734 bytes allocated
==330==
==330== All heap blocks were freed -- no leaks are possible
==330==
==330== For lists of detected and suppressed errors, rerun with: -s
==330== ERROR SUMMARY: 13 errors from 5 contexts (suppressed: 0 from 0)

free 不存在的地址

1
2
3
4
5
6
7
8
9


void test_memory(void)
{
    char *test_data = NULL;
    test_data = malloc(10);
    memset(test_data, 0, 10);
    strcpy(test_data, "test");
    test_data++;
    free(test_data);
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38


valgrind --leak-check=full --show-leak-kinds=all ./build/build_out/target/test
==395== Memcheck, a memory error detector
==395== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward et al.
==395== Using Valgrind-3.15.0 and LibVEX; rerun with -h for copyright info
==395== Command: ./build/build_out/target/test
==395==
==395== Invalid free() / delete / delete[] / realloc()
==395==    at 0x483CA3F: free (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==395==    by 0x10A5B5: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==395==    by 0x10A5CF: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==395==    by 0x10A5EA: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==395==  Address 0x4a52c31 is 1 bytes inside a block of size 10 alloc'd
==395==    at 0x483B7F3: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==395==    by 0x10A57C: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==395==    by 0x10A5CF: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==395==    by 0x10A5EA: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==395==
test count:36, test passed:36, 100.00%
==395==
==395== HEAP SUMMARY:
==395==     in use at exit: 10 bytes in 1 blocks
==395==   total heap usage: 181 allocs, 181 frees, 27,734 bytes allocated
==395==
==395== 10 bytes in 1 blocks are definitely lost in loss record 1 of 1
==395==    at 0x483B7F3: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==395==    by 0x10A57C: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==395==    by 0x10A5CF: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==395==    by 0x10A5EA: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==395==
==395== LEAK SUMMARY:
==395==    definitely lost: 10 bytes in 1 blocks
==395==    indirectly lost: 0 bytes in 0 blocks
==395==      possibly lost: 0 bytes in 0 blocks
==395==    still reachable: 0 bytes in 0 blocks
==395==         suppressed: 0 bytes in 0 blocks
==395==
==395== For lists of detected and suppressed errors, rerun with: -s
==395== ERROR SUMMARY: 2 errors from 2 contexts (suppressed: 0 from 0)

访问非法地址

1
2
3
4
5
6
7


static void test_parser(void)
{
    test_parser_normal();
    // test abnormal
    test_parser_abnormal();
    test_memory();
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33


valgrind --leak-check=full --show-leak-kinds=all ./build/build_out/target/test
==480== Memcheck, a memory error detector
==480== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward et al.
==480== Using Valgrind-3.15.0 and LibVEX; rerun with -h for copyright info
==480== Command: ./build/build_out/target/test
==480==
==480== Invalid write of size 1
==480==    at 0x10A577: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==480==    by 0x10A593: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==480==    by 0x10A5AE: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==480==  Address 0x23444 is not stack'd, malloc'd or (recently) free'd
==480==
==480==
==480== Process terminating with default action of signal 11 (SIGSEGV)
==480==  Access not within mapped region at address 0x23444
==480==    at 0x10A577: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==480==    by 0x10A593: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==480==    by 0x10A5AE: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==480==  If you believe this happened as a result of a stack
==480==  overflow in your program's main thread (unlikely but
==480==  possible), you can try to increase the size of the
==480==  main thread stack using the --main-stacksize= flag.
==480==  The main thread stack size used in this run was 8388608.
==480== 
==480== HEAP SUMMARY:
==480==     in use at exit: 0 bytes in 0 blocks
==480==   total heap usage: 179 allocs, 179 frees, 26,700 bytes allocated
==480==
==480== All heap blocks were freed -- no leaks are possible
==480==
==480== For lists of detected and suppressed errors, rerun with: -s
==480== ERROR SUMMARY: 1 errors from 1 contexts (suppressed: 0 from 0)
make: *** [Makefile:12: memcheck] Segmentation fault

局部变量越界

写越界

1
2
3
4
5
6


void test_memory(void)
{
    char test_data[10] = {0};
    sprintf(test_data, "test333333333333333333");
    printf ("%s\r\n", test_data);
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


valgrind --leak-check=full --show-leak-kinds=all ./build/build_out/target/test
==527== Memcheck, a memory error detector
==527== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward et al.
==527== Using Valgrind-3.15.0 and LibVEX; rerun with -h for copyright info
==527== Command: ./build/build_out/target/test
==527==
test333333333333333333
*** stack smashing detected ***: terminated
==527==
==527== Process terminating with default action of signal 6 (SIGABRT)
==527==    at 0x489700B: raise (raise.c:51)
==527==    by 0x4876858: abort (abort.c:79)
==527==    by 0x48E126D: __libc_message (libc_fatal.c:155)
==527==    by 0x4983AB9: __fortify_fail (fortify_fail.c:26)
==527==    by 0x4983A85: __stack_chk_fail (stack_chk_fail.c:24)
==527==    by 0x10A5EC: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==527==    by 0x10A605: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==527==    by 0x1FFEFFFE4F: ???
==527==    by 0x10A620: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==527==
==527== HEAP SUMMARY:
==527==     in use at exit: 0 bytes in 0 blocks
==527==   total heap usage: 180 allocs, 180 frees, 27,724 bytes allocated
==527==
==527== All heap blocks were freed -- no leaks are possible
==527==
==527== For lists of detected and suppressed errors, rerun with: -s
==527== ERROR SUMMARY: 0 errors from 0 contexts (suppressed: 0 from 0)

读越界

1
2
3
4
5
6


void test_memory(void)
{
    char test_data[100] = {0};
    sprintf(test_data, "test333333333333333333");
    printf ("%c\r\n", test_data[100]);
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50


valgrind --leak-check=full --show-leak-kinds=all ./build/build_out/target/test
==571== Memcheck, a memory error detector
==571== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward et al.
==571== Using Valgrind-3.15.0 and LibVEX; rerun with -h for copyright info
==571== Command: ./build/build_out/target/test
==571==
==571== Conditional jump or move depends on uninitialised value(s)
==571==    at 0x48E4DDD: _IO_file_overflow@@GLIBC_2.2.5 (fileops.c:783)
==571==    by 0x48CD8ED: __vfprintf_internal (vfprintf-internal.c:1688)
==571==    by 0x48B5D3E: printf (printf.c:33)
==571==    by 0x10A632: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==571==    by 0x10A660: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==571==    by 0x10A67B: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==571==
==571== Syscall param write(buf) points to uninitialised byte(s)
==571==    at 0x4962077: write (write.c:26)
==571==    by 0x48E2E8C: _IO_file_write@@GLIBC_2.2.5 (fileops.c:1181)
==571==    by 0x48E4950: new_do_write (fileops.c:449)
==571==    by 0x48E4950: _IO_new_do_write (fileops.c:426)
==571==    by 0x48E4950: _IO_do_write@@GLIBC_2.2.5 (fileops.c:423)
==571==    by 0x48E36B4: _IO_new_file_xsputn (fileops.c:1244)
==571==    by 0x48E36B4: _IO_file_xsputn@@GLIBC_2.2.5 (fileops.c:1197)
==571==    by 0x48CAFE5: __vfprintf_internal (vfprintf-internal.c:1719)
==571==    by 0x48B5D3E: printf (printf.c:33)
==571==    by 0x10A632: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==571==    by 0x10A660: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==571==    by 0x10A67B: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==571==  Address 0x4a52c30 is 0 bytes inside a block of size 1,024 alloc'd
==571==    at 0x483B7F3: malloc (in /usr/lib/x86_64-linux-gnu/valgrind/vgpreload_memcheck-amd64-linux.so)
==571==    by 0x48D5D03: _IO_file_doallocate (filedoalloc.c:101)
==571==    by 0x48E5ECF: _IO_doallocbuf (genops.c:347)
==571==    by 0x48E4F2F: _IO_file_overflow@@GLIBC_2.2.5 (fileops.c:745)
==571==    by 0x48CD8ED: __vfprintf_internal (vfprintf-internal.c:1688)
==571==    by 0x48B5D3E: printf (printf.c:33)
==571==    by 0x10A632: test_memory (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==571==    by 0x10A660: test_parser (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==571==    by 0x10A67B: main (in /mnt/d/workspace/lwiniparser/build/build_out/target/test)
==571==

test count:36, test passed:36, 100.00%
==571== 
==571== HEAP SUMMARY:
==571==     in use at exit: 0 bytes in 0 blocks
==571==   total heap usage: 180 allocs, 180 frees, 27,724 bytes allocated
==571==
==571== All heap blocks were freed -- no leaks are possible
==571==
==571== Use --track-origins=yes to see where uninitialised values come from
==571== For lists of detected and suppressed errors, rerun with: -s
==571== ERROR SUMMARY: 2 errors from 2 contexts (suppressed: 0 from 0)

C 的结构体成员在内存中的存储顺序以及对硬件的描述能力

Wed, 19 Jul 2023 00:05:17 +0800

c 语言结构体成员和位域在内存中的存储方式

在小端存储的机器上，C编译器对结构体的成员按它们的声明顺序从低到高的地址进行存储，先定义的成员存储在内存的低地址，使用位域的时候也是类似，先定义的成员先占用低比特位。

c 语言怎么描述硬件寄存器？

通常硬件寄存器会映射到一段特定的内存地址，我们可以通过指针来访问和修改寄存器的内容。每个寄存器的功能不一定相同，需要根据硬件手册来具体定义。下面以某个芯片平台的 pwm 控制寄存器为例，说明如何使用 c 语言描述硬件寄存器。

这个平台有 4 个 pwm 外设，控制寄存器的基址分别是 0xD401A000，0xD401A400，0xD401A800 ，0xD401AC00，然后每个 pwm 有三个 32 位的寄存器，分别是 PWM_CRx，PWM_DCR，PWM_PCR。在这三个寄存器里面，不同的 bit 范围之间又控制着不同的功能。在 c 语言里面，可通过联合体、结构体和位域来定义这些寄存器的功能。

三个 pwm 控制寄存器的基地址:

1
2
3
4
5


#include 
#define  PWM0_BASE (0xD401A000)
#define  PWM1_BASE (0xD401A400)
#define  PWM2_BASE (0xD401A800)
#define  PWM3_BASE (0xD401AC00)

每个 pwm 有三个寄存器， PWM_CRx，PWM_DCR，PWM_PCR，与偏移地址对应，4字节递增:

1
2
3
4
5
6


typedef volatile struct 
{
    uint32_t PWM_CRx;   /*Offset: 0x00*/
    uint32_t PWM_DCR ;  /*Offset: 0x04*/
    uint32_t PWM_PCR ;  /*Offset: 0x08*/
}PWM_HW_T;

将 pwm 寄存器地址转换为 PWM_HW_T * 类型的指针，方便通过指针对数据进行读写:

1
2
3
4


#define HW_PWM0 ((PWM_HW_T *)(PWM0_BASE))
#define HW_PWM1 ((PWM_HW_T *)(PWM1_BASE))
#define HW_PWM2 ((PWM_HW_T *)(PWM2_BASE))
#define HW_PWM3 ((PWM_HW_T *)(PWM3_BASE))

每个寄存器的功能定义:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


// PWM_CRx 寄存器定义
typedef union 
{
    uint32_t v;
    struct 
    {
        uint32_t PRESCALE : 6;  //[5:0]
        uint32_t SD : 1;        //[6]
        uint32_t Reserved :25;  //[31:7]
    }d;
}REG_PWM_CRx_T;

// PWM_DCR 寄存器定义
typedef union 
{
    uint32_t v;
    struct 
    {
        uint32_t DCYCLE : 10;   //[9:0]
        uint32_t FD :1;         //[10]
        uint32_t Reserved :21;  //[31:11]
    }d;
}REG_PWM_DCR_T;

// PWM_PCR 寄存器定义
typedef union 
{
    uint32_t v;
    struct 
    {
        uint32_t PV : 10;     	//[9:0]
        uint32_t Reserved :22;  //[31:10]
    }d;
}REG_PWM_PCR_T;

操作 pwm 寄存器示例，读和写寄存器都可以通过指针操作实现:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


void PWM0_Init(void)
{
    PWM_HW_T *PWM = HW_PWM0;
    REG_PWM_CRx_T PWM_CRx = {0};
    REG_PWM_DCR_T PWM_DCR = {0};
    REG_PWM_PCR_T PWM_PCR = {0};


    PWM_CRx.d.PRESCALE = 0x3F;
    PWM_CRx.d.SD = 0;
    PWM_CRx.d.Reserved = 0;
    // 写  pwm0 的 PWM_CRx 寄存器
    PWM->PWM_CRx = PWM_CRx.v;
	
    // 读 pwm0 的 PWM_DCR 寄存器
    PWM_DCR.v = PWM->PWM_DCR;

    PWM_PCR.d.PV = 0x3FF;
    PWM_PCR.d.Reserved = 0;
    PWM->PWM_PCR = PWM_PCR.v; 
}

使用 wolfssl 实现 tls 通信示例

Sun, 09 Jul 2023 14:02:11 +0800

wolfssl 介绍

wolfssl 是一个轻量级的 ssl/tls 实现，可作为嵌入式设备上实现 tls 安全通信的另一个选择。

API 设计和实现

API 定义还是按照 mbedtls tls 客户端应用详解中的设计，内部实现换成 wolfssl 的使用流程。

1
2
3
4


void *qtf_tls_connect(const char *host, uint16_t port, qtf_tls_conn_param_t *param);
int qtf_tls_send(void *handle, const void *buf, uint32_t len, uint32_t timeout_ms);
int qtf_tls_recv(void *handle, void *buf, uint32_t len, uint32_t timeout_ms);
int qtf_tls_close(void *handle);

接口实现：

实现 tls client 主要使用到 wolfssl 下面的这几个 api，相比较于 mbedtls，wolfssl 是使用流程更加简洁。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


// 初始化和配置
wolfSSL_Init
wolfTLSv1_2_client_method
wolfTLSv1_3_client_method
wolfSSLv23_client_method
wolfSSL_SetIORecv
wolfSSL_SetIOSend
wolfSSL_CTX_set_verify
wolfSSL_CTX_load_verify_buffer
wolfSSL_CTX_use_certificate_buffer
wolfSSL_CTX_use_PrivateKey_buffer
wolfSSL_set_fd

// 创建和释放资源
wolfSSL_CTX_new
wolfSSL_new    
wolfSSL_free
wolfSSL_CTX_free
wolfSSL_Cleanup

// 连接关闭和收发数据
wolfSSL_connect
wolfSSL_shutdown
wolfSSL_write
wolfSSL_read   

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331


#include "qt_idf_config.h"

#include 
#include 
#include 

#include "qt_idf_tls.h"
#include "qt_idf_tcp.h"
#include "dlg/dlg.h"
#include "utils_timer.h"
#ifndef WOLFSSL_USER_SETTINGS
    #include 
#endif
#include 
#include 
#include 

typedef struct
{
    WOLFSSL_CTX* ctx;
    WOLFSSL*     ssl;
    WOLFSSL_METHOD* method;
    int fd;
}qtf_tls_handle_t;

// 自定义tcp 发送函数
static  int my_IOSend(WOLFSSL* ssl, char* buff, int sz, void* ctx)
{
    int ret = 0;
    int fd = *(int*)ctx;

    ret = qtf_tcp_send((void *)fd, (const char *)buff, sz, 1000);
    if (ret < 0)
    {
        dlg_error("qtf_tcp_send failed");
        return WOLFSSL_CBIO_ERR_GENERAL;
    }

    return ret;
}
// 自定义tcp 接收函数
static int my_IORecv(WOLFSSL* ssl, char* buff, int sz, void* ctx)
{
    int ret = 0;
    int fd = *(int*)ctx;

    ret = qtf_tcp_recv((void *)fd, (char *)buff, sz, 1000);
    if (ret < 0)
    {
        dlg_error("qtf_tcp_recv failed");
        return WOLFSSL_CBIO_ERR_GENERAL;
    }

    return ret;
}

// 初始化和配置参数
static int _tls_net_init(qtf_tls_handle_t *handle, qtf_tls_conn_param_t *param)
{
    int ret = -1;

    wolfSSL_Init();
    
    if(param->tls_version == QTF_TLS_VERSION_TLS1_2)
    {
        handle->method = wolfTLSv1_2_client_method();
    }
    else if(param->tls_version == QTF_TLS_VERSION_TLS1_3)
    {
        handle->method = wolfTLSv1_3_client_method();
    }
    else if(param->tls_version == QTF_TLS_VERSION_TLS1_2_1_3)
    {
        handle->method = wolfSSLv23_client_method();
    }
    else
    {
        dlg_error("not support tls version");
        goto error;
    }

    handle->ctx = wolfSSL_CTX_new(handle->method);
    if(!handle->ctx)
    {
        dlg_error("wolfSSL_CTX_new failed");
        goto error;
    }
	// 注册收发函数回调，使用自定义tcp收发的实现
    wolfSSL_SetIORecv(handle->ctx, my_IORecv);
    wolfSSL_SetIOSend(handle->ctx, my_IOSend);

    if(param->verify_mode == QTF_TLS_VERIFY_MODE_NONE || param->verify_mode == QTF_TLS_VERIFY_MODE_OPTIONAL)
    {
        wolfSSL_CTX_set_verify(handle->ctx, SSL_VERIFY_NONE, NULL);
    }
    else if (param->verify_mode == QTF_TLS_VERIFY_MODE_REQUIRED)
    {
        wolfSSL_CTX_set_verify(handle->ctx, SSL_VERIFY_PEER, NULL);
    }
    else
    {
        dlg_error("invalid verify mode");
        goto error;
    }

   

    if(param->auth_mode == QTF_TLS_AUTH_MODE_CERT)
    {
        if(param->ca_cert && param->ca_cert_len)
        {
            // 加载ca证书
            ret = wolfSSL_CTX_load_verify_buffer(handle->ctx, (const unsigned char *)param->ca_cert, param->ca_cert_len, SSL_FILETYPE_PEM);
            if (ret != SSL_SUCCESS)
            {
                dlg_error("wolfSSL_CTX_load_verify_buffer failed");
                goto error;
            }
        }
        else
        {
            if(param->verify_mode != QTF_TLS_VERIFY_MODE_NONE)
            {
                dlg_error("invalid ca cert");
                goto error;
            }
            dlg_info("verify mode is none");
        }
        
        if (param->client_cert && param->client_cert_len && param->client_key && param->client_key_len)
        {
            ret = wolfSSL_CTX_use_certificate_buffer(handle->ctx, (const unsigned char *)param->client_cert, param->client_cert_len, SSL_FILETYPE_PEM);
            if (ret != SSL_SUCCESS)
            {
                dlg_error("wolfSSL_CTX_use_certificate_buffer failed");
                goto error;
            }

            ret = wolfSSL_CTX_use_PrivateKey_buffer(handle->ctx, (const unsigned char *)param->client_key, param->client_key_len, SSL_FILETYPE_PEM);
            if (ret != SSL_SUCCESS)
            {
                dlg_error("wolfSSL_CTX_use_PrivateKey_buffer failed");
                goto error;
            }
        }
    }
    else if(param->auth_mode == QTF_TLS_AUTH_MODE_PSK)
    {
        
    }
    else
    {
        dlg_error("invalid auth mode");
        goto error;
    }

    handle->ssl = wolfSSL_new(handle->ctx);
    if(!handle->ssl)
    {
        dlg_error("wolfSSL_new failed");
        goto error;
    }

    ret = 0;
    return ret;

error:
    
    return ret;

}

static int __tls_net_deinit(qtf_tls_handle_t *handle)
{
    wolfSSL_shutdown(handle->ssl);
    wolfSSL_free(handle->ssl);
    wolfSSL_CTX_free(handle->ctx);
    wolfSSL_Cleanup();
    // 断开tcp连接
    qtf_tcp_close((void *)handle->fd);
    return 0;
}

void *qtf_tls_connect(const char *host, uint16_t port, qtf_tls_conn_param_t *param)
{
    qtf_tls_handle_t *handle = NULL;
    int ret = 0;

    if(!host || !param)
    {
        dlg_error("invalid param");
        goto error;
    }

    handle = (qtf_tls_handle_t *)malloc(sizeof(qtf_tls_handle_t));
    if(!handle)
    {
        dlg_error("malloc failed");
        goto error;
    }

    ret = _tls_net_init(handle, param);
    if(ret != 0)
    {
        dlg_error("tls net init failed");
        goto error;
    }

    dlg_info("Connecting to %s:%d...", host, port);
    // 先创建 tcp 连接
    handle->fd = (int)qtf_tcp_connect(host, port);
    if (handle->fd <= 0)
    {
        dlg_error("qtf_tcp_connect failed");
        goto error;
    }
    // 将套接字 fd 绑定到 ssl 操作句柄 
    wolfSSL_set_fd(handle->ssl, handle->fd);
	
    // 调用 wolfSSL_connect tls 连接
    ret = wolfSSL_connect(handle->ssl);
    if (ret != SSL_SUCCESS)
    {
        ret = wolfSSL_get_error(handle->ssl, ret);
        dlg_error("wolfSSL_connect failed ret:%d, 0x%04x",ret, ret < 0 ? -ret : ret);
        goto error;
    }
    return handle;

error:

    if(handle)
    {
        __tls_net_deinit(handle);
        free(handle);
    }

    return NULL;
}

int qtf_tls_send(void *handle, const void *buf, uint32_t len, uint32_t timeout_ms)
{
    qtf_tls_handle_t *tls_handle = (qtf_tls_handle_t *)handle;
    int ret = 0;
    int send_len = 0;
    timer_t timer;

    if(!handle || !buf || !len)
    {
        dlg_error("invalid param");
        return -1;
    }

    qtf_timer_init(&timer);
    qtf_timer_countdown_ms(&timer, timeout_ms);

    do
    {
        ret = wolfSSL_write(tls_handle->ssl, (const unsigned char *)buf + send_len, len - send_len);

        if (ret >= 0)
        {
            send_len += ret;
        }
        else
        {
            dlg_error("wolfSSL_write failed 0x%04x", ret < 0 ? -ret : ret);
            break;
        }

    } while (send_len < len && !qtf_timer_expired(&timer));

    if(send_len == 0)
    {
        return -1;
    }
    
    return send_len;
}
int qtf_tls_recv(void *handle, void *buf, uint32_t len, uint32_t timeout_ms)
{
    qtf_tls_handle_t *tls_handle = (qtf_tls_handle_t *)handle;
    int ret = 0;
    timer_t timer;
    int recv_len = 0;

    if(!handle || !buf || !len)
    {
        dlg_error("invalid param");
        return -1;
    }

    qtf_timer_init(&timer);
    qtf_timer_countdown_ms(&timer, timeout_ms);
    do
    {
        ret = wolfSSL_read(tls_handle->ssl, (unsigned char *)buf + recv_len, len - recv_len);

        if (ret >= 0)
        {
            recv_len += ret;
        }
        else
        {
            dlg_error("wolfSSL_read failed 0x%04x", ret < 0 ? -ret : ret);
            break;
        }
    } while (recv_len < len && !qtf_timer_expired(&timer));
    
    if(recv_len == 0)
    {
        return -1;
    }

    return recv_len;
}

int qtf_tls_close(void *handle)
{
    int ret = 0;
    qtf_tls_handle_t *tls_handle = (qtf_tls_handle_t *)handle;
    if (!handle)
    {
        dlg_error("invalid param");
        return -1;
    }
    __tls_net_deinit(tls_handle);
    free(tls_handle);

    return ret;
}

示例

上层封装的接口没有变，测试例子可以直接使用之前测试 mbedtls tls 连接的例子。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92


void shell_tlstest_cmd(int argc, char *argv)
{
	qtf_tls_conn_param_t tls_param = {0};
	void *tls_handle = NULL;
	char recv_buf[1024] = {0};
	int ret = 0;

	const char request[] = "GET /get?a=1 HTTP/1.1\r\n"
		"Host: httpbin.org\r\n"
		"Connection: close\r\n"
		"\r\n";
	const char *test_ca_cert =
		{

			"-----BEGIN CERTIFICATE-----\r\n"
			"MIIDdTCCAl2gAwIBAgILBAAAAAABFUtaw5QwDQYJKoZIhvcNAQEFBQAwVzELMAkG\r\n"
			"A1UEBhMCQkUxGTAXBgNVBAoTEEdsb2JhbFNpZ24gbnYtc2ExEDAOBgNVBAsTB1Jv\r\n"
			"b3QgQ0ExGzAZBgNVBAMTEkdsb2JhbFNpZ24gUm9vdCBDQTAeFw05ODA5MDExMjAw\r\n"
			"MDBaFw0yODAxMjgxMjAwMDBaMFcxCzAJBgNVBAYTAkJFMRkwFwYDVQQKExBHbG9i\r\n"
			"YWxTaWduIG52LXNhMRAwDgYDVQQLEwdSb290IENBMRswGQYDVQQDExJHbG9iYWxT\r\n"
			"aWduIFJvb3QgQ0EwggEiMA0GCSqGSIb3DQEBAQUAA4IBDwAwggEKAoIBAQDaDuaZ\r\n"
			"jc6j40+Kfvvxi4Mla+pIH/EqsLmVEQS98GPR4mdmzxzdzxtIK+6NiY6arymAZavp\r\n"
			"xy0Sy6scTHAHoT0KMM0VjU/43dSMUBUc71DuxC73/OlS8pF94G3VNTCOXkNz8kHp\r\n"
			"1Wrjsok6Vjk4bwY8iGlbKk3Fp1S4bInMm/k8yuX9ifUSPJJ4ltbcdG6TRGHRjcdG\r\n"
			"snUOhugZitVtbNV4FpWi6cgKOOvyJBNPc1STE4U6G7weNLWLBYy5d4ux2x8gkasJ\r\n"
			"U26Qzns3dLlwR5EiUWMWea6xrkEmCMgZK9FGqkjWZCrXgzT/LCrBbBlDSgeF59N8\r\n"
			"9iFo7+ryUp9/k5DPAgMBAAGjQjBAMA4GA1UdDwEB/wQEAwIBBjAPBgNVHRMBAf8E\r\n"
			"BTADAQH/MB0GA1UdDgQWBBRge2YaRQ2XyolQL30EzTSo//z9SzANBgkqhkiG9w0B\r\n"
			"AQUFAAOCAQEA1nPnfE920I2/7LqivjTFKDK1fPxsnCwrvQmeU79rXqoRSLblCKOz\r\n"
			"yj1hTdNGCbM+w6DjY1Ub8rrvrTnhQ7k4o+YviiY776BQVvnGCv04zcQLcFGUl5gE\r\n"
			"38NflNUVyRRBnMRddWQVDf9VMOyGj/8N7yy5Y0b2qvzfvGn9LhJIZJrglfCm7ymP\r\n"
			"AbEVtQwdpf5pLGkkeB6zpxxxYu7KyJesF12KwvhHhm4qxFYxldBniYUr+WymXUad\r\n"
			"DKqC5JlR3XC321Y9YeRq4VzW9v493kHMB65jUr9TU/Qr6cf9tveCX4XSQRjbgbME\r\n"
			"HMUfpIBvFSDJ3gyICh3WZlXi/EjJKSZp4A==\r\n"
			"-----END CERTIFICATE-----"};
	tls_param.auth_mode = QTF_TLS_AUTH_MODE_CERT;
	tls_param.verify_mode = QTF_TLS_VERIFY_MODE_OPTIONAL;
	tls_param.hanshake_timeout_ms = 10000;
	tls_param.ca_cert = test_ca_cert;
	tls_param.ca_cert_len = strlen(test_ca_cert);
	tls_param.client_cert = NULL;
	tls_param.client_cert_len = 0;
	tls_param.client_key = NULL;
	tls_param.client_key_len = 0;
	tls_param.client_key_passwd = NULL;
	tls_param.client_key_passwd_len = 0;
	tls_param.psk = NULL;
	tls_param.psk_len = 0;
	tls_param.psk_id = NULL;
	tls_param.debug_level = QTF_TLS_DEBUG_LEVEL_ERROR;
	tls_param.tls_version = QTF_TLS_VERSION_TLS1_2;
	tls_param.max_frag_len = QTF_TLS_MAX_FRAG_LEN_NO_USE;

	tls_handle = qtf_tls_connect("httpbin.org", 443, &tls_param);
	if(tls_handle)
	{
		shell_printf("tls connect success\r\n");
	}
	else
	{
		shell_printf("tls connect failed\r\n");
		return;
	}

	ret = qtf_tls_send(tls_handle, request, strlen(request), 1000);
	if(ret > 0)
	{
		shell_printf("tls send success\r\n");
	}
	else
	{
		shell_printf("tls send failed\r\n");
		qtf_tls_close(tls_handle);
		return;
	}

	ret = qtf_tls_recv(tls_handle, recv_buf, sizeof(recv_buf), 1000);
	if(ret > 0)
	{
		shell_printf("tls recv success\r\n");
		shell_printf("recv:%s\r\n", recv_buf);
	}
	else
	{
		shell_printf("tls recv failed\r\n");
		qtf_tls_close(tls_handle);
		return;
	}

	qtf_tls_close(tls_handle);

}

测试日志：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47


[qt_idf_tls.c:457 qtf_tls_connect] Connecting to httpbin.org:443...
[qt_idf_tcp.c:95 qtf_tcp_connect] connect to httpbin.org:443 success fd:744
[qt_idf_tcp.c:176 qtf_tcp_send] send 242 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 5 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 86 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 5 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 4953 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 5 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 333 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 5 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 4 bytes
[qt_idf_tcp.c:176 qtf_tcp_send] send 126 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 5 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 1 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 5 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 40 bytes
tls connect success
[qt_idf_tcp.c:176 qtf_tcp_send] send 92 bytes
tls send success
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 5 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 468 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 5 bytes
[qt_idf_tcp.c:267 qtf_tcp_recv] recv 26 bytes
[qt_idf_tls.c:651 qtf_tls_recv] wolfSSL_read failed 0x0001
tls recv success
recv:HTTP/1.1 200 OK
Date: Sun, 09 Jul 2023 06:51:29 GMT
Content-Type: application/json
Content-Length: 219
Connection: close
Server: gunicorn/19.9.0
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true

{
  "args": {
    "a": "1"
  },
  "headers": {
    "Host": "httpbin.org",
    "X-Amzn-Trace-Id": "Root=1-64aa58f1-17ce1f42274e9e4e44d6ea95"
  },
  "origin": "223.73.211.53",
  "url": "https://httpbin.org/get?a=1"
}

[qt_idf_tcp.c:176 qtf_tcp_send] send 31 bytes

参考资料

mbedtls tls 客户端应用详解

Sun, 02 Jul 2023 17:52:56 +0800

介绍 mbedtls 的 tls client 的使用方法，常见的功能参数配置和含义。当前使用的 mbedtls 版本是： mbedtls-3.4.0。

功能参数配置

需要配置的功能选项

设置 tls 协议版本: 配置 tls 1.2, tls 1.3, 还是二者都支持。
认证方式设置：单向认证、双向认证、还是 psk。
握手时的校验等级设置：不校验证书合法性，仅加密；校验，但如果失败也继续执行后面的握手流程；校验不通过则终止握手流程。
服务器ca证书设置
客户端证书和密钥设置
预定义共享密钥设置

编译配置

使用 mbedtls_config.h 配置文件，tls 1.2 默认打开，不需要修改，但 tls 1.3 未开启，需要特别设置。

1
2
3
4
5


//mbedtls_config.h 
#define MBEDTLS_SSL_PROTO_TLS1_3
#define MBEDTLS_SSL_TLS1_3_COMPATIBILITY_MODE
#define MBEDTLS_USE_PSA_CRYPTO
#define MBEDTLS_PSA_CRYPTO_CONFIG

解决 mps_common.h 中的编译问题，替换 MBEDTLS_MPS_STORED_SIZE_MAX 和 MBEDTLS_MPS_SIZE_MAX 宏定义。

1
2
3


//mps_common.h
#define MBEDTLS_MPS_STORED_SIZE_MAX  (SIZE_MAX)
#define MBEDTLS_MPS_SIZE_MAX  (SIZE_MAX)

API 设计和实现

接口处理的事情，主要是连接参数配置、打开和关闭连接，接收和发送数据。

数据结构定义：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63



typedef enum
{
    QTF_TLS_AUTH_MODE_CERT = 0, // 校验证书
    QTF_TLS_AUTH_MODE_PSK, // 预定义共享密钥
    QTF_TLS_AUTH_MODE_MAX
}qtf_tls_auth_mode_t;

typedef enum
{
    QTF_TLS_VERSION_TLS1_2 = 0,     // TLS v1.2
    QTF_TLS_VERSION_TLS1_3,         // TLS v1.3
    QTF_TLS_VERSION_TLS1_2_1_3,     // TLS v1.2 and TLS v1.3
    QTF_TLS_VERSION_MAX
}qtf_tls_version_t;

typedef enum
{
    QTF_TLS_VERIFY_MODE_NONE = 0, // 不校验证书是否合法
    QTF_TLS_VERIFY_MODE_OPTIONAL, // 证书校验失败，继续执行握手
    QTF_TLS_VERIFY_MODE_REQUIRED, // 证书校验失败终止握手，推荐配置
    QTF_TLS_VERIFY_MODE_MAX
}qtf_tls_verify_mode_t;

typedef enum
{
    QTF_TLS_DEBUG_LEVEL_NONE = 0,
    QTF_TLS_DEBUG_LEVEL_ERROR,
    QTF_TLS_DEBUG_LEVEL_STATE,
    QTF_TLS_DEBUG_LEVEL_INFO,
    QTF_TLS_DEBUG_LEVEL_VERBOSE,
}qtf_tls_debug_level_t;

// tls 报文分片大小设置
typedef enum
{
    QTF_TLS_MAX_FRAG_LEN_NO_USE = 0, // 不设置
    QTF_TLS_MAX_FRAG_LEN_512, // 设置 tls 报文分片大小 512 字节
    QTF_TLS_MAX_FRAG_LEN_1024,
    QTF_TLS_MAX_FRAG_LEN_2048,
    QTF_TLS_MAX_FRAG_LEN_4096,
}qtf_tls_max_frag_len_t;

typedef struct
{
    qtf_tls_auth_mode_t auth_mode; // 认证方式
    qtf_tls_verify_mode_t verify_mode; // 握手校验等级
    qtf_tls_version_t tls_version; // tls 协议版本设置
    qtf_tls_debug_level_t debug_level; // 调试日志等级设置
    qtf_tls_max_frag_len_t max_frag_len; // 报文分片大小设置
    uint32_t hanshake_timeout_ms; // 握手超时时间设置
    const char *ca_cert; 	// 服务器ca 证书
    uint32_t ca_cert_len;
    const char *client_cert; // 客户端证书
    uint32_t client_cert_len;
    const char *client_key; // 客户端密钥
    uint32_t client_key_len;
    const char *client_key_passwd;
    uint32_t client_key_passwd_len;
    const char *psk; // 预定义共享密钥
    uint32_t psk_len;
    const char *psk_id;
}qtf_tls_conn_param_t;

连接参数配置说明：

auth_mode：认证方式设置。

一是通过证书认证，另一个是通过预定义密钥 PSK。
verify_mode：握手的校验等级。

推荐配置为 QTF_TLS_VERIFY_MODE_REQUIRED。如果只是想加密而不校验，可以配置 QTF_TLS_VERIFY_MODE_NONE 或 QTF_TLS_VERIFY_MODE_OPTIONAL。
tls_version：tls 协议版本。

推荐配置成 tls 1.2 或 tls 1.3，tls 1.2 以下的版本不安全，tls 1.3 版本 mbedtls 没有完整支持。
debug_level：日志等级。

推荐设置 QTF_TLS_DEBUG_LEVEL_NONE 关闭日志输出。排查问题时可以将日志打开 QTF_TLS_DEBUG_LEVEL_VERBOSE（注意会打印密钥和收发数据的明文内容）。
max_frag_len：数据分片大小设置。

在客户端侧设置，用于协商数据分片大小，设置这个参数应该是出于对使用内存大小和带宽的考虑。

设置太小，可能会出现服务器证书接收不完整导致握手失败问题，但最大值也不能设置超过接收缓冲区的大小。
hanshake_timeout_ms：握手超时时间。
ca_cert：服务器的 ca 证书。

如果要求校验证书，则必须设置。客户端校验服务器是否合法，单向认证。
client_cert：客户端证书。

要求双向认证的时候必须设置，用于服务器校验客户端是否合法。同时还要设置 client_key。
psk ：预定义共享密钥。

psk 不需要证书认证，减少握手数据交互流程，但需要指定 psk_id 身份标识和指定加密套件。

接口定义：

1
2
3
4


void *qtf_tls_connect(const char *host, uint16_t port, qtf_tls_conn_param_t *param);
int qtf_tls_send(void *handle, const void *buf, uint32_t len, uint32_t timeout_ms);
int qtf_tls_recv(void *handle, void *buf, uint32_t len, uint32_t timeout_ms);
int qtf_tls_close(void *handle);

接口实现:

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380


#include 
#include 
#include 

#include "qt_idf_tls.h"
#include "dlg/dlg.h"

#include "mbedtls/net_sockets.h"
#include "mbedtls/ssl.h"
#include "mbedtls/ctr_drbg.h"
#include "mbedtls/debug.h"
#include "mbedtls/platform.h"
#include "mbedtls/timing.h"
#include "mbedtls/entropy.h"
#include "mbedtls/error.h"

typedef struct
{
    mbedtls_net_context      socket_fd;
    mbedtls_entropy_context  entropy;
    mbedtls_ctr_drbg_context ctr_drbg;
    mbedtls_ssl_context      ssl;
    mbedtls_ssl_config       ssl_conf;
    mbedtls_x509_crt         ca_cert;
    mbedtls_x509_crt         client_cert;
    mbedtls_pk_context       private_key;
}qtf_tls_handle_t;

#if defined(MBEDTLS_DEBUG_C)
static void _ssl_debug(void *ctx, int level, const char *file, int line, const char *str)
{
    printf("[mbedTLS]:[%s]:[%d]: %s\r\n", (file), line, (str));
}

#endif

static int _mbedtls_tcp_connect(mbedtls_net_context *ctx, const char *host, uint16_t port)
{
    int ret = 0;
    char port_str[6] = {0};

    snprintf(port_str, sizeof(port_str), "%d", port);

    ret = mbedtls_net_connect(ctx, host, port_str, MBEDTLS_NET_PROTO_TCP);
    if(ret != 0)
    {
        dlg_error("mbedtls_net_connect connect failed returned 0x%04x errno: %d", ret < 0 ? -ret : ret, errno);
       
        return ret;
    }

    ret = mbedtls_net_set_block(ctx);
    if(ret != 0)
    {
        dlg_error("mbedtls_net_set_block failed returned 0x%04x errno: %d", ret < 0 ? -ret : ret, errno);
        return ret;
    }

    return 0;
}

static int _tls_net_init(qtf_tls_handle_t *handle, qtf_tls_conn_param_t *param)
{
    int ret = -1;

    mbedtls_net_init(&(handle->socket_fd));
    mbedtls_ssl_init(&(handle->ssl));
    mbedtls_ssl_config_init(&(handle->ssl_conf));
    mbedtls_ctr_drbg_init(&(handle->ctr_drbg));
    
    mbedtls_entropy_init(&(handle->entropy));

#if defined(MBEDTLS_DEBUG_C)
    mbedtls_debug_set_threshold(param->debug_level);
    mbedtls_ssl_conf_dbg(&handle->ssl_conf, _ssl_debug, NULL);
#endif

#if defined(MBEDTLS_USE_PSA_CRYPTO) || defined(MBEDTLS_SSL_PROTO_TLS1_3)
    // tls 1.3 需要调用 psa_crypto_init
    ret = psa_crypto_init();
    if (ret != PSA_SUCCESS)
    {
        dlg_error("psa_crypto_init failed");
        goto error;
    }
#endif

    ret = mbedtls_ssl_conf_max_frag_len(&(handle->ssl_conf), param->max_frag_len);
    if (ret != 0)
    {
        dlg_error("mbedtls_ssl_conf_max_frag_len failed");
        goto error;
    }


    ret = mbedtls_ctr_drbg_seed(&(handle->ctr_drbg), mbedtls_entropy_func, &(handle->entropy), NULL, 0);
    if (ret != 0)
    {
        dlg_error("mbedtls_ctr_drbg_seed failed");
        goto error;
    }
	
    // 证书认证方式
    if(param->auth_mode == QTF_TLS_AUTH_MODE_CERT)
    {
        if(param->ca_cert && param->ca_cert_len)
        {
            mbedtls_x509_crt_init(&(handle->ca_cert));
            ret = mbedtls_x509_crt_parse(&(handle->ca_cert), (const unsigned char *)param->ca_cert, param->ca_cert_len+1);
            if (ret != 0)
            {
                dlg_error("mbedtls_x509_crt_parse failed");
                goto error;
            }
        }
        else
        {
            if(param->verify_mode != QTF_TLS_VERIFY_MODE_NONE)
            {
                dlg_error("invalid ca cert");
                goto error;
            }
            dlg_info("verify mode is none");
        }
        
        mbedtls_ssl_conf_ca_chain(&(handle->ssl_conf), &(handle->ca_cert), NULL);
		
        if (param->client_cert && param->client_cert_len && param->client_key && param->client_key_len)
        {
            // 双向认证
            mbedtls_x509_crt_init(&(handle->client_cert));
            mbedtls_pk_init(&(handle->private_key));
            ret = mbedtls_x509_crt_parse(&(handle->client_cert), (const unsigned char *)param->client_cert, param->client_cert_len + 1);
            if (ret != 0)
            {
                dlg_error("mbedtls_x509_crt_parse failed");
                goto error;
            }

            ret = mbedtls_pk_parse_key(&(handle->private_key), (const unsigned char *)param->client_key,
                                       param->client_key_len + 1, (const unsigned char *)param->client_key_passwd, param->client_key_passwd_len + 1, NULL, NULL);
            if (ret != 0)
            {
                dlg_error("mbedtls_pk_parse_key failed");
                goto error;
            }
            ret = mbedtls_ssl_conf_own_cert(&(handle->ssl_conf), &(handle->client_cert), &(handle->private_key));
            if (ret != 0)
            {
                dlg_error("mbedtls_ssl_conf_own_cert failed");
                goto error;
            }
        }
    }
    // psk 认证
    else if(param->auth_mode == QTF_TLS_AUTH_MODE_PSK)
    {
        if(param->psk && param->psk_len && param->psk_id)
        {
            ret = mbedtls_ssl_conf_psk(&(handle->ssl_conf), (const unsigned char *)param->psk, param->psk_len,
                                       (const unsigned char *)param->psk_id, strlen(param->psk_id));
            if (ret != 0)
            {
                dlg_error("mbedtls_ssl_conf_psk failed");
                goto error;
            }
        }
        else
        {
            dlg_error("invalid psk");
            goto error;
        }
    }
    else
    {
        dlg_error("invalid auth mode");
        goto error;
    }
    return ret;

error:
    
    return ret;

}

static int __tls_net_deinit(qtf_tls_handle_t *handle)
{
    mbedtls_net_free(&(handle->socket_fd));
    mbedtls_ssl_free(&(handle->ssl));
    mbedtls_ssl_config_free(&(handle->ssl_conf));
    mbedtls_ctr_drbg_free(&(handle->ctr_drbg));
    mbedtls_entropy_free(&(handle->entropy));
    mbedtls_x509_crt_free(&(handle->ca_cert));
    mbedtls_x509_crt_free(&(handle->client_cert));
    mbedtls_pk_free(&(handle->private_key));

    return 0;
}

void *qtf_tls_connect(const char *host, uint16_t port, qtf_tls_conn_param_t *param)
{
    qtf_tls_handle_t *handle = NULL;
    int ret = 0;

    if(!host || !param)
    {
        dlg_error("invalid param");
        goto error;
    }

    handle = (qtf_tls_handle_t *)malloc(sizeof(qtf_tls_handle_t));
    if(!handle)
    {
        dlg_error("malloc failed");
        goto error;
    }
	
    // 配置 tls 连接参数
    ret = _tls_net_init(handle, param);
    if(ret != 0)
    {
        dlg_error("tls net init failed");
        goto error;
    }

    dlg_info("Connecting to %s:%d...", host, port);
	// 建立 tcp 连接
    ret = _mbedtls_tcp_connect(&(handle->socket_fd), host, port);
    if (ret != 0)
    {
        dlg_error("mbedtls_tcp_connect failed");
        goto error;
    }
	
    // 设置 tls 客户端
    mbedtls_ssl_config_defaults(&(handle->ssl_conf), MBEDTLS_SSL_IS_CLIENT, MBEDTLS_SSL_TRANSPORT_STREAM, MBEDTLS_SSL_PRESET_DEFAULT);

    mbedtls_ssl_conf_read_timeout(&(handle->ssl_conf), param->hanshake_timeout_ms);
	
    // 配置认证等级
    mbedtls_ssl_conf_authmode(&(handle->ssl_conf), param->verify_mode);
	
    // 协议版本设置
    if(param->tls_version == QTF_TLS_VERSION_TLS1_2)
    {
        mbedtls_ssl_conf_max_tls_version(&(handle->ssl_conf), MBEDTLS_SSL_VERSION_TLS1_2);
        mbedtls_ssl_conf_min_tls_version(&(handle->ssl_conf), MBEDTLS_SSL_VERSION_TLS1_2);
    }
    else if(param->tls_version == QTF_TLS_VERSION_TLS1_3)
    {
        mbedtls_ssl_conf_max_tls_version(&(handle->ssl_conf), MBEDTLS_SSL_VERSION_TLS1_3);
        mbedtls_ssl_conf_min_tls_version(&(handle->ssl_conf), MBEDTLS_SSL_VERSION_TLS1_3);
    }
    else
    {
        mbedtls_ssl_conf_max_tls_version(&(handle->ssl_conf), MBEDTLS_SSL_VERSION_TLS1_3);
        mbedtls_ssl_conf_min_tls_version(&(handle->ssl_conf), MBEDTLS_SSL_VERSION_TLS1_2);
    }


    mbedtls_ssl_conf_rng(&(handle->ssl_conf), mbedtls_ctr_drbg_random, &(handle->ctr_drbg));

    // todo: config ciphersuites

    ret = mbedtls_ssl_setup(&(handle->ssl), &(handle->ssl_conf));
    if (ret != 0)
    {
        dlg_error("mbedtls_ssl_setup failed");
        goto error;
    }
	
    // 配置 tcp 收发函数，可自定义也可使用 mbedtls 的实现
    mbedtls_ssl_set_bio(&(handle->ssl), &(handle->socket_fd), mbedtls_net_send, mbedtls_net_recv, mbedtls_net_recv_timeout);
	
    // 设置服务器域名，目的是配置 SNI （Server Name Indication） 扩展。
    ret = mbedtls_ssl_set_hostname(&(handle->ssl), host);
    if (ret != 0)
    {
        dlg_error("mbedtls_ssl_set_hostname failed");
        goto error;
    }

    // 执行握手流程
    while ((ret = mbedtls_ssl_handshake(&(handle->ssl))) != 0)
    {
        if (ret != MBEDTLS_ERR_SSL_WANT_READ && ret != MBEDTLS_ERR_SSL_WANT_WRITE)
        {
            dlg_error("mbedtls_ssl_handshake failed 0x%04x", ret < 0 ? -ret : ret);
            goto error;
        }
    }
	
    // 证书校验结果
    ret = mbedtls_ssl_get_verify_result(&(handle->ssl));
    if (ret < 0)
    {
        dlg_error("mbedtls_ssl_get_verify_result  0x%04x", ret < 0 ? -ret : ret);
        goto error;
    }

    return handle;

error:

    if(handle)
    {
        __tls_net_deinit(handle);
        free(handle);
    }

    return NULL;
}

int qtf_tls_send(void *handle, const void *buf, uint32_t len, uint32_t timeout_ms)
{
    qtf_tls_handle_t *tls_handle = (qtf_tls_handle_t *)handle;
    int ret = 0;

    if(!handle || !buf || !len)
    {
        dlg_error("invalid param");
        return -1;
    }
	// 发送数据
    while ((ret = mbedtls_ssl_write(&(tls_handle->ssl), (const unsigned char *)buf, len)) <= 0)
    {
        if (ret != MBEDTLS_ERR_SSL_WANT_READ && ret != MBEDTLS_ERR_SSL_WANT_WRITE)
        {
            dlg_error("mbedtls_ssl_write failed 0x%04x", ret < 0 ? -ret : ret);
            return -1;
        }
    }

    return ret;
}
int qtf_tls_recv(void *handle, void *buf, uint32_t len, uint32_t timeout_ms)
{
    qtf_tls_handle_t *tls_handle = (qtf_tls_handle_t *)handle;
    int ret = 0;

    if(!handle || !buf || !len)
    {
        dlg_error("invalid param");
        return -1;
    }
	// 接收数据
    while ((ret = mbedtls_ssl_read(&(tls_handle->ssl), (unsigned char *)buf, len)) <= 0)
    {
        if (ret != MBEDTLS_ERR_SSL_WANT_READ && ret != MBEDTLS_ERR_SSL_WANT_WRITE)
        {
            dlg_error("mbedtls_ssl_read failed 0x%04x", ret < 0 ? -ret : ret);
            return -1;
        }
    }

    return ret;
}

int qtf_tls_close(void *handle)
{
    int ret = 0;
    qtf_tls_handle_t *tls_handle = (qtf_tls_handle_t *)handle;

    if (!handle)
    {
        dlg_error("invalid param");
        return -1;
    }
	// 关闭连接，释放资源
    do
    {
        ret = mbedtls_ssl_close_notify(&(tls_handle->ssl));
    } while (ret == MBEDTLS_ERR_SSL_WANT_READ || ret == MBEDTLS_ERR_SSL_WANT_WRITE);

    __tls_net_deinit(tls_handle);
    free(tls_handle);

    return 0;
}

测试例子

测试代码，连接 https 测试服务器 httpbin.org，发送一个 get 请求，并接收服务器回复。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90


void shell_tlstest_cmd(int argc, char *argv)
{
	qtf_tls_conn_param_t tls_param = {0};
	void *tls_handle = NULL;
	char recv_buf[1024] = {0};
	int ret = 0;

	const char request[] = "GET /get?a=1 HTTP/1.1\r\n"
		"Host: httpbin.org\r\n"
		"Connection: close\r\n"
		"\r\n";
	const char *test_ca_cert =
		{

			"-----BEGIN CERTIFICATE-----\r\n"
			"MIIDdTCCAl2gAwIBAgILBAAAAAABFUtaw5QwDQYJKoZIhvcNAQEFBQAwVzELMAkG\r\n"
			"A1UEBhMCQkUxGTAXBgNVBAoTEEdsb2JhbFNpZ24gbnYtc2ExEDAOBgNVBAsTB1Jv\r\n"
			"b3QgQ0ExGzAZBgNVBAMTEkdsb2JhbFNpZ24gUm9vdCBDQTAeFw05ODA5MDExMjAw\r\n"
			"MDBaFw0yODAxMjgxMjAwMDBaMFcxCzAJBgNVBAYTAkJFMRkwFwYDVQQKExBHbG9i\r\n"
			"YWxTaWduIG52LXNhMRAwDgYDVQQLEwdSb290IENBMRswGQYDVQQDExJHbG9iYWxT\r\n"
			"aWduIFJvb3QgQ0EwggEiMA0GCSqGSIb3DQEBAQUAA4IBDwAwggEKAoIBAQDaDuaZ\r\n"
			"jc6j40+Kfvvxi4Mla+pIH/EqsLmVEQS98GPR4mdmzxzdzxtIK+6NiY6arymAZavp\r\n"
			"xy0Sy6scTHAHoT0KMM0VjU/43dSMUBUc71DuxC73/OlS8pF94G3VNTCOXkNz8kHp\r\n"
			"1Wrjsok6Vjk4bwY8iGlbKk3Fp1S4bInMm/k8yuX9ifUSPJJ4ltbcdG6TRGHRjcdG\r\n"
			"snUOhugZitVtbNV4FpWi6cgKOOvyJBNPc1STE4U6G7weNLWLBYy5d4ux2x8gkasJ\r\n"
			"U26Qzns3dLlwR5EiUWMWea6xrkEmCMgZK9FGqkjWZCrXgzT/LCrBbBlDSgeF59N8\r\n"
			"9iFo7+ryUp9/k5DPAgMBAAGjQjBAMA4GA1UdDwEB/wQEAwIBBjAPBgNVHRMBAf8E\r\n"
			"BTADAQH/MB0GA1UdDgQWBBRge2YaRQ2XyolQL30EzTSo//z9SzANBgkqhkiG9w0B\r\n"
			"AQUFAAOCAQEA1nPnfE920I2/7LqivjTFKDK1fPxsnCwrvQmeU79rXqoRSLblCKOz\r\n"
			"yj1hTdNGCbM+w6DjY1Ub8rrvrTnhQ7k4o+YviiY776BQVvnGCv04zcQLcFGUl5gE\r\n"
			"38NflNUVyRRBnMRddWQVDf9VMOyGj/8N7yy5Y0b2qvzfvGn9LhJIZJrglfCm7ymP\r\n"
			"AbEVtQwdpf5pLGkkeB6zpxxxYu7KyJesF12KwvhHhm4qxFYxldBniYUr+WymXUad\r\n"
			"DKqC5JlR3XC321Y9YeRq4VzW9v493kHMB65jUr9TU/Qr6cf9tveCX4XSQRjbgbME\r\n"
			"HMUfpIBvFSDJ3gyICh3WZlXi/EjJKSZp4A==\r\n"
			"-----END CERTIFICATE-----"};
	tls_param.auth_mode = QTF_TLS_AUTH_MODE_CERT;
	tls_param.verify_mode = QTF_TLS_VERIFY_MODE_OPTIONAL;
	tls_param.hanshake_timeout_ms = 10000;
	tls_param.ca_cert = test_ca_cert;
	tls_param.ca_cert_len = strlen(test_ca_cert);
	tls_param.client_cert = NULL;
	tls_param.client_cert_len = 0;
	tls_param.client_key = NULL;
	tls_param.client_key_len = 0;
	tls_param.client_key_passwd = NULL;
	tls_param.client_key_passwd_len = 0;
	tls_param.psk = NULL;
	tls_param.psk_len = 0;
	tls_param.psk_id = NULL;
	tls_param.debug_level = QTF_TLS_DEBUG_LEVEL_ERROR;
	tls_param.tls_version = QTF_TLS_VERSION_TLS1_2;
	tls_param.max_frag_len = QTF_TLS_MAX_FRAG_LEN_NO_USE;

	tls_handle = qtf_tls_connect("httpbin.org", 443, &tls_param);
	if(tls_handle)
	{
		shell_printf("tls connect success\r\n");
	}
	else
	{
		shell_printf("tls connect failed\r\n");
		return;
	}

	ret = qtf_tls_send(tls_handle, request, strlen(request), 1000);
	if(ret > 0)
	{
		shell_printf("tls send success\r\n");
	}
	else
	{
		shell_printf("tls send failed\r\n");
		qtf_tls_close(tls_handle);
		return;
	}

	ret = qtf_tls_recv(tls_handle, recv_buf, sizeof(recv_buf), 1000);
	if(ret > 0)
	{
		shell_printf("tls recv success\r\n");
		shell_printf("recv:%s\r\n", recv_buf);
	}
	else
	{
		shell_printf("tls recv failed\r\n");
	}

	qtf_tls_close(tls_handle);

}

测试日志：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44


[qt_idf_tls.c:250 qtf_tls_connect] Connecting to httpbin.org:443...
[mbedTLS]:[D:/workspace/QT/qt_idf/components/mbedtls/library/ssl_client.c]:[258]: got supported group(001d)

[mbedTLS]:[D:/workspace/QT/qt_idf/components/mbedtls/library/ssl_client.c]:[258]: got supported group(0017)

[mbedTLS]:[D:/workspace/QT/qt_idf/components/mbedtls/library/ssl_client.c]:[258]: got supported group(0018)

[mbedTLS]:[D:/workspace/QT/qt_idf/components/mbedtls/library/ssl_client.c]:[258]: got supported group(001e)

[mbedTLS]:[D:/workspace/QT/qt_idf/components/mbedtls/library/ssl_client.c]:[258]: got supported group(0019)

[mbedTLS]:[D:/workspace/QT/qt_idf/components/mbedtls/library/ssl_client.c]:[258]: got supported group(001a)

[mbedTLS]:[D:/workspace/QT/qt_idf/components/mbedtls/library/ssl_client.c]:[258]: got supported group(001b)

[mbedTLS]:[D:/workspace/QT/qt_idf/components/mbedtls/library/ssl_client.c]:[258]: got supported group(001c)

[mbedTLS]:[D:/workspace/QT/qt_idf/components/mbedtls/library/ssl_tls.c]:[7384]: x509_verify_cert() returned -9984 (-0x2700)

[mbedTLS]:[D:/workspace/QT/qt_idf/components/mbedtls/library/ssl_tls12_client.c]:[2762]: Perform PSA-based ECDH computation.

tls connect success
tls send success
tls recv success
recv:HTTP/1.1 200 OK
Date: Sun, 02 Jul 2023 12:02:04 GMT
Content-Type: application/json
Content-Length: 220
Connection: close
Server: gunicorn/19.9.0
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true

{
  "args": {
    "a": "1"
  },
  "headers": {
    "Host": "httpbin.org",
    "X-Amzn-Trace-Id": "Root=1-64a1673a-5197ca4a2ff801443ac81bc6"
  },
  "origin": "223.73.211.183",
  "url": "https://httpbin.org/get?a=1"
}

参考文档

USIM 卡 ICCID 编码规则

Fri, 16 Jun 2023 00:04:40 +0800

USIM 卡的 ICCID 一共 20 位数字，其中最后一位为校验位。校验算法采用卢恩算法（Luhn algorithm），具体规则：

取前19位 . 从左到右奇数位开始. 乘以 2 然后计算个位与十位数之和。
将所有偶数位的数字与上一步得到的值全部相加。
将上一步得到的值乘以 9，然后对 10 取余，得到的值就是第20位的校验位。

另外需要留意，卡商印刷的时候不一定会印刷校验位，有些卡商会将第二十位数字印刷成卡商代码。

常见卡商代码：

卡商	代码
恒宝	B
北京华虹	H
握奇	W
金雅拓	Y
东信和平	X
武汉天喻	C
江西捷德	G

所以，印刷的卡号与从设备获取的卡号有可能不一致，对于业务使用，仅取前 19 位卡号。

使用 gcc 内置接口获取当前函数的返回地址

Sat, 27 May 2023 09:09:15 +0800

作为调试目的，有时候可能需要获取当前函数的调用者信息，比如在 malloc 申请一块内存的时候，记录 caller 的地址，当发生内存泄漏或者内存破坏时，可以使用 caller 地址大致定位是哪块代码有问题。

我们可以通过 GCC 的内置接口void * __builtin_return_address (unsigned int level) 获取当前函数的返回地址，也就是调用者。参数 level 表示扫描的栈帧层级，0 表示返回当前函数的返回地址，1 便是当前函数的调用者的返回地址，以此类推。

测试代码

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31


void test_return(void)
{
	shell_printf("test return\r\n");
	void *p =  __builtin_return_address (0);
	shell_printf("1 %p\r\n", p);
	p = __builtin_extract_return_addr (__builtin_return_address (0));
	shell_printf("2 %p\r\n", p);
}

void test_return1(void)
{
	test_return();
	shell_printf("test return\r\n");
}

/**
 * @brief test command
 */
void shell_test_cmd(int argc, char *argv)
{
	unsigned int i;
	shell_printf("test command:\r\n");
	for (i = 0; i < argc; i++)
	{
		shell_printf("paras %d: %s\r\n", i, &(argv[(int)argv[i]]));
	}
	test_return1();
	void *p = test_return1;
	shell_printf("%p\r\n", p);
	
}

1
2
3
4
5
6
7
8


nr@root:test
test command:
paras 0: test
test return
1 004EADA6
2 004EADA6
test return
004EAFB0

004EADA6 是 test_return 的返回地址。004EAFB0 是直接打印的函数地址，是 test_return 的入口地址。然后通过 addr2line.exe 验证这两个地址。

1
2
3
4
5


D:\workspace\QT\qt_idf\examples\shell>D:\workspace\QT\qt_idf\tools\mingw32\bin\addr2line.exe -e D:/workspace/QT/qt_idf/examples/shell/build/build_out/target/shell.exe -f 004EADA6 004EAFB0
test_return1
D:/workspace/QT/qt_idf/examples/shell/cmds/cmds.c:56
test_return1
D:/workspace/QT/qt_idf/examples/shell/cmds/cmds.c:54

004EADA6 是 test_return1 中第 56 行代码位置，004EAFB0 是 test_return1 中第 54 行代码位置。

另外，使用 addr2line.exe 还碰到出现 dwarf error: could not find abbrev number 108. 问题，原因是编译的时候没有打开调试信息，在编译配置中增加 -g3 即可解决。

关于 st7735s LCD 屏幕的一些问题处理

Thu, 25 May 2023 23:30:03 +0800

背景

最近碰到一些 st7735s 屏幕的调试问题，记录一下解决办法。

屏幕显示白边问题

问题现象是刷屏之后，屏幕右边和下边存在白边，没有显示内容。原因其实是屏幕显示的地址范围设置不正确，需要通过 0x2A、0x2B 指令设置行列地址偏移。

数据手册中对这两个命令的解释，0x2A命令带两个字节大小的两个参数，x_start、x_end，用来设置屏幕x轴上的显示地址范围，发数据的时候先发高字节再发第字节。

0x2B 指令也是带两个参数 y_start 、y_end ，数据大小 2 字节，用来设置y轴上的显示起始地址和结束地址。

示例代码修改屏幕显示地址偏移和范围：x: 1~128，y: 2~161。

屏幕规格书里写的屏幕分辨率是 128*128，st7735s 的数据手册提到可以通过硬件配置 3 种屏幕分辨率

128*160
132*132
132*162

从实际的调试来看，这块屏幕应该配置的是 132*162 分辨率，设置显示地址偏移和范围之后便能正常显示了。

设置屏幕显示旋转方向

有时候可能需要设置屏幕的显示方向，比如旋转 90°、180°、镜像显示等，可以通过 0x36 指令的 MX MY MV 三个参数来设置，具体参考 st7735s 的数据手册。

比如需要屏幕顺时针旋转 90° 显示，配置 0x36 指令的参数为 0x60。

RGB-BGR 颜色顺序问题

UI 的 RGB 颜色顺序有可能和驱动配置颜色顺序不一致，导致颜色显示不正常，可以通过 0x36 指令中的 RGB 参数设置颜色顺序。

休眠唤醒出现花屏问题

屏幕进入休眠再唤醒，出现花屏的现象。屏幕唤醒之后重新执行了初始化配置导致，规避方法是在屏幕初始化的时候不打开屏幕显示 0x29 指令，在刷屏的时候再开启屏幕显示。

rvemu 学习笔记-搭建开发环境

Sun, 21 May 2023 18:09:04 +0800

视频

搭建环境

计划使用docker 跑 ubuntu 20.04 系统，并将外部工程目录 D:\workspace\rvemu_env 挂载到容器内，方便共享文件。

1
2
3
4
5
6


PS C:\Users\hacper> docker run -itd -v D:\workspace\rvemu_env:/rvemu_env  --name rvemu ubuntu:20.04
79a6aa79f8523800b37f878e29a23b6b168808d4588b639a9d24e89743e7c3c3
PS C:\Users\hacper> docker attach 79a6aa79f8523
root@79a6aa79f852:/# ls
bin   dev  home  lib32  libx32  mnt  proc  run        sbin  sys  usr
boot  etc  lib   lib64  media   opt  root  rvemu_env  srv   tmp  var

安装开发需要的软件包：clang make gcc

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


root@79a6aa79f852:/# apt update && apt install clang make vim  gcc -y     

root@79a6aa79f852:/# clang -v
clang version 10.0.0-4ubuntu1
Target: x86_64-pc-linux-gnu
Thread model: posix
InstalledDir: /usr/bin
Found candidate GCC installation: /usr/bin/../lib/gcc/x86_64-linux-gnu/9
Found candidate GCC installation: /usr/lib/gcc/x86_64-linux-gnu/9
Selected GCC installation: /usr/bin/../lib/gcc/x86_64-linux-gnu/9
Candidate multilib: .;@m64
Selected multilib: .;@m64
root@79a6aa79f852:/# make -v
GNU Make 4.2.1
Built for x86_64-pc-linux-gnu
Copyright (C) 1988-2016 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later 
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

root@79a6aa79f852:/rvemu_env/rvemu# gcc -v
Using built-in specs.
COLLECT_GCC=gcc
COLLECT_LTO_WRAPPER=/usr/lib/gcc/x86_64-linux-gnu/9/lto-wrapper
OFFLOAD_TARGET_NAMES=nvptx-none:hsa
OFFLOAD_TARGET_DEFAULT=1
Target: x86_64-linux-gnu
Configured with: ../src/configure -v --with-pkgversion='Ubuntu 9.4.0-1ubuntu1~20.04.1' --with-bugurl=file:///usr/share/doc/gcc-9/README.Bugs --enable-languages=c,ada,c++,go,brig,d,fortran,objc,obj-c++,gm2 --prefix=/usr --with-gcc-major-version-only --program-suffix=-9 --program-prefix=x86_64-linux-gnu- --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-vtable-verify --enable-plugin --enable-default-pie --with-system-zlib --with-target-system-zlib=auto --enable-objc-gc=auto --enable-multiarch --disable-werror --with-arch-32=i686 --with-abi=m64 --with-multilib-list=m32,m64,mx32 --enable-multilib --with-tune=generic --enable-offload-targets=nvptx-none=/build/gcc-9-Av3uEd/gcc-9-9.4.0/debian/tmp-nvptx/usr,hsa --without-cuda-driver --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=x86_64-linux-gnu
Thread model: posix
gcc version 9.4.0 (Ubuntu 9.4.0-1ubuntu1~20.04.1) 

再安装 RV64 Newlib 版本的工具链: riscv64-elf-ubuntu-20.04-nightly-2023.05.19-nightly.tar.gz。下载到共享目录和解压，并添加路径到环境变量。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


root@79a6aa79f852:~# cp riscv64-elf-ubuntu-20.04-nightly-2023.05.19-nightly.tar.gz ~
root@79a6aa79f852:~# tar -xvf riscv64-elf-ubuntu-20.04-nightly-2023.05.19-nightly.tar.gz
root@79a6aa79f852:~# echo "export PATH=$PATH:/root/riscv/bin" > rvemu_env.sh
root@79a6aa79f852:~# source rvemu_env.sh

root@79a6aa79f852:~# riscv64-unknown-elf-gcc -v
Using built-in specs.
COLLECT_GCC=riscv64-unknown-elf-gcc
COLLECT_LTO_WRAPPER=/root/riscv/bin/../libexec/gcc/riscv64-unknown-elf/12.2.0/lto-wrapper
Target: riscv64-unknown-elf
Configured with: /home/runner/work/riscv-gnu-toolchain/riscv-gnu-toolchain/gcc/configure --target=riscv64-unknown-elf --prefix=/opt/riscv --disable-shared --disable-threads --enable-languages=c,c++ --with-pkgversion=g2ee5e430018 --with-system-zlib --enable-tls --with-newlib --with-sysroot=/opt/riscv/riscv64-unknown-elf --with-native-system-header-dir=/include --disable-libmudflap --disable-libssp --disable-libquadmath --disable-libgomp --disable-nls --disable-tm-clone-registry --src=.././gcc --disable-multilib --with-abi=lp64d --with-arch=rv64gc --with-tune=rocket --with-isa-spec=20191213 'CFLAGS_FOR_TARGET=-Os    -mcmodel=medlow' 'CXXFLAGS_FOR_TARGET=-Os    -mcmodel=medlow'
Thread model: single
Supported LTO compression algorithms: zlib
gcc version 12.2.0 (g2ee5e430018)

不安装 gcc 使用 riscv64-unknown-elf-gcc 编译代码会出现找不到 libmpc.so.3 的错误，所以在上一步把 gcc 也安装上。

1
2


root@79a6aa79f852:/rvemu_env/rvemu# riscv64-unknown-elf-gcc test.c -o test
/root/riscv/bin/../libexec/gcc/riscv64-unknown-elf/12.2.0/cc1: error while loading shared libraries: libmpc.so.3: cannot open shared object file: No such file or directory

vscode 连接到 docker 容器

vscode 可以直接连接到 docker 容器，不需要再配置网络、sshd 这些，也挺方便。在远程连接界面选择 Attach to Running Contaner 即可。编译跑一下已有的完整代码，验证环境是正常的。

makefile 基础知识

借助第一课的基础 makefile 文件，对 makefile 的基础知识做一个整理。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


CFLAGS=-O3 -Wall -Werror -Wimplicit-fallthrough
SRCS=$(wildcard src/*.c)
HDRS=$(wildcard src/*.h)
OBJS=$(patsubst src/%.c, obj/%.o, $(SRCS))
CC=clang

rvemu: $(OBJS)
	$(CC) $(CFLAGS) -lm -o $@ $^ $(LDFLAGS)

$(OBJS): obj/%.o: src/%.c $(HDRS)
	@mkdir -p $$(dirname $@)
	$(CC) $(CFLAGS) -c -o $@ $<

clean:
	rm -rf rvemu obj/

.PHONY: clean

makefile 的编写规则

makefile 文件记录了一个工程怎样构建编译得到目标产物的规则，makefile 的规则主要由目标、依赖和命令三部分组成。简单地理解 makefile 规则：想要生成的目标文件依赖于一个或者多个文件，目标的生成规则定义在命令中，一旦依赖文件有更新，就会执行命令构建目标文件。

makefile 通过文件的时间戳来判断是否文件有更新。

makefile文件规则：

1
2


目标：依赖
命令

目标：可以是可执行文件、中间文件、或者标签（伪目标）。

依赖：可以是源文件、其他目标。

命令：任何 shell 命令

如：

1
2


rvemu: $(OBJS)
	$(CC) $(CFLAGS) -lm -o $@ $^ $(LDFLAGS)

伪目标不会生成目标文件，只执行命令，用于执行某项特定的任务。

如：

1
2
3
4


clean:
	rm -rf rvemu obj/

.PHONY: clean

makefile 变量

makefile 里面可以定义和使用变量，可分为预定义变量、自定义变量和自动变量三部分。

常见的预定义变量

AR	归档维护程序的程序名，默认值为ar
ARFLAGS	归档维护程序的选项
AS	汇编程序的名称，默认值为as
ASFLAGS	汇编程序的选项
CC	C编译器的名称，默认值为cc
CFLAGS	C编译器的选项
CPP	C预编译器的名称，默认值为$(CC) -E
CPPFLAGS	C预编译的选项
CXX	C++编译器的名称，默认值为g++
CXXFLAGS	C++编译器的选项

环境变量也可以引用，也看作是预定义变量。

如：

1
2


CFLAGS=-O3 -Wall -Werror -Wimplicit-fallthrough
CC=clang

自定义变量和使用

变量名可以数字开头，区分大小写，定义方法:

变量名=变量值

如：

1
2
3


SRCS=$(wildcard src/*.c)
HDRS=$(wildcard src/*.h)
OBJS=$(patsubst src/%.c, obj/%.o, $(SRCS))

使用变量的值：

$(变量名)或${变量名}

如：

1
2


rvemu: $(OBJS)
	$(CC) $(CFLAGS) -lm -o $@ $^ $(LDFLAGS)

自动变量

$@	目标名
$<	依赖文件列表中的第一个文件
$^	依赖文件列表中除去重复文件的部分
$*	不包含扩展名的目标文件名称
$+	所有的依赖文件，以空格分开，并以出现的先后为序，可能包含重复的依赖文件
$?	所有时间戳比目标文件晚的依赖文件，并以空格分开
$%	如果目标是归档成员，则该变量表示目标的归档成员名称

如：

1
2
3
4
5
6


rvemu: $(OBJS)
	$(CC) $(CFLAGS) -lm -o $@ $^ $(LDFLAGS)

$(OBJS): obj/%.o: src/%.c $(HDRS)
	@mkdir -p $$(dirname $@)
	$(CC) $(CFLAGS) -c -o $@ $<

通配符

在规则中可以使用通配符：

*	匹配任意长度的任意字符序列。例如，`*.c` 匹配所有以 `.c` 结尾的文件。
?	匹配任意单个字符。例如，`file?.txt` 可以匹配 `file1.txt`, `file2.txt`,等。
[]	匹配方括号内的任意一个字符。例如，`file[123].txt` 可以匹配 `file1.txt`, `file2.txt`, `file3.txt`。

如：

1
2
3


SRCS=$(wildcard src/*.c)
clean:
    rm -f *.o

在 Makefile 中，% 通配符用于模式规则（pattern rules）中，表示匹配任意字符序列。

如：

1

OBJS=$(patsubst src/%.c, obj/%.o, $(SRCS))

函数

Makefile 中有很多内建函数。以下是一些常见的内建函数及其功能：

$(subst from, to, text)：在 text 中替换 from 为 to。 STR := replaceAwithB RESULT := $(subst A, B, $(STR))

RESULT 的值将是 “replBceAwithB”
$(patsubst pattern, replacement, text)：对 text 进行模式替换，将符合 pattern 的字符串替换为 replacement。 SOURCES := file1.c file2.c file3.c OBJECTS := $(patsubst %.c,%.o,$(SOURCES))

OBJECTS 的值将是 “file1.o file2.o file3.o”
$(strip string)：删除 string 首尾的空白字符（空格和制表符）。 STR = This is a string RESULT := $(strip $(STR)) RESULT 的值将是 “This is a string”
$(findstring find, in)：在字符串 in 中查找子串 find，如果找到，返回 find，否则返回空字符串。 IFDEF_TEST := $(findstring TEST, $(DEFINES)) $(filter pattern, text)：从 text 中选择符合 pattern 的字符串。支持 ? 和 % 通配符。 FILES := a.c b.h c.cpp d.hpp C_FILES :=\$(filter %.c %.cpp, $(FILES)) C_FILES 的值将是 “a.c c.cpp”
$(filter-out pattern, text)：从 text 中排除符合 pattern 的字符串。支持 ? 和 % 通配符。 FILES := a.c b.h c.cpp d.hpp NOT_C_FILES := $(filter-out %.c %.cpp, $(FILES))

NOT_C_FILES 的值将是 “b.h d.hpp”
$(sort list)：对 list 中的单词进行排序并删除重复项。 WORDS := Z A A C B Y UNIQUE_SORTED :=\ $(sort $(WORDS)) UNIQUE_SORTED 的值将是 “A B C Y Z”
$(dir names)：返回 names 中各文件的目录部分，包括最后的斜杠。 FILES := src/a.c include/b.h DIRS := $(dir $(FILES)) DIRS 的值将是 “src/ include/”
$(wildcard pattern)：返回符合 pattern 的文件列表。 C_FILES := $(wildcard *.c)

这只是 Makefile 中内建函数的一部分。更多函数和详细使用方法，可以查阅 GNU Make 的官方文档： https://www.gnu.org/software/make/manual/make.html

DRAM "Row Hammer" 问题

Thu, 18 May 2023 23:11:21 +0800

背景

最近遇到一个内存被破坏的死机问题，一开始排查以为是应用程序踩内存导致 heap 被破坏，后面排查发现是内存中某一个比特位发生翻转，由 0 变成 1，或者由 1 变成 0，导致程序读取数据异常触发死机，最后靠提供 pSRAM 的刷新率来规避该问题。在解决这个问题的过程中了解到 DRAM 的 “Row Hammer” 现象，我也是第一次遇到，做一下知识总结。

什么是 “Row Hammer” 现象？

“Row Hammer” 翻译过来叫 “行锤”，是目前所有 DRAM 类型存储器存在的一个硬件问题。“Row Hammer” 现象是指对 DRAM 的某一行内存高频率地反复进行读写，会对其相邻行内存造成冲击。如果在一个刷新周期内对同一个内存单元读写超过了一定次数，那么可能导致相邻的内存单元的位状态改变，从而造成数据丢失和损坏，这并不是永久性的内存数据破坏，正常情况下，下一次刷新时间到了，可以恢复原来正常数据状态。

“Row Hammer” 产生的原因

随着 DRAM 制造工艺的发展，DRAM 的存储密度不断增大，内存单元体积也不断缩小，其存储的电荷数量也随之减小，内存单元之间噪声容限降低，导致相互独立的 2 个内存单元之间的电荷相互影响。如果反复高频率地访问同一行内存，则来自过度激活行的电荷会泄漏到相邻行中，导致位反转现象，即0反转为1，1反转为0。

规避方法

一种简单有效的方法是提高 DRAM 的刷新率，刷新率越高，在刷新周期内的读写次数越少，从而减少出现 Row Hammer 的概率。提高刷新率的缺点是会干扰 DRAM 的访问，减慢系统速度，同时增加内存的功耗。

其他规避方法：

ECC（error corrected code），缺点也是会降低系统访问速度，同时增加成本。
PARA（probabilistic adjacent row activation），PARA技术的主要原理是每当一个行关闭时，内存控制器都会以一定的概率来刷新该行邻接行的值
TRR（target row refresh），这种技术采用了一种特殊模块，从而可以跟踪记录内存中哪些行经常被激活，并且刷新这些激活行相邻行的值。

参考资料

【EC200A 学习笔记】-- 搭建开发环境

Sun, 14 May 2023 00:49:37 +0800

软件安装包和环境概览

VMware 虚拟机，运行 ubuntu 系统，用于源码编译。
Quectel_Windows_USB_Driver(A)_Customer_V1.0.9.zip usb 驱动，烧写固件查看日志的前提。
CATStudio 日志工具
MobaXterm

非必须，看串口日志，登录系统。
adb

传输文件，登录shell等。
SWDownloader_4_9_0_4.7z

烧写固件工具

步骤

安装软件依赖

安装 ubuntu 2202.4 虚拟机环境，尝试过 wsl2 ，编译不行，还是得上 VMware。

ubuntu 需要安装软件包：

1

sudo apt install build-essential bison flex zlib1g-dev libncurses5-dev subversion quilt intltool ruby fastjar zip unzip gawk git-core python-is-python3 python3 -y

获取代码

配置 git：

1
2


abc@abc-virtual-machine:~$ git config --global user.name abc.abc
abc@abc-virtual-machine:~$ git config --global user.email abc.abc@abc.com

配置ssh：

密钥已经有了，且添加公钥到了 gitlab 服务器上，这里只拷贝添加一下私钥，用于拉代码。

1
2
3
4
5
6
7


cd ~
mkdir .ssh
cd .ssh/
mv ~/Desktop/id_rsa_p_id_ed25519 .
sudo chmod 400 id_rsa_p_id_ed25519 
ssh-add id_rsa_p_id_ed25519
ssh-agent 

拉取代码：

1

git clone ssh://git@git-master.quectel.com:8407/ec200a/ec200a_linux.git -b master_r02

编译

编译命令：

1
2
3
4
5
6
7
8
9


# 配置环境变量
source package/quectel/compile/ql_build_config
# 查看可选配置
buildconfig
# 配置编译的目标产品
buildconfig EC200A_ELAA EC200A_ELAA_v01 STD

# 执行编译
build_fw

烧录

烧写固件之前需要安装 usb 驱动，解压 Quectel_Windows_USB_Driver(A)_Customer_V1.0.9.zip 压缩包进行安装即可。

生成固件在路径：bin/target

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


abc@abc-virtual-machine:~/ec200a_linux$ tree bin/target/
bin/target/
├── EC20001A01M1G
│   ├── dbg
│   │   ├── Boerne_DIAG.mdb.txt
│   │   ├── CRANE_DS_XIP_DM_GENERIC_DIAG.mdb
│   │   ├── CRANE_DS_XIP_DM_GENERIC_NVM.mdb
│   │   └── MDB.txt
│   ├── mversion
│   └── update
│       ├── ARBEL.bin
│       ├── MSA.bin
│       ├── oem_data.ubi
│       ├── quectel_skylark_pm802_standard_AB_1G.blf
│       ├── RFPLUGIN.bin
│       ├── root.squashfs
│       ├── TLoader_QSPINAND.bin
│       ├── u-boot.bin
│       └── zImage
├── EC20001A01M1G_fota
│   ├── md5sums
│   ├── mversion
│   └── update
│       ├── quectel_skylark_pm802_AB_OTA_local.img
│       ├── quectel_skylark_pm802_AB_OTA_url.img
│       └── quectel_skylark_pm802_standard_AB_1G.blf
└── EC20001A01M1G.zip

5 directories, 20 files

烧录使用 SWDownloader 工具打开 quectel_skylark_pm802_standard_AB_1G.blf，先点击左上角绿色的指示灯按钮，复位模组即可进行固件烧写。

windows 10 设置网卡优先级

Sun, 14 May 2023 00:12:17 +0800

背景

工作中需要连接内网（以太网）和访客网络（WiFi），内网有一些限制，会有一些网站无法访问。同时接入内网和外网，有时候上网网络默认会走内网路由导致无法上网，所以不得不临时禁用内网，此时内网机器又会断连…，浪费时间在两个网络切来切去。

后面想了一下，是否可以设置上网时的网卡的优先级呢，优先使用WiFi的访客网络，其次才用内网。网上查了一下方法，还真可以。

设置网卡优先级方法

其实是通过修改路由的跃点数来修改网络的优先级的，跃点越小，优先级越高，按照下图，在控制面版将外网的跃点数修改到小于内网的跃点数，优先使用外网。

内网访问，再添加固定路由：

1

route add -p 192.168.92.208 mask 255.255.255.0 192.168.92.13 metric 3

参考

windows双网卡时设置网络优先级

EC200A 通过 CATsudio 导出系统文件方法

Fri, 12 May 2023 00:16:46 +0800

介绍

ASR EC200A 平台可以通过CATsudio 的 Flashexplorer 导出模组文件系统内的文件。除了文件导出，Flashexplorer 也支持文件的增删查改。

使用步骤

先要匹配 mdb 文件，EC200A 有两个mdb 文件，一个是cp侧的（MDB.txt），另一个是ap侧的（Boerne_DIAG.mdb.txt）。

两个文件更新之后，右上角两个图标显示绿色，表示匹配正确。

然后在工具栏选择 Flashexplorer

注意 EC200A 要选择 Application Core，与 cat 1 的不同之处。

之后会显示文件目录树，在下面的窗口，可以对这些文件进行打开，修改、重命名等动作。

参考文档

《FlashExplorer_UserGuide_chs.pdf》

软件模拟 I2C 协议实现笔记

Wed, 10 May 2023 00:08:18 +0800

背景

最近一个项目调试屏幕驱动，通信接口是I2C，由于硬件设计上的原因，不得不使用 GPIO 模拟 I2C 的方式与屏幕通信，所以在网上找了一下模拟 I2C 的实现，最终选择了 github 上的 soft-i2c 项目，链接： https://github.com/liyanboy74/soft-i2c ，借助软件模拟 I2C 代码的实现，再来学习一下 I2C 通信协议。

I2C 介绍

I2C 在硬件上有两个信号信号线，SCL 和 SDA。

SCL ：时钟信号，由主机控制。
SDA：数据信号，主机和从机都可以控制，SDA 带上拉电阻。

由于只有一根数据线，所以主机和从机之间只能是半双工通信。

I2C 通信的几个阶段：

空闲状态：SCL 和 SDA 都为 1，高电平。
发送起始信号：主机首先拉低 SDA，然后拉低 SCL，表示开始通信。
数据通信：发送数据和应答。发送数据时，在 SCL上升沿采样数据，期间需要保持 SDA 信号不变，然后在 SCL下降沿修改数据。

每发送一个字节数据都要回应，ACK 是低电平有效，0 表示接收成功，1 表示失败。

标准通信协议：先发 7 位从机地址和读写标志（0 表示写，1 表示读），后面根据从机协议定义，再发寄存器地址或者其他控制指令。
发送结束信号：主机首先拉高 SCL，然后拉高 SDA，表示通信结束。

其他的特点总结：

采用主从结构，支持一主多从。
可靠性高，每发送一个字节都有应答 ACK 。

接口定义

数据结构定义了硬件相关的一些操作，比如设置 GPIO 的输入输出方向、读写 GPIO 电平、硬件初始化和微秒级延时。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20



typedef enum
{
    HAL_IO_OPT_SET_SDA_LOW = 0,
    HAL_IO_OPT_SET_SDA_HIGH,
    HAL_IO_OPT_SET_SCL_LOW,
    HAL_IO_OPT_SET_SCL_HIGH,
    HAL_IO_OPT_SET_SDA_INPUT,
    HAL_IO_OPT_SET_SDA_OUTPUT,
    HAL_IO_OPT_SET_SCL_INPUT,
    HAL_IO_OPT_SET_SCL_OUTPUT,
    HAL_IO_OPT_GET_SDA_LEVEL,
    HAL_IO_OPT_GET_SCL_LEVEL,
}hal_io_opt_e;

typedef struct sw_i2c_s {
    int (*hal_init)(void);
    int (*hal_io_ctl)(hal_io_opt_e opt, void *arg);
    void (*hal_delay_us)(uint32_t us);
} sw_i2c_t;

在应用接口定义上，主要是初始化和读写数据的接口。

1
2
3
4
5
6
7


/* functions */
void SW_I2C_initial(sw_i2c_t *d);
uint8_t SW_I2C_Read_8addr(sw_i2c_t *d, uint8_t IICID, uint8_t regaddr, uint8_t *pdata, uint8_t rcnt);
uint8_t SW_I2C_Read_16addr(sw_i2c_t *d, uint8_t IICID, uint16_t regaddr, uint8_t *pdata, uint8_t rcnt);
uint8_t SW_I2C_Write_8addr(sw_i2c_t *d, uint8_t IICID, uint8_t regaddr, uint8_t *pdata, uint8_t rcnt);
uint8_t SW_I2C_Write_16addr(sw_i2c_t *d, uint8_t IICID, uint16_t regaddr, uint8_t *pdata, uint8_t rcnt);
uint8_t SW_I2C_Check_SlaveAddr(sw_i2c_t *d, uint8_t IICID);

接口实现解析

移植

最新的代码剥离了硬件相关的逻辑，方便移植，根据具体平台实现 sw_i2c_t 结构体中的硬件相关的操作即可。下面是展锐 8850 平台的移植代码。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77


#include "sw_i2c.h"

#include "ql_api_osi.h"
#include "ql_gpio.h"

#define AIP_SPI_DIO GPIO_35
#define AIP_SPI_CLK GPIO_37

#define SW_I2C1_SCL_PIN     AIP_SPI_CLK
#define SW_I2C1_SDA_PIN     AIP_SPI_DIO


static int sw_i2c_port_initial(void)
{
    ql_gpio_init(AIP_SPI_DIO, GPIO_OUTPUT, PULL_NONE, LVL_HIGH); // DIO
    ql_gpio_init(AIP_SPI_CLK, GPIO_OUTPUT, PULL_NONE, LVL_HIGH); // CLK
    ql_delay_us(SW_I2C_WAIT_TIME);
    return 0;
}

static void sw_i2c_port_delay_us(uint32_t us)
{
    ql_delay_us(us);
}

static int sw_i2c_port_io_ctl(uint8_t opt, void *param)
{
    int ret = -1;
    ql_LvlMode l = 0;
    switch (opt)
    {
    case HAL_IO_OPT_SET_SDA_HIGH:
        ql_gpio_set_level(SW_I2C1_SDA_PIN, LVL_HIGH);
        break;
    case HAL_IO_OPT_SET_SDA_LOW:
        ql_gpio_set_level(SW_I2C1_SDA_PIN, LVL_LOW);
        break;
    case HAL_IO_OPT_GET_SDA_LEVEL:
        ql_gpio_get_level(SW_I2C1_SDA_PIN, &l);
        ret = l;
        break;
    case HAL_IO_OPT_SET_SDA_INPUT:
        ql_gpio_set_direction(SW_I2C1_SDA_PIN, GPIO_INPUT);
        ql_gpio_set_pull(SW_I2C1_SDA_PIN, PULL_NONE);
        break;
    case HAL_IO_OPT_SET_SDA_OUTPUT:
        ql_gpio_set_direction(SW_I2C1_SDA_PIN, GPIO_OUTPUT);
        break;
    case HAL_IO_OPT_SET_SCL_HIGH:
        ql_gpio_set_level(SW_I2C1_SCL_PIN, LVL_HIGH);
        break;
    case HAL_IO_OPT_SET_SCL_LOW:
        ql_gpio_set_level(SW_I2C1_SCL_PIN, LVL_LOW);
        break;
    case HAL_IO_OPT_GET_SCL_LEVEL:
        ql_gpio_get_level(SW_I2C1_SCL_PIN, &l);
        ret = l;
        break;
    case HAL_IO_OPT_SET_SCL_INPUT:
        ql_gpio_set_direction(SW_I2C1_SCL_PIN, GPIO_INPUT);
        ql_gpio_set_pull(SW_I2C1_SCL_PIN, PULL_NONE);
        break;
    case HAL_IO_OPT_SET_SCL_OUTPUT:
        ql_gpio_set_direction(SW_I2C1_SCL_PIN, GPIO_OUTPUT);
        break;
    default:
        break;
    }
    return ret;
}


sw_i2c_t sw_i2c_8850 = {
    .hal_init = sw_i2c_port_initial,
    .hal_io_ctl = sw_i2c_port_io_ctl,
    .hal_delay_us = sw_i2c_port_delay_us,
    };

读数据流程

走一遍代码，看看 I2C 读数据的流程。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57


uint8_t SW_I2C_Read_8addr(sw_i2c_t *d, uint8_t IICID, uint8_t regaddr, uint8_t *pdata, uint8_t rcnt)
{
    uint8_t returnack = TRUE;
    uint8_t index;

    if(d==NULL) return FALSE;

    if(!rcnt) return FALSE;
	
    // 设置 I2C 总线为空闲状态，拉高 SDA SCL
    i2c_port_initial(d);
    
    // 发送起始条件
    i2c_start_condition(d);
    
    // 发送从机地址，写数据
    i2c_slave_address(d, IICID, WRITE_CMD);
    
    // 读从机响应 ACK
    if (!i2c_check_ack(d)) { returnack = FALSE; }
    d->hal_delay_us(SW_I2C_WAIT_TIME);
    
    // 写要读取的寄存器地址
    i2c_register_address(d, regaddr);
  
    // 再等从机 ACK
    if (!i2c_check_ack(d)) { returnack = FALSE; }
    d->hal_delay_us(SW_I2C_WAIT_TIME);
    
    // 发送起始条件
    i2c_start_condition(d);
    // 发送从机地址，这次读数据
    i2c_slave_address(d, IICID, READ_CMD);
    // 检查 ACK
    if (!i2c_check_ack(d)) { returnack = FALSE; }
    if(rcnt > 1)
    {
        for ( index = 0 ; index < (rcnt - 1) ; index++)
        {
            d->hal_delay_us(SW_I2C_WAIT_TIME);
            // 读数据
            pdata[index] = SW_I2C_Read_Data(d);
            // 发 ACK 给从机
            i2c_send_ack(d);
        }
    }
    d->hal_delay_us(SW_I2C_WAIT_TIME);
    pdata[rcnt-1] = SW_I2C_Read_Data(d);
    
    // 表示不想读数据了，发 NACK
    i2c_check_not_ack(d);
    
    // 发送停止条件
    i2c_stop_condition(d);

    return returnack;
}

由主机设备发起，要先写一次要读取的地址，再真正读取数据。

写数据流程

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33


uint8_t SW_I2C_Write_8addr(sw_i2c_t *d, uint8_t IICID, uint8_t regaddr, uint8_t *pdata, uint8_t rcnt)
{
    uint8_t returnack = TRUE;
    uint8_t index;

    if(d==NULL) return FALSE;

    if(!rcnt) return FALSE;
	
    // 设置 I2C 总线为空闲状态，拉高 SDA SCL
    i2c_port_initial(d);
     // 发送起始条件
    i2c_start_condition(d);
    // 发送从机地址，写数据
    i2c_slave_address(d, IICID, WRITE_CMD);
    if (!i2c_check_ack(d)) { returnack = FALSE; }
    d->hal_delay_us(SW_I2C_WAIT_TIME);
    // 写寄存器地址
    i2c_register_address(d, regaddr);
    if (!i2c_check_ack(d)) { returnack = FALSE; }
    d->hal_delay_us(SW_I2C_WAIT_TIME);
    for ( index = 0 ; index < rcnt ; index++)
    {
        // 发数据
        SW_I2C_Write_Data(d, pdata[index]);
        // 读 ACK
        if (!i2c_check_ack(d)) { returnack = FALSE; }
        d->hal_delay_us(SW_I2C_WAIT_TIME);
    }
    // 发送停止条件
    i2c_stop_condition(d);
    return returnack;
}

具体实现

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163


// 设置 I2C 总线为空闲状态，拉高 SDA SCL
static void i2c_port_initial(sw_i2c_t *d)
{
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_HIGH, NULL);
    d->hal_io_ctl(HAL_IO_OPT_SET_SCL_HIGH, NULL);
}

// 发送起始条件
static void i2c_start_condition(sw_i2c_t *d)
{
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_HIGH, NULL);
    d->hal_io_ctl(HAL_IO_OPT_SET_SCL_HIGH, NULL);
    d->hal_delay_us(SW_I2C_WAIT_TIME);
    // 先拉低 SDA
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_LOW, NULL);
    d->hal_delay_us(SW_I2C_WAIT_TIME);
    // 再拉低 SCL
    d->hal_io_ctl(HAL_IO_OPT_SET_SCL_LOW, NULL);
    d->hal_delay_us(SW_I2C_WAIT_TIME << 1);
}

// 发送停止条件
static void i2c_stop_condition(sw_i2c_t *d)
{
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_LOW, NULL);
    // 先拉高 SCL
    d->hal_io_ctl(HAL_IO_OPT_SET_SCL_HIGH, NULL);
    d->hal_delay_us(SW_I2C_WAIT_TIME);
    // 后拉高 SDA
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_HIGH, NULL);
    d->hal_delay_us(SW_I2C_WAIT_TIME);
}

// 发从机地址
static void i2c_slave_address(sw_i2c_t *d, uint8_t IICID, uint8_t readwrite)
{
    int x;
	
    // 读写标志设置，0 写数据，1 读数据
    if (readwrite)
    {
        IICID |= I2C_READ;
    }
    else
    {
        IICID &= ~I2C_READ;
    }
	
    // SCL 下降沿才能修改 SDA 电平
    d->hal_io_ctl(HAL_IO_OPT_SET_SCL_LOW, NULL);

    for (x = 7; x >= 0; x--)
    {
        // 设置 SDA 电平
        sda_out(d, IICID & (1 << x));
        d->hal_delay_us(SW_I2C_WAIT_TIME);
        // 拉高拉低 SCL
        i2c_clk_data_out(d);

    }
}

// 读 ACK
static uint8_t i2c_check_ack(sw_i2c_t *d)
{
    uint8_t ack;
    int i;
    unsigned int temp;
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_INPUT, NULL);
    d->hal_io_ctl(HAL_IO_OPT_SET_SCL_HIGH, NULL);
    ack = 0;
    d->hal_delay_us(SW_I2C_WAIT_TIME);
    for (i = 10; i > 0; i--)
    {
        // 读到 SDA 为 0 表示应答成功
        temp = !(SW_I2C_ReadVal_SDA(d));
        if (temp)
        {
            ack = 1;
            break;
        }
    }
    d->hal_io_ctl(HAL_IO_OPT_SET_SCL_LOW, NULL);
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_OUTPUT, NULL);
    d->hal_delay_us(SW_I2C_WAIT_TIME);
    return ack;
}

// 发 ACK
static void i2c_send_ack(sw_i2c_t *d)
{
    
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_OUTPUT, NULL);
    // 主要是拉低 SDA
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_LOW, NULL);
    d->hal_delay_us(SW_I2C_WAIT_TIME);
    d->hal_io_ctl(HAL_IO_OPT_SET_SCL_HIGH, NULL);
    d->hal_delay_us(SW_I2C_WAIT_TIME << 1);
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_LOW, NULL);
    d->hal_delay_us(SW_I2C_WAIT_TIME << 1);
    d->hal_io_ctl(HAL_IO_OPT_SET_SCL_LOW, NULL);
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_OUTPUT, NULL);
    d->hal_delay_us(SW_I2C_WAIT_TIME);
}

// 发 NACK
static void i2c_check_not_ack(sw_i2c_t *d)
{
    // SDA 有上拉电阻，默认高电平
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_INPUT, NULL);
    i2c_clk_data_out(d);
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_OUTPUT, NULL);
    d->hal_delay_us(SW_I2C_WAIT_TIME);
}

// 写寄存器地址
static void i2c_register_address(sw_i2c_t *d, uint8_t addr)
{
    int x;
    // 其实就是发数据，一样的逻辑
    d->hal_io_ctl(HAL_IO_OPT_SET_SCL_LOW, NULL);

    for (x = 7; x >= 0; x--)
    {
        sda_out(d, addr & (1 << x));
        d->hal_delay_us(SW_I2C_WAIT_TIME);
        i2c_clk_data_out(d);
    }
}

// 发数据
static void SW_I2C_Write_Data(sw_i2c_t *d, uint8_t data)
{
    int x;
    d->hal_io_ctl(HAL_IO_OPT_SET_SCL_LOW, NULL);
    for (x = 7; x >= 0; x--)
    {
        sda_out(d, data & (1 << x));
        d->hal_delay_us(SW_I2C_WAIT_TIME);
        i2c_clk_data_out(d);
    }
}

// 读数据
static uint8_t SW_I2C_Read_Data(sw_i2c_t *d)
{
    int x;
    uint8_t readdata = 0;
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_INPUT, NULL);
    for (x = 8; x--;)
    {
        // 在 SCL 上升沿的时候采样，这个时候读 SDA 的电平 
        d->hal_io_ctl(HAL_IO_OPT_SET_SCL_HIGH, NULL);
        readdata <<= 1;
        if (SW_I2C_ReadVal_SDA(d))
            readdata |= 0x01;
        d->hal_delay_us(SW_I2C_WAIT_TIME);
        d->hal_io_ctl(HAL_IO_OPT_SET_SCL_LOW, NULL);
        d->hal_delay_us(SW_I2C_WAIT_TIME);
    }
    d->hal_io_ctl(HAL_IO_OPT_SET_SDA_OUTPUT, NULL);
    return readdata;
}

案例

起始条件、结束条件、发从机地址、ACK 这些是标准的协议规定的，但发了从机地址之后，数据该怎么传输，那就要看芯片手册怎么定义的了，后面的这部分可以看作是基于 I2C 协议之上的应用协议。具体可以看看后面的两个案例。

CN91C4S48 段码屏的通信规则

芯片手册描述了通信的起始条件、结束条件，以及从机地址、读写标志和发送命令还是数据的协议规定。

AT24C32 EEPROM 通信规则

起始条件和停止条件的定义。

数据采样和数据修改的时机。

ACK 的波形定义。

写数据的协议格式。

读数据的协议格式。

使用 trace32 分析 use after free dump 问题

Wed, 03 May 2023 10:02:07 +0800

介绍

use after free 是一种常见的内存安全问题，指的是在程序释放了某个内存块之后，仍然继续使用该内存块，导致程序崩溃或者出现其他安全问题。

use after free 问题其实包含以下情况：

内存块被释放后，指向该内存块的指针被设置为 NULL ，然后再次使用，导致程序访问非法地址而崩溃。
内存块被释放后，指向该内存块的指针没有被设置为 NULL ，在这块内存没有再次使用之前，如果没有代码修改这块内存，那么可能程序仍能正常运行。但如果这块内存在它下一次使用之前被其他代码修改了内容，那么程序容易出现奇怪的问题，比如 heap 被破坏。

案例分析

案例一

先看第一个案例，内存块被释放后访问空指针的问题。

查看任务调用栈和死机原因，quec_rtos_queue_wait 的入参 msgQRef 为 0，传入了一个空指针NULL，导致后面的数据处理访问了非法内存。

那么这个空指针是怎么来的呢？需要结合源码和任务调度信息来确认。

先看线程调度情况，dump 时正在执行的的任务是 tts_work 这个任务，上一个执行的任务是 task_app。

再看 task_app 的任务调用栈，在后面看到这个任务调用 quec_tts_deinit 和调用了删除消息队列的函数

tts_work 的任务栈中调用quec_rtos_queue_wait之后就出现 assert。

从上面可以猜测，问题原因应该是在 task_app 任务中删除了消息队列，将消息队列的句柄设置为NULL，然后刚好内核进行了一次任务调度，切换到了 tts_work 任务运行，tts_work 里面没有判断消息队列句柄是否有效，一调用接收消息队列接口便访问了空指针。

再看 quec_tts_deinit 的代码逻辑，去初始化的时候，先释放了内存资源，后面才删除任务，没想到删除任务之前这个任务还会运行。可能接口设计者没有考虑到 quec_tts_deinit 这里面的代码执行过程中会发生任务切换吧，导致了这个 use after free 的问题。

案例二

再看第二个案例，内存块被释放后指向该内存块的指针未设置NULL，其他程序修改这段内存导致 dump 问题。

通过 trace32 查看任务调用栈和 dump 原因，也是访问 0 地址问题，quec_rtos_queue_release 发送消息的时候传入的地址不是一个正常的内存地址，看上去像内存被踩。然后查看队列列表，果然有一个消息队列的控制数据被破坏。

内存被破坏问题，需要解析 heap 使用情况，发现确实是内存被踩，但不是消息队列句柄相关内存被破坏，而是quec_rtos_mutex_create 申请的内存写越界了。

1

0x7e0bbea0 allocated 64 bytes by InvalidTaskName, func=quec_rtos_mutex_create                     CORRUPTED block(tail guard @0x7e0bbeec)!!

再从 t32 看互斥锁列表（实际看信号量列表，在这个平台互斥锁也是通过信号量来实现的），果然有一个不正常的数据 7E0BBEC0。

知道 7E0BBEC0 这个地址，怎么确定是那段代码创建的这个互斥锁呢？

根据经验，在创建信号量、消息队列、任务等这些操作句柄的时候，通常会定义成全局变量，可以尝试在全局变量里面查找是否有变量的值是 7E0BBEC0，从而反过来定位是哪段代码有问题。

通过 7E0BBEC0 可以找到 ql_sleep_flags_mutex 这个变量，以及其相关的代码，检查这段代码逻辑之后，发现没有明显的有内存写越界的地方，也就是说这段代码本身没有问题，而是其他某个地方把这段内存修改了。

其实在查找 7E0BBEC0 这个地址是哪个变量的值时，发现了新的线索，除了 ql_sleep_flags_mutex 这个变量的值是 7E0BBEC0 之外，还有两个变量 f_pVEParamsTable、f_pGainParamsTable 的值也是 7E0BBEC0，三个指针变量指向了同一个地址，这就是问题所在。

为什么三个变量会指向同一个地址呢？

想到的一个可能就是 use after free 问题。看了相关代码实现，发现是在操作 f_pVEParamsTable 变量时，malloc 申请了一块内存地址为 7E0BBEC0 的空间，把地址赋值给了变量 f_pVEParamsTable，做业务的时候也会把 f_pVEParamsTable 的值赋值给 f_pGainParamsTable 变量，做完业务之后，通过 free 释放了这块内存，但由于代码逻辑的缺陷，f_pVEParamsTable 和 f_pGainParamsTable 还保留着已释放内存 7E0BBEC0 的这个值。在创建 ql_sleep_flags_mutex 相关的互斥锁时，申请内存返回了 7E0BBEC0 这个地址给 ql_sleep_flags_mutex 变量，当下一次 f_pVEParamsTable 相关代码做业务时，向原来的 7E0BBEC0 这块内存写数据，但这块内存现在的所有者是 ql_sleep_flags_mutex，内存起始地址相同但分配的内存大小不同，一写数据就写越界了，最终表现的现象是刚开始的消息队列、互斥锁内存被踩。

总结

use after free 是一个常见的内存问题，由于 c 的语言特性，该问题不可避免。通过两个 use after free dump 案例的分享，一是加深对 use after free 问题的认识，二是也分享了一些排查问题思路和方法，通过任务调度顺序和任务运行的历史痕迹定位问题、通过全局变量的值定位问题代码，希望对你解决问题有所帮助。

常见移动通信频段划分

Tue, 02 May 2023 22:12:47 +0800

常见band划分

频段	频率范围	网络制式	国内运营商
B1	上行1920-1980MHz下行 2110-2170MHz	LTE FDD、WCDMA	联通、电信
B2	上行1850-1910MHz下行1930-1990MHz	GSM、WCDMA	联通
B3	上行1710-1785MHz下行1805-1880MHz	GSM、LTE FDD	电信、联通、移动
B4	上行1710-1755MHz下行 2110-2155MHz	LTE FDD
B5	上行 824-849MHz下行 869-894MHz	GSM、WCDMA	联通、电信
B7	上行2500-2570MHz下行2620-2690MHz	LTE FDD	联通、电信
B8	上行 880-915MHz下行 925-960MHz	GSM	移动、联通
B20	上行 832-862MHz下行 791-821MHz	LTE FDD
B28	上行 703 – 748MHz下行 758 – 803MHz	LTE FDD
B34	2010－2025MHz	TDD-LTE、TD-SCDMA	移动
B38	2570 - 2620MHz	TDD-LTE、TD-SCDMA	移动
B39	1880 - 1920MHz	TDD-LTE	移动
B40	2300 - 2400MHz	TDD-LTE	移动、联通、电信
B41	2496 - 2690MHz	TDD-LTE	移动、联通、电信
B66	上行 1710 – 1780MHz下行 2110 – 2200MHz	LTE FDD

按网络模式归类

网络模式	频段
GSM	B2/B3/B5/B8
WCDMA	B1/B2/B5/B8
TD-SCDMA	B34/B39
LTE FDD	B1/B3/B7
TDD-LTE	B38/B39/B40/B41

按区域划分

地区	2G频段	3G频段	4G频段
亚太地区	B3、B8	B8、B1、BC0、BC1、B34、B39	B1、B3、B5、B7、B8、B20、B28、B38、B39、B40、B41
欧洲地区	B3、B8	B8、B1	B1、B3、B7、B8、B20、B28、B38、B40、B41
美洲地区	B5、B2	B5、B4、B2	B2、B4、B5、B7、B12、B13、B17、B25、B26、B29、B30、B41
中东和非洲地区	B3、B8	B8、B1、B34、B39	B1、B3、B7、B8、B20、B38、B40

串口数据接收分包、粘包问题的处理方法

Thu, 20 Apr 2023 21:42:17 +0800

介绍

串口是一种常见的通信外设，广泛应用于各种设备之间的数据通信。在串口通信中，设备之间需要约定通信协议，以确保数据的正确传输和解析。常见的串口协议由帧头、数据长度、帧类型、数据、校验等字段构成，这类协议设计较为完善，可以在接收的字节流中按照协议格式正确地提取一帧数据，对于出现粘包或者分包的情况也能正确解析。

然而，并不是所有的串口协议都设计得那么完善。有些串口协议可能没有用于同步的数据帧头和帧尾，如果一帧数据出现了分包（分多次接收），那么将无法解析出正确的数据。这种情况下，需要采取一些特殊的处理方法，以确保数据的正确解析和传输。

解决方法

在串口通信中，数据的分包和粘包问题是比较常见的，会影响数据的正确解析和传输。为了解决这个问题，可以采用一些有效的处理方法。

一种常见的处理方法是加入帧超时机制。在串口接收数据时，不断地检测两个字节或者两次接收数据的间隔时间，当间隔时间超过某一值，则认为一帧数据接收完成，一帧数据接收完整之后再做数据解析和具体业务。默认的超时时间间隔可以设置为 50 ms，然后根据实际情况稍微调大或者调小超时时间间隔。这种方法可以有效地解决数据分包和粘包问题，但也会带来串口接收性能下降的问题。

处理逻辑可以参考下面的伪代码：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74


void UartInit(void)
{
    // 初始化串口硬件参数
    
    // 创建消息队列和ringbuff
    ret = rtos_init_queue(&uart_queue, "uart_q", sizeof(uart_msg_t), 20);
    rb_init(&g_uart_rb, g_uart1_rx_buff, sizeof(g_uart1_rx_buff));

    // 创建一个定时器 50ms
    ret = rtos_init_timer(&uart_timer, 50, uart_timer_cb, 0);
	
    // 创建串口接收处理线程
    ret = rtos_create_thread(&uart_main_thread,
                            20,
                            "uart_main",
                            uart_main_thread_entry,
                            4 * 1024,
                            NULL);

    // 注册串口中断回调
    uart_set_rx_callback(port, uart_rx_cb);

}

// 串口接收中断回调
static void uart_rx_cb(int uport, void *param)
{
    uart_msg_t send_msg = {0};
    send_msg.type = 0;
    //有串口数据进来，发消息通知串口数据处理线程去读取串口数据
    if (uart_queue)
        rtos_push_to_queue(&uart_queue, &send_msg, 0);
}

// 串口数据接收处理任务
static void uart_main_thread_entry(void *arg)
{
    OSStatus err = kNoErr;
    int ret;
    uint32_t read_len = 0, recv_len = 0, free_len=0;
    uart_msg_t recv_msg = {0};
    while (1)
    {
        err = rtos_pop_from_queue(&uart_queue, &recv_msg, 100);
        if (err != kNoErr)
        {
            continue;
        }
        switch (recv_msg.type)
        {
        case 0:
            //收到串口有数据消息。
            //读取串口数据，写入到ringbuffer中先缓存，同时重新启动帧超时定时器
            break;
        case 1:
            // 收到定时器超时消息
            // 一帧数据接收完成，进行数据解析和业务处理
            break;
        default:
            break;
        }
    }
}

// 定时器超时回调
static void uart_timer_cb( void *arg )
{
    uart_msg_t send_msg = {0};
    rtos_stop_timer(&uart_timer);
    send_msg.type = 1;
    // 发消息通知处理线程，完成一帧数据接收
    if (uart_queue)
        rtos_push_to_queue(&uart_queue, &send_msg, 0);
}

引入帧超时机制虽然解决了串口数据分包问题，但也带来了串口接收性能下降的问题。如果串口分包数据大小是固定的，比如每次 20 字节分包一次，那么还可以稍微优化一下接收速度，如果收到的数据不是固定分包字节的倍数，也可以认为一帧数据接收结束了，不必再去等定时器超时，这种方法可以优化串口接收数据的性能。

另外，如果多次连续发送串口数据，有可能会出现粘包现象，如果粘包对业务有影响，那么需要要求串口发送两帧数据之间的间隔要大于一定时间。最好是要求串口发送字节之间小于一定时间，比如 10 ms，发送数据帧之间也大于一定时间，比如 100 ms，这样分包和粘包的问题都得以解决。

总结

在设计串口协议时，需要考虑到数据的同步、长度和校验等因素，确保数据能够正确解析和传输。没有数据同步标志的串口协议，可以加入帧超时机制解决数据分包问题，缺点就是牺牲一点串口接收数据的性能。

Trace 32 离线 dump 分析环境搭建方法

Sat, 01 Apr 2023 20:41:32 +0800

介绍

Trace32 是一款功能强大的调试工具，它可以用于分析嵌入式系统的运行状态。Trace32 支持多种处理器架构和操作系统，可以帮助开发人员在调试过程中快速定位问题并进行调试。

在死机 dump 问题上，常见的一种分析手段是离线 dump 解析。离线 dump 解析是指在系统死机后，将系统内存中的数据保存到文件中，然后使用调试工具对这些数据进行分析。Trace32 提供了 Simulators 软件，可以搭建离线 dump 分析环境，帮助开发人员快速解决问题。

安装

使用 Trace32 Simulators 搭建离线 dump 分析环境的步骤如下：

下载 Trace32 Simulators 软件和内核解析脚本

首先需要从官网下载 Trace32 Simulators 软件和内核解析脚本，访问 http://www.lauterbach.com/，选择Downloads->Evaluation Software->download

下载 Simulator for ARM/CORTEX/XSCALE 压缩包。文件是 simarm.zip。

访问 http://www.lauterbach.com/，选择Downloads->Start-Up and other Scripts

在 ARM 标题下找到 freertos 并下载。文件是 kernel-arm-freertos_20230309130728_all_files.zip。
安装 Trace32 Simulators

解压 simarm.zip

解压 kernel-arm-freertos_20230309130728_all_files.zip 文件到 freertos目录

创建 8910dump 文件夹，将导出的 dump 文件和 elf 文件放到这个文件夹。

配置 Trace32 Simulators

将dump中的 ap.cmm 脚本文件重命名为 8910_ap.cmm，并修改里面 bin 和 elf 文件的加载路径，修改 kernel 解析脚本的路径，并配置启动自动打开某些窗口。具体修改可以参考下文中的脚本。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86


; ARM load script
screen.on
SYStem.RESet
SYStem.CPU Cortexa5
SYStem.Up

&psd=os.psd()
&dump_dir="8910dump"
&ap_elf_file="app.elf"
&cp_elf_file="8915DM_cat1_open.elf"

DATA.LOAD.ELF &dump_dir\&ap_elf_file /NOCLEAR
DATA.LOAD.ELF &dump_dir\&cp_elf_file /NOCLEAR

DATA.LOAD.BINARY &dump_dir\80000000.bin 0x80000000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\00000000.bin 0x0 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\00800000.bin 0x800000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\40080000.bin 0x40080000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50000000.bin 0x50000000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50030000.bin 0x50030000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50080000.bin 0x50080000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50081000.bin 0x50081000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50083000.bin 0x50083000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50084000.bin 0x50084000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50090000.bin 0x50090000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50094000.bin 0x50094000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\500a0000.bin 0x500a0000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50100000.bin 0x50100000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50104000.bin 0x50104000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50105000.bin 0x50105000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50109000.bin 0x50109000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\5010a004.bin 0x5010a004 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\5010c000.bin 0x5010c000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\50308000.bin 0x50308000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\08800000.bin 0x8800000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\08800800.bin 0x8800800 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\08808000.bin 0x8808000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\08809000.bin 0x8809000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\0880e000.bin 0x880e000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\0880f004.bin 0x880f004 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\08814000.bin 0x8814000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\08815000.bin 0x8815000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\09000000.bin 0x9000000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\090c0000.bin 0x90c0000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\25000000.bin 0x25000000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\25100000.bin 0x25100000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\25200000.bin 0x25200000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\25300000.bin 0x25300000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\25400000.bin 0x25400000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\25500000.bin 0x25500000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\25600000.bin 0x25600000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\25700000.bin 0x25700000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\25800000.bin 0x25800000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\25900000.bin 0x25900000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\25a00000.bin 0x25a00000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\25b00000.bin 0x25b00000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\26000000.bin 0x26000000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\26000800.bin 0x26000800 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\27000000.bin 0x27000000 /NOCLEAR
DATA.LOAD.BINARY &dump_dir\400a0000.bin 0x400a0000 /NOCLEAR

Register.Set cpsr Data.Long(D:0x8017c4)
Register.Set r0 Data.Long(D:0x8017cc)
Register.Set r1 Data.Long(D:0x8017d0)
Register.Set r2 Data.Long(D:0x8017d4)
Register.Set r3 Data.Long(D:0x8017d8)
Register.Set r4 Data.Long(D:0x8017dc)
Register.Set r5 Data.Long(D:0x8017e0)
Register.Set r6 Data.Long(D:0x8017e4)
Register.Set r7 Data.Long(D:0x8017e8)
Register.Set r8 Data.Long(D:0x8017ec)
Register.Set r9 Data.Long(D:0x8017f0)
Register.Set r10 Data.Long(D:0x8017f4)
Register.Set r11 Data.Long(D:0x8017f8)
Register.Set r12 Data.Long(D:0x8017fc)
Register.Set r13 Data.Long(D:0x8017b8)
Register.Set r14 Data.Long(D:0x8017bc)
Register.Set pc Data.Long(D:0x8017c8)
Register.Set spsr 0x0

MENU.REPROGRAM &psd\freertos\freertos.men
TASK.CONFIG &psd\freertos\freertos.t32

B::Var.Frame /Locals /Caller
B::Register
B::Data.List

再编写启动脚本 T32_8910_ap.bat，工具配置就完成了。

1
2
3
4
5


@echo off

echo Load Trace32

start t32marm.exe -c config.t32, 8910_ap.cmm &

使用 Trace32 Simulators

将死机导出的 dump 、 elf 文件复制到 8910dump 目录，双击 T32_8910_ap.bat 脚本，启动 t32 和加载解析 dump。在 Trace32 界面的最终效果如下图：

总结

本文介绍了 Trace32 离线 dump 分析环境的搭建方法步骤，目的是了解这个过程，后续也考虑如何将这种调试分析方法迁移到其他平台。如果还有其他问题，欢迎评论留言。

一些 GPIO 相关的应用经验总结

Fri, 17 Mar 2023 15:53:24 +0800

总结一些关于在硬件选型和设计过程中 GPIO 相关的应用经验，避免踩坑。

注意原理图上引脚号与 GPIO 号之间的对应关系

原理图上的引脚号和GPIO号不一定是一一对应的，比如 pin 53 对应的是GPIO1，软件上操作这个引脚的时候是操作 53 还是 1呢，应留意这个软硬件对应关系。
注意引脚的电压域

有些引脚的io电平是1.8v，也有些引脚的io电平是3.0v，还有些引脚的io电平可以配置。接外部器件的时候，应注意引脚的io电平是否匹配。

此外还要留意引脚所属的电压域，比如，软件上将一个可调电压域的电压从1.8v改为3.3v，通过属于这个电压域的所有引脚io电平都会被修改，应注意这个改动的影响。

另外，设备在不同的开机运行阶段、比如在bootloader，在kernel、在app，在某些阶段有些电压域的电源并非都是打开的，如果出现io无法控制、外接器件无法通信，也可以从电压域的方向排查一下是否电源没有使能供电。
注意引脚的复位电平

有些引脚在上电复位的电平是高、有些是低、还有一些是出于不稳定状态，这可能在软件上是无法修改的，所以，在评估使用引脚做什么功能的时候，也需要留意引脚的复位电平。比如选取某个引脚用来控制指示灯，要求开机启动过程指示灯是保持灭的，但如果不小心选择了一个复位是高电平的引脚（假设高电平控制灯亮），那么就会出现开机指示灯闪烁一下的问题，要解决一般也就只能硬件改版了。
注意引脚的复用功能

以GPIO功能为例，假设 pin 11 可以复用为GPIO1，pin 44 也可以复用为GPIO1，那么如果二者都设置为GPIO1功能，则会出现复用功能冲突，导致功能失效，应将另一个引脚复用为其他功能。相同的，复用成其他功能（i2c 、 spi、sdio 等）时，也应考虑引脚功能复用冲突的情况。
注意引脚在系统休眠唤醒过程的行为

在某些平台上为了待机降低功耗，在系统休眠的时候会关闭某些电压域电源，唤醒之后再恢复，或者在休眠的时候会强制拉低某些引脚，唤醒之后再恢复，在评估选取引脚做某些功能的时候，比如按键、指示灯，应注意这个特性是否会对功能造成影响。
注意引脚的驱动能力

某些平台引脚的输出驱动能力是可调节的，比如遇到spi 或者其他功能输出的信号电平波形变形、或者有干扰、可以尝试通过软件修改一下引脚的驱动能力来改善类似问题。
注意唤醒脚

有些平台只有特定的引脚具备唤醒能力，如果需要外部唤醒正处于deep sleep状态，或者是处于psm关机状态的设备，需要留意是否只有特定的引脚才支持次功能。

在硬件原理图设计完成之后，建议输出一个 GPIO list，内容可以参考下面的表格:

引脚编号	引脚名称	电压域	GPIO 号	复位电平	复用功能号	功能描述
1	MAIN_RXD	VDDIO_18	GPIO20	L	1	主串口RX，接 wifi 模组TX
52	SPI_CS	V_LCD_18_33	GPIO13	H	3	spi CS 片选，接外部flash CS

弃用 wordpress，拥抱 hugo

Sun, 05 Mar 2023 22:15:53 +0800

迁移到 hugo 的理由

昨天在读博主黄湘云的文章《ggplot2 食谱》，顺带探索了一下整个网站，看看还有没有其他的我感兴趣的内容。他的博客主题风格简洁、清爽，我也有意将自己的网站往这类风格上修改，进一步探索便发现了 hugo 这个建站工具。 hugo 在 GitHub 上居然有 65.7k start，看完 hugo 的介绍，是心动的感觉，于是便也打算上手折腾折腾。

参照 hugo 官网的 GETTING STARTED 操作一番，hugo 的基本使用流程搞懂了，也正是我想要的。

我觉得使用 hugo 有这些优点，让我决定弃用 wordpress：

基于 markdown 构建静态网站，原始文本文件可以使用 git 做版本管理，可以减少我备份和维护网站的时间。
主题丰富，有我想要的简洁风格的主题。
生成的是静态网站，加载速度快，减少服务器的负担，原来运行 wordpress 需要的 php、MySQL 等相关程序都可以卸载了。
借助 GitHub Action，可以做到自动化构建和部署。
可以支持 rss 订阅、评论，满足我的刚需。

迁移步骤

安装 hugo

本地是Windows系统，参照 Install Hugo on Window 下载 hugo 二进制文件，添加到环境变量PATH就安装好了，很简单。
选择主题

主题选择耗费了一点时间，对比考虑了下面这几款主题。
- Hugo Lithium 长时间未更新、似乎也太简洁了。
- Manis Hugo Theme 简洁，但字体不太好看，start 少。
- Paper 主题风格喜欢，功能满足刚需，start 1.4k。
- Hugo PaperMod 主题风格喜欢，功能满足刚需，基于 Paper，start 5.7k。
最后选择了 Hugo PaperMod 。

配置站点

创建站点

1
2
3
4
5
6
7


# 注意指定网站配置文件为yml格式
hugo new site  -f yml

# 初始化git 仓库
git init
git add .
git commit -m "init"

添加主题

1
2


# 使用 git submodule 的方式添加主题
git submodule add --depth=1 https://github.com/adityatelange/hugo-PaperMod.git themes/PaperMod

修改 config.yml 文件，添加主题配置

1

theme: "PaperMod"

修改网站配置

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124


baseURL: "https://blog.hacperme.com/" #设置站点地址
buildDrafts: false
buildFuture: false
buildExpired: false

googleAnalytics: G-W3YJ286Z4E

# 构建输出配置
minify:
  disableXML: true
  minifyOutput: true

# 菜单设置和排序
menu:
  main:
    - identifier: search
      name: 搜索
      url: /search/
      weight: 1
    - identifier: archives
      name: 归档
      url: /archives/
      weight: 2
    - identifier: categories
      name: 分类
      url: /categories/
      weight: 3
    - identifier: tags
      name: 标签
      url: /tags/
      weight: 4
    - identifier: about
      name: 关于
      url: /about/
      weight: 5

params:
  env: production # to enable google analytics, opengraph, twitter-cards and schema.
  title: Hacper's Blog
  description: "Hacper 的个人网站"
  keywords: [Blog]
  author: Hacper
  DateFormat: "2006-01-02"
  defaultTheme: auto # dark, light
  disableThemeToggle: false

  ShowAllPagesInArchive: true # 归档页面设置需要
  ShowReadingTime: true
  ShowShareButtons: false # 不显示分享按钮
  ShowPostNavLinks: true
  ShowBreadCrumbs: true
  ShowCodeCopyButtons: true # 显示复制代码按钮
  ShowWordCount: true
  ShowRssButtonInSectionTermList: true
  ShowFullTextinRSS: true # rss 配置
  ShowLastMod: true #显示文章更新时间

  UseHugoToc: true
  disableSpecial1stPost: true  # 感觉难看，关闭
  disableScrollToTop: false
  comments: true	# 打开评论功能
  hidemeta: false
  hideSummary: false
  showtoc: true
  tocopen: false
  VisitCount: true

  mainSections:
    - posts # 设置主页显示的文章路径

  assets:
    # disableHLJS: true # to disable highlight.js
    # disableFingerprinting: true
    favicon: "/favicon.ico"
    favicon16x16: "/favicon.ico"
    favicon32x32: "/favicon.ico"
    apple_touch_icon: "/favicon.ico"
    safari_pinned_tab: "/favicon.ico"


  cover:
    hidden: true # hide everywhere but not in structured data
    hiddenInList: true # hide on list pages and home
    hiddenInSingle: true # hide on single page

  # for search
  # https://fusejs.io/api/options.html
  fuseOpts:
    isCaseSensitive: false
    shouldSort: true
    location: 0
    distance: 1000
    threshold: 0.4
    minMatchCharLength: 0
    keys: ["title", "permalink", "summary", "content"]

permalinks: #浏览器链接显示方式
  post: "/:year/:month/:day/:title/"



# Read: https://github.com/adityatelange/hugo-PaperMod/wiki/FAQs#using-hugos-syntax-highlighter-chroma
pygmentsUseClasses: true
markup:
  highlight:
    noClasses: false
    # anchorLineNos: true
    # codeFences: true
    guessSyntax: true
    lineNos: true # 显示代码行号
    # style: monokai

# 搜索需要配置
outputs:
    home:
        - HTML
        - RSS
        - JSON # is necessary

# 分类设置
taxonomies:
    category: categories
    tag: tags
    series: series

生成文章模板设置，修改 archetypes/default.md

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


---
title: "{{ replace .Name "-" " " | title }}"
date: {{ .Date }}
lastmod: {{ .Date }}
author: ["hacper"]
tags:
    - tag1
categories:
    - 生活
    - 阅读
    - 笔记
description: "" # 文章描述，与搜索优化相关
summary: "" # 文章简单描述，会展示在主页
# weight: # 输入1可以顶置文章，用来给文章展示排序，不填就默认按时间排序
slug: ""
draft: true # 是否为草稿
comments: true
showToc: true # 显示目录
TocOpen: true # 自动展开目录
autonumbering: true # 目录自动编号
hidemeta: false # 是否隐藏文章的元信息，如发布日期、作者等
disableShare: true # 底部不显示分享栏
searchHidden: false # 该页面可以被搜索到
showbreadcrumbs: true #顶部显示当前路径
# mermaid: true
# cover:
#     image: ""
#     caption: ""
#     alt: ""
#     relative: false

---

增加搜索

在content文件夹中创建search.md

1
2
3
4
5
6
7


---
title: "搜索" # in any language you want
layout: "search" # is necessary
# description: "Description for Search"
summary: "search"
placeholder: "Search"
---

增加归档

在content文件夹中创建archive.md

1
2
3
4
5
6


---
title: "归档"
layout: "archives"
url: "/archives/"
summary: archives
---

自动化部署设置

构建

指定构建分支

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16



name: Deploy Hugo site to vps

on:
  # Runs on pushes targeting the default branch
  push:
    branches: ["main"]

  # Allows you to run this workflow manually from the Actions tab
  workflow_dispatch:


# Default to bash
defaults:
  run:
    shell: bash

增加构建配置

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


jobs:
  build:
    runs-on: ubuntu-latest
    steps:
      # Checks-out your repository under $GITHUB_WORKSPACE, so your job can access it
      - name: Checkout
        uses: actions/checkout@v3
        with:
          submodules: recursive

      - name: Setup Hugo
        uses: peaceiris/actions-hugo@v2

      - name: Build
        run: hugo --minify

部署到vps

部署工具采用rsync，将编译生成的 public 直接同步到vps。

ssh 密钥、用户名、服务器ip、部署路径都通过配置GitHub 仓库的secrets来传递，示例分别对应 secrets.BLOG_DEPLOY_KEY secrets.RSYNC_USERNAME secrets.RSYNC_HOSTNAME secrets.BLOG_DEPLOY_PATH。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


	  - name: Setup ssh keys
        uses: webfactory/ssh-agent@v0.7.0
        with:
          ssh-private-key: |
            ${{ secrets.BLOG_DEPLOY_KEY }}            
      - name: Scan public keys
        run: |
          ssh-keyscan ${{secrets.RSYNC_HOSTNAME}} >> ~/.ssh/known_hosts          
      - name: Deploy to VPS
        run: |
          rsync -av --delete public/* ${{secrets.RSYNC_USERNAME}}@${{secrets.RSYNC_HOSTNAME}}:${{ secrets.BLOG_DEPLOY_PATH }} --rsync-path="sudo rsync" --owner --group --chown=www:www          

坑

使用rsync部署的时候，刚开始采用配置 rsync daemon 的方式同步文件，尝试了很久，但一直身份验证失败，最终放弃。后面尝试使用ssh协议同步文件，验证ok，但也有两个问题需要解决：

普通用户登录服务器，对部署网站的目标路径没有文件写入权限，rsync 同步时增加 –rsync-path=“sudo rsync” 参数。

文件上传成功之后，所有者不是 www 用户的，解决办法是在 rsync 同步时增加参数 –owner –group –chown=www:www，指定用户和用户组为www。

完整 github action 构建和部署脚本如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46



name: Deploy Hugo site to vps

on:
  # Runs on pushes targeting the default branch
  push:
    branches: ["main"]

  # Allows you to run this workflow manually from the Actions tab
  workflow_dispatch:


# Default to bash
defaults:
  run:
    shell: bash


## A workflow run is made up of one or more jobs that can run sequentially or in parallel
jobs:
  build:
    runs-on: ubuntu-latest
    steps:
      # Checks-out your repository under $GITHUB_WORKSPACE, so your job can access it
      - name: Checkout
        uses: actions/checkout@v3
        with:
          submodules: recursive

      - name: Setup Hugo
        uses: peaceiris/actions-hugo@v2

      - name: Build
        run: hugo --minify

      - name: Setup ssh keys
        uses: webfactory/ssh-agent@v0.7.0
        with:
          ssh-private-key: |
            ${{ secrets.BLOG_DEPLOY_KEY }}            
      - name: Scan public keys
        run: |
          ssh-keyscan ${{secrets.RSYNC_HOSTNAME}} >> ~/.ssh/known_hosts          
      - name: Deploy to VPS
        run: |
          rsync -av --delete public/* ${{secrets.RSYNC_USERNAME}}@${{secrets.RSYNC_HOSTNAME}}:${{ secrets.BLOG_DEPLOY_PATH }} --rsync-path="sudo rsync" --owner --group --chown=www:www          

迁移wordpress 文章

安装插件 jekyll-exporter, 可以导出所有文章、页面、以及上传的图片，导出的文章都是 markdown格式，复制到 hugo 的站点目录，稍微修改一下路径和标签就可以了，不太麻烦。

配置 Utterances 评论系统

点击 https://github.com/apps/utterances 安装 utterances，在安装的时候选择 Only select repositories，选择存储网站源文件的仓库，也可以选择新建其他仓库。

编辑 config.yml 文件，打开评论功能

1
2


params:
  comments: true

在网站根目录下创建layouts/partials/comments.html，添加以下内容：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


{{- /* Comments area start */ -}}
{{- /* to add comments read => https://gohugo.io/content-management/comments/ */ -}}
<script src="https://utteranc.es/client.js"
        repo="hacperme/hacperme_blog"
        issue-term="pathname"
        label="comment"
        theme="github-light"
        crossorigin="anonymous"
        async>
script>
{{- /* Comments area end */ -}}

参考文档

git-crypt 使用方法

Thu, 05 Jan 2023 07:42:17 +0800

使用git-crypt，可以对git仓库中的敏感文件进行加密，下面介绍使用方法。

安装

Windows 环境下，在官网 https://github.com/AGWA/git-crypt/releases 下载最新版本软件，然后将其所在路径添加到系统环境变量PATH

打开git bash，输入 git crypt –version 验证安装情况:

1
2


$ git crypt --version
git-crypt 0.7.0

使用方法

创建一个新文件目录，初始化git 仓库

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace
$ mkdir git_crypt_test

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace
$ cd git_crypt_test

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test
$ git init
Initialized empty Git repository in D:/workspace/git_crypt_test/.git/

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$

生成 gpg 密钥（可选步骤）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ gpg --full-generate-key
gpg (GnuPG) 2.2.29-unknown; Copyright (C) 2021 Free Software Foundation, Inc.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Please select what kind of key you want:
   (1) RSA and RSA (default)
   (2) DSA and Elgamal
   (3) DSA (sign only)
   (4) RSA (sign only)
  (14) Existing key from card
Your selection? 1

...

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ gpg --list-keys
gpg: checking the trustdb
gpg: marginals needed: 3  completes needed: 1  trust model: pgp
gpg: depth: 0  valid:   1  signed:   0  trust: 0-, 0q, 0n, 0m, 0f, 1u
/c/Users/hacper/.gnupg/pubring.kbx
----------------------------------
pub   dsa1024 2009-04-16 [SC]
      4340D13570EF945E83810964E8AD3F819AB10E78
uid           [ unknown] The Android Open Source Project 
sub   elg2048 2009-04-16 [E]

pub   rsa3072 2023-01-03 [SC]
      D8B7C1CF1522498D3B6585608F5E3E2BC9BE60E8
uid           [ultimate] hacper 
sub   rsa3072 2023-01-03 [E]

导出gpg密钥

1
2
3
4
5
6
7
8
9


hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ gpg --armor --output hacper_gpg.pub --export hacper

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ ls
hacper_gpg.pub  readme.md

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ gpg --armor --output hacper_gpg.key --export-secret-keys hacper

删除密钥

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39


hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ gpg --delete-secret-keys hacper
gpg (GnuPG) 2.2.29-unknown; Copyright (C) 2021 Free Software Foundation, Inc.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.


sec  rsa3072/8F5E3E2BC9BE60E8 2023-01-03 hacper 

Delete this key from the keyring? (y/N) y
This is a secret key! - really delete? (y/N) y

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ gpg --delete-keys hacper
gpg (GnuPG) 2.2.29-unknown; Copyright (C) 2021 Free Software Foundation, Inc.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.


pub  rsa3072/8F5E3E2BC9BE60E8 2023-01-03 hacper 

Delete this key from the keyring? (y/N) y

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ gpg --list-keys
gpg: checking the trustdb
gpg: no ultimately trusted keys found
/c/Users/hacper/.gnupg/pubring.kbx
----------------------------------
pub   dsa1024 2009-04-16 [SC]
      4340D13570EF945E83810964E8AD3F819AB10E78
uid           [ unknown] The Android Open Source Project 
sub   elg2048 2009-04-16 [E]


hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)

导入密钥

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ gpg --import hacper_gpg.pub
gpg: key 8F5E3E2BC9BE60E8: public key "hacper " imported
gpg: Total number processed: 1
gpg:               imported: 1

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ gpg --allow-secret-key-import --import hacper_gpg.key
gpg: key 8F5E3E2BC9BE60E8: "hacper " not changed
gpg: key 8F5E3E2BC9BE60E8: secret key imported
gpg: Total number processed: 1
gpg:              unchanged: 1
gpg:       secret keys read: 1
gpg:   secret keys imported: 1

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ gpg --list-keys
/c/Users/hacper/.gnupg/pubring.kbx
----------------------------------
pub   dsa1024 2009-04-16 [SC]
      4340D13570EF945E83810964E8AD3F819AB10E78
uid           [ unknown] The Android Open Source Project 
sub   elg2048 2009-04-16 [E]

pub   rsa3072 2023-01-03 [SC]
      D8B7C1CF1522498D3B6585608F5E3E2BC9BE60E8
uid           [ unknown] hacper 
sub   rsa3072 2023-01-03 [E]

初始化git crypt，配置密钥

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ git-crypt init
Generating key...

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ git-crypt add-gpg-user hacper
[master (root-commit) ce4bba9] Add 1 git-crypt collaborator
 2 files changed, 4 insertions(+)
 create mode 100644 .git-crypt/.gitattributes
 create mode 100644 .git-crypt/keys/default/0/ABF942D38B623FCB98B98E722B3BBE58C106357F.gpg

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$

创建 .gitattributes 文件，配置需要加密的文件, 示例配置仅加密 *.md 后缀的文件

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ echo '*.md filter=git-crypt diff=git-crypt' > .gitattributes

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ ls -al
total 21
drwxr-xr-x 1 hacper 197609  0 Jan  3 23:50 ./
drwxr-xr-x 1 hacper 197609  0 Jan  3 23:33 ../
drwxr-xr-x 1 hacper 197609  0 Jan  3 23:47 .git/
drwxr-xr-x 1 hacper 197609  0 Jan  3 23:45 .git-crypt/
-rw-r--r-- 1 hacper 197609 37 Jan  3 23:51 .gitattributes

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ git add .gitattributes

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ git commit -m "add .gitattributes"
[master d6157c0] add .gitattributes
 1 file changed, 1 insertion(+)
 create mode 100644 .gitattributes

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$

创建待加密的md文件测试

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47


hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ echo "# hello " > readme.md

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ ls
readme.md

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ cat readme.md
# hello

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ git add readme.md

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ git commit -m "add readme.md"
[master 09338d7] add readme.md
 1 file changed, 0 insertions(+), 0 deletions(-)
 create mode 100644 readme.md

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ git-crypt lock

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ cat readme.md
GITCRYPT▒iKO▒:▒gx▒*▒▒▒&rf▒

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ git-crypt status
not encrypted: .git-crypt/.gitattributes
not encrypted: .git-crypt/keys/default/0/ABF942D38B623FCB98B98E722B3BBE58C106357F.gpg
not encrypted: .gitattributes
    encrypted: readme.md

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ git-crypt lock

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$  cat readme.md
GITCRYPT▒BN(▒▒▒JE▒&U^\x▒▒

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ git-crypt unlock

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$  cat readme.md
# hello

导出加密密钥
1

git-crypt export-key ./path/.s_key
使用导出的密钥解密
1

git-crypt unlock ./path/.s_key

推送到远程仓库验证

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ git remote add origin git@github.com:hacperme/git_crypt_test.git

hacper@LAPTOP-0RHP1TGD MINGW64 /d/workspace/git_crypt_test (master)
$ git push -u origin master
Enumerating objects: 14, done.
Counting objects: 100% (14/14), done.
Delta compression using up to 8 threads
Compressing objects: 100% (9/9), done.
Writing objects: 100% (14/14), 1.68 KiB | 861.00 KiB/s, done.
Total 14 (delta 1), reused 0 (delta 0), pack-reused 0
remote: Resolving deltas: 100% (1/1), done.
To github.com:hacperme/git_crypt_test.git
 * [new branch]      master -> master
branch 'master' set up to track 'origin/master'.

在仓库托管平台看不到明文内容，符合预期。

MQTT 应用笔记

Fri, 09 Sep 2022 22:09:22 +0800

cleansession 与 Qos 的配置关系

cleanSession的语义

cleanSession标志是MQTT协议中对一个消费者客户端建立TCP连接后是否关心之前状态的定义，与消息发送端的设置无关。具体语义如下： - cleanSession=true：消费者客户端再次上线时，将不再关心之前所有的订阅关系以及离线消息。（服务器不保存之前的topic历史关系和不存储离线消息，客户连接需要重新订阅topic且不会收到离线消息） - cleanSession=false：消费者客户端再次上线时，还需要处理之前的离线消息，而之前的订阅关系也会持续生效。（服务器会保存之前的topic订阅关系，客户端连接之后不需要重新订阅topic，且会收到离线消息）
cleanSession 与 Qos 配置的关系

QoS级别	cleanSession=true	cleanSession=false
QoS0	无离线消息，在线消息只尝试推一次。	无离线消息，在线消息只尝试推一次。
QoS1	无离线消息，在线消息保证可达。	有离线消息，所有消息保证可达。
QoS2	无离线消息，在线消息保证只推一次。	有离线消息，所有消息保证只推一次。（也需要服务器支持该功能才有效）

发布、订阅消息不同 Qos 配置的作用、交互流程及其特点

mqtt 消息发布者和消息订阅者之间的 Qos 配置关系

MQTT发布消息QoS保证不是端到端的，是客户端与服务器之间的。订阅者收到MQTT消息的QoS级别，最终取决于发布消息的QoS和主题订阅的QoS。

发布消息的 QoS	主题订阅的 QoS	接收消息的 QoS
0	0	0
0	1	0
0	2	0
1	0	0
1	1	1
1	2	1
2	0	0
2	1	1
2	2	2

不同 Qos 消息在消息发布者、服务器、消息订阅者之间的交互流程

Qos0 的交互流程

特点：

没有重发机制，消息订阅者不一定能收到消息。

Qos1的交互流程

特点：

有重传机制，消息发送者PUBLISH消息之后，在特定时间之内没有收到 PUBACK 确认消息，就会触发重传。
重传对象为 PUBLISH 报文，重传动作在发送端进行。
一般重传有次数限制，比如腾讯云 iot 平台，3s 内没有收到ACK触发重传，重传次数最大为3次。
由于有重传，在应用层有可能会收到重复消息，需要根据应用场景判断要不要增加消息去重处理。

Qos2的交互流程

特点：

Qos2 不一定服务器都支持。
Qos2 发送消息，发送端和接收端需要个发两次报文才完成整个流程，共4次报文传输，流程更复杂，开销相对较大。
重传动作发生在消息发送端，重传对象有 PUBLISH 报文和 PUBREL 报文。
虽然有重传，但是应用层不会收到重复消息。

搭建 mqtt 测试服务器

搭建 emqx

推荐使用 docker 的方式，部署简单，一条命令搞定。

1

docker run -d --name emqx -p 1883:1883 -p 8083:8083 -p 8084:8084 -p 8883:8883 -p 18083:18083 emqx/emqx:latest

更改 wsl2 docker 存储位置方法

Sun, 07 Aug 2022 12:48:56 +0800

Windows 的 Linux 子系统安装的 Ubuntu，以及 docker 数据默认存储位置放在 C 盘，使用一段时间之后，C 盘空间快满了，所以需要将wsl2的存储位置迁移到其他位置。

wsl2 数据迁移步骤

使用指令 wsl --list -v 查看 wsl 安装的系统

1
2
3
4
5


PS C:\Users\hacper> wsl --list -v
  NAME                   STATE           VERSION
* docker-desktop         Running         2
  Ubuntu                 Running         2
  docker-desktop-data    Running         2

关闭docker服务

1

net stop "com.docker.service"

关闭wsl

1

wsl --shutdown

迁移Ubuntu数据

1
2
3
4
5
6
7
8


# 导出 Ubuntu 数据到 D:\wsl\docker\tmp\ubuntu.tar
wsl --export Ubuntu "D:\wsl\docker\tmp\ubuntu.tar"
# 注销 Ubuntu
wsl --unregister Ubuntu
# 将Ubuntu 从 "D:\wsl\docker\tmp\ubuntu.tar" 导入到 "D:\wsl\ubuntu"
wsl --import Ubuntu "D:\wsl\ubuntu" "D:\wsl\docker\tmp\ubuntu.tar"  --version 2
# 设置默认用户，不然登录之后是root用户
ubuntu config --default-user hacper

迁移docker数据

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


# 导出 docker-desktop-data  到 D:\wsl\docker\tmp\docker-desktop-data.tar
wsl --export docker-desktop-data D:\wsl\docker\tmp\docker-desktop-data.tar
# 注销 docker-desktop-data
wsl --unregister docker-desktop-data
# 重新导入 docker-desktop-data 到 D:\wsl\docker\data\
wsl --import docker-desktop-data D:\wsl\docker\data\ D:\wsl\docker\tmp\docker-desktop-data.tar --version 2

# 导出 docker-desktop 到 D:\wsl\docker\tmp\docker-desktop.tar 
wsl --export docker-desktop D:\wsl\docker\tmp\docker-desktop.tar 
# 注销 docker-desktop
wsl --unregister docker-desktop
# 重新导入 docker-desktop 到 D:\wsl\docker\distro\
wsl --import docker-desktop D:\wsl\docker\distro\ D:\wsl\docker\tmp\docker-desktop.tar --version 2  

删除导出数据

迁移成功之后，可以删除原来导出到 D:\wsl\docker\tmp\ 的数据

1
2
3


D:\wsl\docker\tmp\ubuntu.tar
D:\wsl\docker\tmp\docker-desktop-data.tar
D:\wsl\docker\tmp\docker-desktop.tar

注意

使用 wsl –import 指令重新导入数据到新磁盘目录是，注意该目录需要设置取消压缩、加密，否则会导入失败。

扫码关注

trace 32 dump 分析案例：strupr 修改只读内存引发的血案

Sun, 10 Jul 2022 00:41:37 +0800

前言

介绍一个使用 trace 32 分析 dump 的案例，通过这个案例熟悉 trace 32 工具的使用方法，并了解常见的 dump 问题排查思路。

死机的设备是展锐 8910 平台，操作系统是 freertos, c 语言开发环境。

问题分析过程

打开 trace 32，加载设备死机时 dump 文件，首先开任务调用栈，看死机时的停留位置。

死机正在调用的一个函数为strupr，对应的汇编代码为 strb r3,[r1]，这种情况，按照以往经验可以猜测大概率是内存读写问题。为了避免误判，还是需要做一下常规异常排查。

查看任务列表，按照任务状态排序，查看ready状态的任务是否有看门狗喂狗任务，排除高优先级任务占用cpu，喂狗任务无法及时得到调度而死机的情况，从下面的截图看呢，喂狗任务正常挂起了，所以不是这个原因

2. 查看任务栈，粗略看下有没有栈溢出的情况，排除是否是栈溢出导致内存访问问题。

可以看到，download 任务的任务栈还有 0x2c38 字节未使用，任务栈是够用的，可以排除栈溢出问题。

排除这两种常见情况之后，再分析死机异常的具体原因。

查看死机时汇编代码 strb r3,[r1]，这条指令有访问r1寄存器所指向的内存数据，查看r1寄存器的值，为0x601FFC8C，根据平台经验，0x601FFC8C 这个地址要么是一个属于代码段的地址，要么是一个不存在的非法内存地址，因为栈或者堆上的内存地址是长成0x80xxxxxx这样的。

可以dump一下0x601FFC8C这个地址的数据，看看里面有什么内容，可以看下面截图，0x601FFC8C 地址存放的刚好是一个字符串 “battery”，0x601FFC8C正好是这个字符串的起始地址，由于0x601FFC8C是属于代码段的地址，只能读取不能修改，所以可以断定0x601FFC8C是一个字符串常量。死机原因也可以进一步推测，是不是修改了这个只读变量的内存数据而导致死机呢？

再来看 strupr 这个函数的功能，strupr 是 c 标准库中的一个函数，功能是输入一个字符串数据，然后将其转换为大写。

问题原因似乎逐渐清晰了，汇编指令 strb 的功能正好是将寄存器的一个字节保存到某个内存地址，strb r3,[r1] 也就是将 r3的值保存到r1所指向的地址0x601FFC8C，r3的值是0x42, 对应ascii 字符 “B”, 目的是将battery中的“b”改成大写的"B"。

0x601FFC8C 地址里的数据是只读的，修改0x601FFC8C里面的数据导致了死机，死机的根本原因也就找到了。

最后再来看看这段触发死机的代码是怎么写的，cmd_get_config_info 函数里面调用了strupr函数死机，需要查看cmd_get_config_info 的实现

cmd_get_config_info 中使用 strupr 修改数组 names 里面的值

然后再看 names 里面的数据怎么来的

原来啊，names 里面的数据，是来自 static const char * 定义的一组字符串数据。在 trace 32 里面，也可以通过对names这个变量指向的地址0x80FA0B94设置断点的方式，查看变量名或者函数名，如下图所示，0x80FA0B94正好是全局变量 __HARDWARE_CONFIG_MODULES 的起始地址。

一点感想

c 语言是不安全的编程语言，开发调试过程中出现内存问题不可避免，无论如何小心谨慎，老司机也会有翻车的时候，c 语言这样的语言特性，对开发维护和支持来说，是一个不小的包袱。

扫码关注

常见的 SPI LCD 接口分类

Sun, 19 Jun 2022 11:53:33 +0800

在评估一款芯片是否支持某款屏幕时，首先要看屏幕的通信接口是否支持，认识和了解屏幕接口的类型，是能否正确评估屏幕选型和驱动调试的前提之一。下面介绍 spi 串口 LCD 屏的接口分类和差异。

通常带 spi LCM 外设的芯片，其屏幕的 spi 接口并不是标准的 4 线 spi（四根信号线：CS, MOSI, MISO, CLK），而是专用的 spi 接口。

spi 串口 LCD 屏的接口分类和差异整理之后，如下表所示：

信号线	4 线 8 bit Ⅰ 型 1 data line	4 线 8 bit Ⅱ 型 1 data line	3 线 9 bit Ⅰ型 1 data line	3 线 9 bit Ⅱ型 1 data line	3 线 9 bit Ⅰ型 2 data line	3 线 9 bit Ⅱ型 2 data line
CS	✔	✔	✔	✔	✔	✔
CLK	✔	✔	✔	✔	✔	✔
RS(D/CX)	✔(数据/命令选择)	✔(数据/命令选择)	✖ (RS(D/CX)被嵌入数据流中, 没有引脚)	✖ (RS(D/CX)被嵌入数据流中, 没有引脚)	✖ (RS(D/CX)被嵌入数据流中, 没有引脚)	✖ (RS(D/CX)被嵌入数据流中, 没有引脚)
DIN	✖	✔	✖	✔	✖	✔
DOUT	✔（DIO, 数据输入/输出）	✔	✔（DIO, 数据输入/输出）	✔	✔（D0）	✔
DOUT2	✖	✖	✖	✖	✔（RS(D/CX) 复用为 D1）第二 bit 输出	✔（RS(D/CX) 复用为 D1）第二 bit 输出

总结

4 线 spi 和 3 线 spi 接口的区别，4 线 spi 有 D/CX 引脚用于控制命令还是数据选择，而 3 线 spi 没有 D/CX 引脚，在数据中使用 1bit表示命令还是数据。

2. 1 data line 和 2 data line 的区别，1 data line 数据位宽只有 1bit, 2 data line 数据位宽有 2 bit, RS(D/CX) 复用为 D1，作为第 2 bit data。

Ⅰ 型和 Ⅱ 型屏的区别，Ⅱ 型屏有独立的 DIN、DOUT 两个引脚，而Ⅰ 型屏只有一个 data （DIO）引脚，既做输入又做输出。

如何使用 mbedtls 生成 RSA 签名和验签？

Tue, 05 Apr 2022 00:45:20 +0800

非对称加密会生成一个密钥对：公钥和私钥。公钥公之于众，而私钥需要保密，不公开。一般密钥的使用方法如下表，对于加密的应用场景，发送者使用公钥加密消息，接收者使用私钥解密密文，目的是在发送者和接收者之间安全地、秘密地传递消息；对于数字签名的使用场景，发送者使用私钥对消息摘要进行签名，接收者使用公钥对签名进行验签，验签的作用是鉴别发送者身份的真实性和验证消息的完整性。

Algorithm	Sender uses..	Receiver uses…
Encryption	Public key	Private key
Signature	Private key	Public key

我们使用python和C语言来介绍如何生成 RSA 签名并验证签名，使用到的加密库是 Cryptodome 和 mbedtls。首先使用 python 生成签名，在 c 代码中进行验签；然后也在 c 代码中生成签名，在python里进行验签，目的是使用两种编程环境，方便相互验证。

在python中生成签名

导入 python 包，需要用到 Cryptodome 的 PublicKey、Signature、Hash 以及 base64 编码解码这几个模块。

1
2
3
4


from Cryptodome.PublicKey import RSA
from Cryptodome.Signature import pkcs1_15
from Cryptodome.Hash import SHA256
from base64 import b64encode,b64decode

生成公钥和私钥，并输出为 PEM 格式。

1
2
3
4
5
6
7


# 生成密钥对
keyPair = RSA.generate(bits=1024)

# 私钥
print(keyPair.export_key("PEM"))
# 公钥
print(keyPair.public_key().export_key("PEM"))

私钥：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


-----BEGIN RSA PRIVATE KEY-----\n
MIICXQIBAAKBgQDTt8tp4xNp29CMxy6QS0NzpR6t8bAcv7ei3NkVM/Nzg3K5wWZR\n
aBTMovbzKCXdXYdC6GutVkG+CEetO3XHM4LhDqW0vwISTO65/XrvR3zqXD5ZjrJF\n
mtCAvkCwtMAPjqXZ/RJnd8yrXuoz5cRqVgKmq5TZlGIIiTPIklxGIGof8QIDAQAB\n
AoGAFf1BJoiD5+sBdFmsq6ZxhUWZU+ImEzpTUZpD/riEWNNGe2YLoTlg7acgZH1f\n
P2hbJ9cZdemfTuQvw52JHE0sktCUM6R0wq5rlbDj740+5yZYzs9FlUntm6UtoU9w\n
tpd62/iPxovFkguunJB2KBbtP8q0dYQntATEce1TZuS3trUCQQDl7VRYygSb3/HY\n
ij2ya1592WpgNWgmPvbpmUjGGBvjmnO8Ye1lEy6x69RmGjRrLvFfhWYwcF2HpmYQ\n
9wXKEwT1AkEA67nc/CdeT4j9jRE/QFXlhVrW8Gq8IfjXFGbGK5BqlTRbty3OpW+L\n
M9GPqiMC2XxN60peEiANlQ8aUnvbHZexjQJAcz4RGK+ov7fvL+maIuNN6SYf+zjJ\n
iuHkQBFkOGW9FMdFWxZ6Nj73GJZrTwGzZEWTFZ13KrAnMOZmIfquHCqMQQJBAL+u\n
x9ATg1FRqDyKBdEfCCDEmXuuj4VggCUK3aKXMNRbWyk9iohkh+F/Sz+icLLBreri\n
8lPy1JidS14/cRJDRBECQQCT4oNvmV5CYzqkqbgwtLPi/FIjc6Zi26DGxBzL01V+\n
yTO1ZlOOUOtY4dPBnU4COkdq6hWqum/Q6kiVj91qAUHN\n
-----END RSA PRIVATE KEY-----

公钥：

1
2
3
4
5
6


-----BEGIN PUBLIC KEY-----\n
MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQDTt8tp4xNp29CMxy6QS0NzpR6t\n
8bAcv7ei3NkVM/Nzg3K5wWZRaBTMovbzKCXdXYdC6GutVkG+CEetO3XHM4LhDqW0\n
vwISTO65/XrvR3zqXD5ZjrJFmtCAvkCwtMAPjqXZ/RJnd8yrXuoz5cRqVgKmq5TZ\n
lGIIiTPIklxGIGof8QIDAQAB\n
-----END PUBLIC KEY-----

定义将要签名数据，并计算哈希值，哈希算法使用 SHA256。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


# 消息
msg = b'A message for signing'

# 生成加密算子
c = pkcs1_15.new(keyPair)
h = SHA256.new()

# 计算hash，并打印为16进制字符串
h.update(msg)
print(h.digest().hex())

1

47f53245cd05a2b3e811ad6515000b44604b947a57d441b02125b04f4a16bb74

对哈希值进行签名，并输出签名数据为16进制字符串

1
2


sign = c.sign(h)
print(sign.hex())

1

29889917f0b5f0edf080266f0e9b5f33c561fce3ccadc01fea77bd7accd2bb180630ae7b70a090b96737dc917c89098a5ab4a8f9ecf390f2487d71938f7cf726cf6fbf50c2dad5f7a0187d09d645fb273932a6404f92c412a9b034a5a24f888dc309db5e226d352cbcfd3d8f4513743c1cbf4d99f71ca73500c28c60c2d48dff

最终对签名数据进行 base64 编码，相比于16进制字符串数据，base64 编码得到的数据长度相对较小，这应该是对二进制数据使用 base64编码的一个优势。

1

print(b64encode(sign))

1

KYiZF/C18O3wgCZvDptfM8Vh/OPMrcAf6ne9eszSuxgGMK57cKCQuWc33JF8iQmKWrSo+ezzkPJIfXGTj3z3Js9vv1DC2tX3oBh9CdZF+yc5MqZAT5LEEqmwNKWiT4iNwwnbXiJtNSy8/T2PRRN0PBy/TZn3HKc1AMKMYMLUjf8=

在c中验证签名

在c中使用 mbedtls 库进行签名验签，使用到 pk.h、md.h 和 base64.h 这几个头文件定义的接口。

先定义和实现验证签名的接口 rsa_pkcs1v15_sha256_verify，输入参数有原始消息 msg，PEM 格式的公钥 public_key_pem，以及base64 编码后的签名数据 sign_base64。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70


#include "mbedtls/pk.h"
#include "mbedtls/md.h"
#include "mbedtls/base64.h"

/**
 * @brief rsa_pkcs1v15_sha256_verify
 * 
 * @param [in] msg
 * @param [in] msg_len
 * @param [in] public_key_pem
 * @param [in] sign_base64
 * @return int 
 *  -- 0  verify pass
 *  -- -1 verify faild
 */
int rsa_pkcs1v15_sha256_verify(const unsigned char *msg, size_t msg_len,
                               const char *public_key_pem, const char *sign_base64)
{
    mbedtls_pk_context pk = {0};
    unsigned char hash[32] = {0};
    int ret = 0;
    size_t sign_len = 0;
    size_t b64out_len = 0;
    unsigned char *b64out_data = NULL;

    // 初始化上下文
    mbedtls_pk_init( &pk);

    // 导入公钥
    ret = mbedtls_pk_parse_public_key(&pk, (const unsigned char *)public_key_pem, strlen(public_key_pem)+1);
    if(ret != 0)
    {
        ret = -1;
        goto exit;
    }

    // 对需要验签的数据进行 sha256 计算，生成消息摘要数据
    ret = mbedtls_md(mbedtls_md_info_from_type( MBEDTLS_MD_SHA256 ),
                     (const unsigned char *)msg, msg_len, hash);
    if(ret != 0)
    {
        ret = -1;
        goto exit;
    }

    // 对原始签名数据进行 base64 解码
    sign_len = strlen(sign_base64);
    b64out_data = malloc(sign_len*2);
    memset(b64out_data, 0, sign_len*2);
    ret = mbedtls_base64_decode(b64out_data, sign_len*2, &b64out_len, (const unsigned char *)sign_base64, sign_len);
    if(ret != 0)
    {
        ret = -1;
        goto exit;
    }

    // 验证签名

    ret = mbedtls_pk_verify(&pk, MBEDTLS_MD_SHA256, hash, sizeof (hash), b64out_data, b64out_len);

exit:
    if(b64out_data)
    {
        free(b64out_data);
    }
    mbedtls_pk_free( &pk );

    return ret;

}

测试验签代码如下

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


static void test_rsa_pkcs1_verify(void)
{

    int ret = 0;
    // 公钥
    char *pub_key = "-----BEGIN PUBLIC KEY-----\n"
                    "MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQDTt8tp4xNp29CMxy6QS0NzpR6t\n"
                    "8bAcv7ei3NkVM/Nzg3K5wWZRaBTMovbzKCXdXYdC6GutVkG+CEetO3XHM4LhDqW0\n"
                    "vwISTO65/XrvR3zqXD5ZjrJFmtCAvkCwtMAPjqXZ/RJnd8yrXuoz5cRqVgKmq5TZ\n"
                    "lGIIiTPIklxGIGof8QIDAQAB\n"
                    "-----END PUBLIC KEY-----";
    // 原始消息
    char *msg = "A message for signing";

    // base64 编码之后的签名数据
    char * sign = "KYiZF/C18O3wgCZvDptfM8Vh/OPMrcAf6ne9eszSuxgGMK57cKCQuWc33JF8iQmKWrSo"
                  "+ezzkPJIfXGTj3z3Js9vv1DC2tX3oBh9CdZF+yc5MqZAT5LEEqmwNKWiT4iNwwnbXiJt"
                  "NSy8/T2PRRN0PBy/TZn3HKc1AMKMYMLUjf8=";

    ret = rsa_pkcs1v15_sha256_verify((const unsigned char *)msg, strlen(msg), pub_key, sign);

    printf("rsa_pkcs1v15_sha256_verify ret=%d\r\n", ret);

}

输出，返回值为0，验签成功。

1

rsa_pkcs1v15_sha256_verify ret=0

在c中生成签名

定义生成签名的接口 rsa_pkcs1v15_sha256_sign，输入参数有原始数据msg、用于签名的私钥priavte_key_pem、保存签名输出数据的地址sign_base64。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96


int rsa_pkcs1v15_sha256_sign(const unsigned char *msg, size_t msg_len,
                               const char *priavte_key_pem, char *sign_base64, int sign_len)
{
    mbedtls_pk_context pk;
    mbedtls_entropy_context entropy;
    mbedtls_ctr_drbg_context ctr_drbg;

    uint8_t sig_buff[SIGNATURE_MAX_SIZE];
    unsigned char hash[32] = {0};
    size_t sig_len = 0;
    int ret = 0;
    char *b64_out = NULL;
    int b64_len = 0;
    const char *pers = "mbedtls_pk_sign";       // Personalization data,
    // that is device-specific identifiers. Can be NULL.

    // 初始化随机数生成器
    mbedtls_entropy_init( &entropy );
    mbedtls_ctr_drbg_init( &ctr_drbg );

    //初始化上下文
    mbedtls_pk_init( &pk );

    mbedtls_ctr_drbg_seed( &ctr_drbg,
                           mbedtls_entropy_func,
                           &entropy,
                           (const unsigned char *) pers,
                           strlen( pers ) );

    //导入私钥
    ret = mbedtls_pk_parse_key(&pk, (const unsigned char *)priavte_key_pem,
                               strlen(priavte_key_pem)+1,
                               NULL, 0);
    if(ret != 0)
    {
        ret = -1;
        goto exit;
    }

    // 计算 sha256 消息摘要
    ret = mbedtls_md(mbedtls_md_info_from_type( MBEDTLS_MD_SHA256 ),
                     (const unsigned char *)msg, msg_len, hash);
    if(ret != 0)
    {
        ret = -1;
        goto exit;
    }

    // 签名
    ret = mbedtls_pk_sign(&pk, MBEDTLS_MD_SHA256, hash, sizeof (hash), sig_buff, &sig_len, mbedtls_ctr_drbg_random, &ctr_drbg);

    if(ret != 0)
    {
        ret = -1;
        goto exit;
    }

    b64_out = malloc(sig_len*2);
    if(b64_out == NULL)
    {
        ret = -1;
        goto exit;
    }

    // 对签名数据进行 base64 编码
    ret = mbedtls_base64_encode((unsigned char *)b64_out, sig_len*2,
                                (size_t *)&b64_len, (unsigned char *)sig_buff, (size_t)sig_len);

    if(ret != 0)
    {
        ret = -1;
        goto exit;
    }

    if(sign_len<b64_len)
    {
        ret = -1;
        goto exit;
    }

    strncpy(sign_base64, b64_out, sign_len);

exit:

    if(b64_out)
    {
        free(b64_out);
    }

    mbedtls_pk_free( &pk );
    mbedtls_ctr_drbg_free( &ctr_drbg );
    mbedtls_entropy_free( &entropy );

    return ret;

}

生成签名的测试代码

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


static void test_rsa_pkcs1_sign(void)
{

    int ret = 0;

    char *private_key = "-----BEGIN RSA PRIVATE KEY-----\n"
                        "MIICXQIBAAKBgQDTt8tp4xNp29CMxy6QS0NzpR6t8bAcv7ei3NkVM/Nzg3K5wWZR\n"
                        "aBTMovbzKCXdXYdC6GutVkG+CEetO3XHM4LhDqW0vwISTO65/XrvR3zqXD5ZjrJF\n"
                        "mtCAvkCwtMAPjqXZ/RJnd8yrXuoz5cRqVgKmq5TZlGIIiTPIklxGIGof8QIDAQAB\n"
                        "AoGAFf1BJoiD5+sBdFmsq6ZxhUWZU+ImEzpTUZpD/riEWNNGe2YLoTlg7acgZH1f\n"
                        "P2hbJ9cZdemfTuQvw52JHE0sktCUM6R0wq5rlbDj740+5yZYzs9FlUntm6UtoU9w\n"
                        "tpd62/iPxovFkguunJB2KBbtP8q0dYQntATEce1TZuS3trUCQQDl7VRYygSb3/HY\n"
                        "ij2ya1592WpgNWgmPvbpmUjGGBvjmnO8Ye1lEy6x69RmGjRrLvFfhWYwcF2HpmYQ\n"
                        "9wXKEwT1AkEA67nc/CdeT4j9jRE/QFXlhVrW8Gq8IfjXFGbGK5BqlTRbty3OpW+L\n"
                        "M9GPqiMC2XxN60peEiANlQ8aUnvbHZexjQJAcz4RGK+ov7fvL+maIuNN6SYf+zjJ\n"
                        "iuHkQBFkOGW9FMdFWxZ6Nj73GJZrTwGzZEWTFZ13KrAnMOZmIfquHCqMQQJBAL+u\n"
                        "x9ATg1FRqDyKBdEfCCDEmXuuj4VggCUK3aKXMNRbWyk9iohkh+F/Sz+icLLBreri\n"
                        "8lPy1JidS14/cRJDRBECQQCT4oNvmV5CYzqkqbgwtLPi/FIjc6Zi26DGxBzL01V+\n"
                        "yTO1ZlOOUOtY4dPBnU4COkdq6hWqum/Q6kiVj91qAUHN\n"
                        "-----END RSA PRIVATE KEY-----";
    char *msg = "A message for signing";

    char sign[1024] = {0};

    ret = rsa_pkcs1v15_sha256_sign((const unsigned char *)msg, strlen(msg), private_key, sign, sizeof (sign));

    printf("rsa_pkcs1v15_sha256_sign ret=%d\r\n", ret);

    if(ret == 0)
    {
        printf("sign:%s\r\n", sign);
    }

}

输出结果

1
2
3
4
5


rsa_pkcs1v15_sha256_verify ret=0
hash digest before sig
47F53245CD05A2B3E811AD6515000B44604B947A57D441B02125B04F4A16BB74
rsa_pkcs1v15_sha256_sign ret=0
sign:KYiZF/C18O3wgCZvDptfM8Vh/OPMrcAf6ne9eszSuxgGMK57cKCQuWc33JF8iQmKWrSo+ezzkPJIfXGTj3z3Js9vv1DC2tX3oBh9CdZF+yc5MqZAT5LEEqmwNKWiT4iNwwnbXiJtNSy8/T2PRRN0PBy/TZn3HKc1AMKMYMLUjf8=

签名数据 KYiZF/C18O3wgCZvDptfM8Vh/OPMrcAf6ne9eszSuxgGMK57cKCQuWc33JF8iQmKWrSo+ezzkPJIfXGTj3z3Js9vv1DC2tX3oBh9CdZF+yc5MqZAT5LEEqmwNKWiT4iNwwnbXiJtNSy8/T2PRRN0PBy/TZn3HKc1AMKMYMLUjf8= 与在python中生成的一致，说明这段c代码也是正确的。

在python中验证签名

python 验签的测试代码比较简单，如下所示

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


sign_b64 = "KYiZF/C18O3wgCZvDptfM8Vh/OPMrcAf6ne9eszSuxgGMK57cKCQuWc33JF8iQmKWrSo+ezzkPJIfXGTj3z3Js9vv1DC2tX3oBh9CdZF+yc5MqZAT5LEEqmwNKWiT4iNwwnbXiJtNSy8/T2PRRN0PBy/TZn3HKc1AMKMYMLUjf8="

pub_key = "-----BEGIN PUBLIC KEY-----\nMIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQDTt8tp4xNp29CMxy6QS0NzpR6t\n8bAcv7ei3NkVM/Nzg3K5wWZRaBTMovbzKCXdXYdC6GutVkG+CEetO3XHM4LhDqW0\nvwISTO65/XrvR3zqXD5ZjrJFmtCAvkCwtMAPjqXZ/RJnd8yrXuoz5cRqVgKmq5TZ\nlGIIiTPIklxGIGof8QIDAQAB\n-----END PUBLIC KEY-----"

#base64 解码
sign_data = b64decode(sign_b64)

# 导入公钥
pub = RSA.import_key(pub_key)

c = pkcs1_15.new(pub)
hashs = SHA256.new()
hashs.update(msg)

# 验签
try:
    c.verify(hashs, sign_data)
    print("verify ok")
except ValueError:
    print("verify faild")

打印输出验签结果，也是验签成功的。

1

verify ok

展锐 8910 平台 dump 抓取和分析专题

Tue, 01 Mar 2022 00:55:59 +0800

1. dump 抓取方法

抓取dump的前提

抓取dump之前需要关闭模块的硬件看门狗，可以发at指令或者调用open sdk api

AT 指令：

1

at+qdbgcfg="dumpcfg",0,1

API:

1
2


ql_dev_cfg_wdt(1);  // 打开硬件看门狗 
ql_dev_cfg_wdt(0);  // 关闭硬件看门狗

使用coolwatcher工具抓取dump的步骤

在coolwatcher 工具里面选择tools->blue screen dump。

elf 文件选择编译出来的 8915DM_cat1_open_core.elf，然后再选择dump的保存路径，点击start开始传输dump文件。
Trace32 加载dump文件步骤

解压压缩包T32.7z，把dump文件复制到8910dump目录下，同时需要复制编译固件的elf文件，同时放到8910dump目录下。

双击 T32_8910_Quectel_ap.bat 脚本进行解析
抓取dump失败的常见问题
1. 设备的固件与解析的elf文件不匹配
2. 使用串口抓取dump，需要串口支持921600波特率，否则只能用USB方式抓取。
3. dump 无法导出，尝试使用GDB launch 工具查看调用栈。
4. 调用栈函数名字没有解析出来，可能是没有加载客户app的elf文件，重新加载app.elf或者根据函数地址查找map文件。

2. TRACE32 工具的使用

查看调用栈
查看寄存器

R15–PC,

R14–LR,

R13–SP
dump 内存

输入16进制内存地址
线程列表

查看tcb
查看变量

使用命令 v.v 变量类型变量地址
通过设置断点，根据函数地址查找函数名字
查看类型，数据结构定义
查看代码

3. 典型问题分析方法

3.1 访问非法内存死机

怎么判断是否是访问非法内存呢？

通过查看死机时的汇编指令(通常是内存寻址指令)和寄存器来判定。

示例如下图：

ldrb r2,[r1,#0x5] 为死机的位置，ldrb 是ARM汇编中的一条内存寻址指令，作用是将从存储器中将一个8位的字节数据传送到目的寄存器中，同时将寄存器的高24位清零。

ldrb r2,[r1,#0x5] 的意思是将存储器地址为R1＋0x5的字节数据读入寄存器R2，并将R2的高24位清零。也就是该指令访问了R1寄存器所指向的内存地址，而查看R1寄存器的值发现R1为0，也就是访问了空指针（0地址）。

3.2 栈溢出分析及栈溢出检测机制

栈溢出问题可以分为两种类型，一是栈空间不够，在压栈的时候使用的空间超出了任务的栈空间大小；另一种是局部变量溢出，导致栈空间保存的数据被破坏。

栈溢出检测机制

展锐的8910使用的是FreeRTOS，栈的增长方向是从高地址向地址增长。其栈溢出检测的原理是，在任务栈初始化的时候，填充固定数据0xA5，kernel 会检查任务栈的最后16个字节的数据是否被篡改，如果发现这16个字节不是0xA5，则会触发ApplicationStackOverflowHook的调用，然后调用osiPanic() 主动死机。
栈溢出分析示例

栈空间大小分配不够导致栈溢出的问题的判断方法：

这种类型的栈溢出判断比较简单，直接看Trace32的调用栈里面是否有vApplicationStackOverflowHook的调用；或者查看死机task的TCB，查看其栈的起始地址对应的内存数据，看填充的A5A5数据是不是被篡改了，如果不是A5A5，则可以断定是栈溢出了。

局部变量溢出导致dump的判断方法：

这类问题比较难定位到具体是哪个变量溢出，但表现的现象很有特点：看任务栈的空间没有超，且每次死机的位置不固定，或者PC寄存器指向的地址不是一个正常的函数地址。遇到这类情况可以往局部变量溢出导致栈被破坏这个方向排查问题。

3.3 内存写越界dump分析方法

判断内存越界的方法，如果有导出heap report文件，可以先看下heap report里面有没有 block tail pattern error 的地方。

如果没有heap report文件，则可以从dump解析里面去判断，具体方法如下：

先看调用栈里面有没有prvFree.part.5的调用，如果有则有可能是检测到内存被破坏了。

对于指定的内存地址，看有没有越界，还可以通过dump内存数据来判断，例如查看0x80BAEC90这个地址有没有被破坏：

在命令窗口执行如下命令，对内存地址转换为struct osiBlockHeader *变量来查看：

1

v.v (struct osiBlockHeader *)(0x80BAEC90-8)

注意对地址0x80BAEC90 向前偏移8个字节

我们可以得到几个信息：

caller = 806162601

size = 4,

对caller = 806162601（十进制）乘以2，可以得到申请这段内存的函数地址，806162601*2=1612325202 （0x601A2152），通过设置断点的方式可以找到地址0x601A2152对应的函数是mlConvertStr。

size = 4（十进制）乘以8，可以得到这段内存的大小，4*8=32 （0x20）

然后dump这段内存，查看这段内存的tail位置是否为fd，如果不是则表示越界了

查看方法，输入指令:

1

d.dump (0x80BAEC90-0x08+0x20-0x01)

看箭头所指的地方是否为fd。

tail的位置的计算方法，内存地址-0x08+内存大小-0x01

上述dump内存的方法和导出的heap report是可以对应的上的：

取一个正常的内存地址做对比，以dump中的地址0x80BAEC28为例：

caller = 806521247, 806521247*2 = 1613042494（0x6025133E）

size = 13, 13*8=104 (0x68)

查看tail

1

d.dump (0x80BAEC28-0x08+0x68-0x01)

内存的结构：

1

 8字节header(包含caller，size等信息)+数据区(malloc返回的地址)+8字节对齐的冗余数据+1字节的尾部（其中最后一个字节为tail: FD）

ASR CAT 1 平台申请不到内存dump案例

Tue, 01 Mar 2022 00:48:52 +0800

内存耗尽导致的dump会有类似的错误输出：

1

Error description: (310,320,0),KIOSMEM,L:146

(310,320,0),KIOSMEM,L:146 表示申请 0x320(800)字节大小的内存失败。

通过工具 Quec_Crane_Dump_Memory_Parse_Tool_v1.1.2 解析dump查看内存使用情况，打开output_osa_mem.txt，查找 free block 关键字，发现确实没有0x320（800）大小的空闲内存了。

最后检查应用代码，定位发生内存泄漏的地方。

task QlUMaiRx 申请了365920字节，申请了10455次，所以这里出问题的可能性最大，最后确定是串口接收回调 ql_uart_callback 内存泄漏。

Quec_Crane_Dump_Memory_Parse_Tool_v1.1.2 增加 app.map 文件解析的修改方法

Tue, 01 Mar 2022 00:40:42 +0800

Quec_Crane_Dump_Memory_Parse_Tool_v1.1.2 是一个使用 python 写的，解析ASR 平台 dump 的一个工具。通常在使用 trace 32 工具分析dump的时候，也结合 Quec_Crane_Dump_Memory_Parse_Tool 工具辅助分析。

Quec_Crane_Dump_Memory_Parse_Tool 只能根据 kernel.map 解析dump，而在app侧编译的app.map无法解析。kernel.map 是在 armcc 工具套件下编译生成的，而 app.map 则使用的是 armgcc 编译工具，二者生成的map文件格式有较大差异，Quec_Crane_Dump_Memory_Parse_Tool 没有支持 armgcc

生成的map文件，所以通过Quec_Crane_Dump_Memory_Parse_Too 解析的结果只包含kernel侧的信息，通常客户的代码是在 app 侧，如果问题发生在app侧，在分析时无法通过app侧的解析得到更多线索，这是这个工具存在的问题。

修改以支持app.map解析的方法

主要修改两个文件：_scripts/cp_dump.py 和 _scripts/cp_map.py

_scripts/cp_dump.py 里面去除只能解析一个map文件的限制，直接返回包含app.map和kernel.map这两个的文件的路径：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


diff --git a/_scripts/cp_dump.py b/_scripts/cp_dump.py
index 76221d4..3b6920b 100644
--- a/_scripts/cp_dump.py
+++ b/_scripts/cp_dump.py
@@ -79,12 +79,12 @@ class CpDump:
                 print("no map file found!")
                 print('================================\n')
                 sys.exit(2)
-        if len(map_list) > 1:
-            print("too many map files. Which one to be used?\n")
-            for ff in map_list:
-                print("\t"+ff+"\n")
-            sys.exit(3)
-        return map_list[0]
+        # if len(map_list) > 1:
+        #     print("too many map files. Which one to be used?\n")
+        #     for ff in map_list:
+        #         print("\t"+ff+"\n")
+        #     sys.exit(3)
+        return map_list
     
     def memory_block(self, address):
         if address >= self.dtcm_base and address < self.dtcm_base + len(self.dtcm):

在 _scripts/cp_map.py 这个文件里面，分别加载kernel.map和app.map文件，并新增对 app.map 解析的方法，主要新增一个正则表达式用来提取app.map中的函数名、函数起始地址和函数的大小：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85


iff --git a/_scripts/cp_map.py b/_scripts/cp_map.py
index 6f07124..f99bc25 100644
--- a/_scripts/cp_map.py
+++ b/_scripts/cp_map.py
@@ -7,10 +7,30 @@ class ImageMap:
         self.gd_list = []
         self.ddr_base = 0
         self.dtcm_base = 0
-        if os.path.isfile(fname):
-            self.load_map_file(fname)
+        app_map = ""
+        kernel_map = ""
+        map_len = len(fname)
+        if map_len > 1:
+            for ff in fname:
+                if "app" in ff:
+                    app_map = ff
+                    print("INFO: find app map {}\n".format(app_map))
+                else:
+                    kernel_map = ff
+                    print("INFO: find kernel map {}\n".format(kernel_map))
+                
         else:
-            print("ERROR: %s not exist\n", fname)
+
+            kernel_map = fname[0]
+        if os.path.isfile(kernel_map):
+            self.load_kernel_map_file(kernel_map)
+        else:
+            print("ERROR: kernel_map:{} not exist\n".format(kernel_map))
+
+        if os.path.isfile(app_map):
+            self.load_app_map_file(app_map)
+        else:
+            print("ERROR: app_map:{} not exist\n".format(app_map))
         
     def get_thumb_function(self, line):
         r = re.search('\s+(.+)\s+0x([0-9a-fA-F]+)\s+Thumb Code\s+(\d+)\s+\S+\S+', line)
@@ -21,6 +41,20 @@ class ImageMap:
         fn['start'] = int(txt_start, 16)
         fn['size'] = int(txt_size)
         return fn
+    
+    def get_app_function(self, map_data):
+        fn = []
+        funcs = re.findall('\s+\.text\.(\w.*?)\n\s.*?0x(?!00000000)([0-9a-fA-F]+)\s+0x([0-9a-fA-F]+)(?:.*?\.o)', map_data)
+        if len(funcs)==0:
+            print("ERROR:no app funcs found")
+            return fn
+        keys = ["name", "start", "size"]
+        for i in funcs:
+            f = dict(zip(keys, [i[0],int(i[1], 16),int(i[2], 16)]))
+            fn.append(f)
+        
+        return fn
+
         
     def get_arm_function(self, line):    
         r = re.search('\s+(.+)\s+0x([0-9a-fA-F]+)\s+ARM Code\s+(\d+)\s+\S+\S+', line)
@@ -54,7 +88,7 @@ class ImageMap:
         txt_name, txt_start, txt_size = r.groups()
         return int(txt_start, 16)
 
-    def load_map_file(self, fname):
+    def load_kernel_map_file(self, fname):
         self.fn_list = []
         self.gd_list = []
         self.ddr_base = 0
@@ -72,7 +106,15 @@ class ImageMap:
                 elif line.find('Image$$DDR_DTCM$$Base') > 0:
                     self.dtcm_base = self.get_dtcm_base(line)
         self.fn_list.sort(key=lambda x:x['start'])
-        
+
+    def load_app_map_file(self, fname):
+        with open(fname, 'r') as f:
+            map_data = f.read()
+        fn_list = self.get_app_function(map_data)
+        self.fn_list.extend(fn_list)
+        self.fn_list.sort(key=lambda x:x['start']) 
+        # with open("all_funcs.txt", 'w') as f:
+        #     print(self.fn_list,file=f)
     
     def search_functions(self, func_list, address):
         if len(func_list) > 10:

其中提取app.map中函数信息的正则表达式: \s+\.text\.(\w.*?)\n\s.*?0x(?!00000000)([0-9a-fA-F]+)\s+0x([0-9a-fA-F]+)(?:.*?\.o)

提取函数名、起始地址和函数大小，有这三个信息之后就可以根据内存地址找到对应的函数了。

结果对比

修改之后，output_all_task.txt 解析任务栈中函数调用关系的结果中，补充了app侧的函数调用。

output_osa_mem.txt 中也增加了在app侧申请内存的函数的显示。

Quec_Crane_Dump_Memory_Parse_Tool 工具的使用场景

排查内存泄漏问题和内存破坏问题

通过 output_osa_mem.txt 的解析结果定位内存泄漏和内存破坏的位置，以及内存申请失败问题。
排查中断、高优先级task 耗时长导致死机问题

output_rti_tsk.txt 解析结果记录了一段时间内任务调度的情况，其中包含每个task执行的耗时时间，从中可以判断和定位一些中断回调、高优先级task有阻塞动作导致的死机问题
查看死机时task的调用栈信息

output_all_task.txt 里面包含死机时函数的调用栈信息，在 trace 32 解析dump时看不到任务调用栈信息的情况下（比如 pc寄存器非法，调用栈为空的情况），这时可以通过output_all_task.txt看调用栈信息，可以定位出现问题的大致范围。
作为一种调试方法

主动触发dump，通过 output_rti_tsk.txt 查看任务切换的情况，调试多任务调度下的一些奇怪问题。

通过 output_all_task.txt，除了可以查看当前死机的task，还可以查看其他task的信息，任务的优先级、任务栈大小和剩余大小和任务调用栈，通过这些信息也可以看下这些task的优先级和任务栈大小设置是否合理，以及task在休眠之前调用了哪些函数。

在 windows 平台上使用 git 多仓库管理工具 repo

Mon, 27 Dec 2021 08:00:12 +0800

repo 介绍

一个大型项目通常会有多个仓库构成，比如 Android 项目，通过 manifest 清单（xml 文件）定义一个项目中各个 git 代码仓库的关联，而 repo 就是在这种项目组织方式下的一个用于多仓库协同开发和代码评审的一个客户端工具。

repo 是使用 python 开发实现的，需要安装 python 才能运行，repo 可以用于下载和提交代码，以及对多个代码仓库同时执行 git 命令，在他的官网上可以找到更多关于repo的介绍资料：https://gerrit.googlesource.com/git-repo/+/HEAD/README.md。

Windows 系统使用 repo

原始的 Google repo 工具仅支持在 Linux 系统下运行，现在支持 python 2 和 python 3，但无法在 Windows 上使用，这使得一些在 Windows 系统环境下开发的项目使用 repo 不太方便。

如果需要在Windows下使用，可以使用第三方的 esrlabs repo，按照官网介绍下载安装repo，并添加环境变量就可以使用了，目前仅支持 python2，esrlabs repo 的命令参数兼容原始的google repo，这算是 Windows 下使用 repo 的一个替代方案。如果使用的是 Windows 10，还可以在 Windows 10 的Linux 子系统下安装原始 repo，在 Linux 子系统进行多仓库管理，这是第二个方案。第三个方案是使用 go 语言开发 git-repo 替代 repo，下面介绍 git-repo 的安装和使用。

git-repo 介绍和使用示例

git-repo 是一个使用 go 编写的仓库管理工具，与原始 repo 相比，支持 Windows、Mac 和 Linux 系统，除了git，没有其他软件依赖，兼容多数原始的 repo 命令，速度也比 python 编写的 repo 快，所以在 Windows 平台上 git-repo 算是一个很好的替代原始 repo 的选择，它的官网地址为：https://git-repo.info/zh_cn/，可以了解更多信息。

安装

在 https://git-repo.info/zh_cn/download/ 下载对应平台的二进制执行文件，然后将其添加到环境变量。

在 Windows上打开 git bash，能够正确执行 git repo version 命令说明安装好了。

1
2
3


$ git repo version
git-repo version 0.7.8
git version 2.22.0.windows.1

使用示例

git-repo 在使用上是作为 git 的一个子命令 git repo 来使用的，在 git repo 后面输入命令参数。

初始化项目：git repo init -u < manifest-url>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


$ git repo init -u git@gitee.com:qioixiy/manifests.git
Warning: Permanently added the ECDSA host key for IP address '212.64.62.183' to the list of known hosts.
remote: Enumerating objects: 17, done.
remote: Total 17 (delta 0), reused 0 (delta 0), pack-reused 17
Unpacking objects: 100% (17/17), done.
From gitee.com:qioixiy/manifests
 * [new branch]      master     -> origin/master
Note: checking out '20dd4a7db47f19b7e59f4e880a46ac9732cd4986'.

You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.

If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:

  git checkout -b 

HEAD is now at 20dd4a7 Add trac into dev-env
Switched to a new branch 'default'
NOTE: Your identity is: hacper 
NOTE: If you want to change this, please re-run 'git repo init' with --config-name
NOTE: repo has been initialized in G:\Workspace\fsl

初始化成功会有一个 .repo 隐藏目录。

同步代码：git repo sync

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42


$ git repo sync
remote: Enumerating objects: 315, done.
remote: Enumerating objects: 6069, done.
remote: Total 315 (delta 0), reused 0 (delta 0), pack-reused 315
Receiving objects: 100% (315/315), 120.01 KiB | 278.00 KiB/s, done.
Resolving deltas: 100% (126/126), done.
From https://gitee.com/qioixiy/shell.profileiB | 262.00 KiB/s
 * [new branch]      master     -> gitee_qioixiy/master
remote: Total 6069 (delta 0), reused 0 (delta 0), pack-reused 6069
Receiving objects: 100% (6069/6069), 2.35 MiB | 497.00 KiB/s, done.
Resolving deltas: 100% (4069/4069), done.
From https://gitee.com/qioixiy/git-repo
 * [new branch]      main       -> gitee_qioixiy/main
 * [new branch]      master     -> gitee_qioixiy/master
ERROR: 404: bad ssh_info response of 'http://gitee.com/ssh_info'
NOTE: fail to check remote server, you may need to install gerrit hooks by hands
ERROR: fail to load remotes: gitee_qioixiy
Note: checking out 'd7399d9ca2cfe40dcee22f0ea6ce0cdd283e5a78'.

You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.

If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:

  git checkout -b 

HEAD is now at d7399d9 update home_dot/files/.profile_priv.
Note: checking out '6a2f4fb39073a4e2e6824d5f2f4a1cbf5fe4b766'.

You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.

If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:

  git checkout -b 

HEAD is now at 6a2f4fb repo init: Added --no-partial-clone and made it persist. Bumped version to 2.14.

下载代码成功结果如下：

创建新分支：git repo start –all new_branch_name

1
2
3


$ git repo start --all fea/test
Switched to a new branch 'fea/test'
Switched to a new branch 'fea/test'

提交代码： git repo upload

使用 Trace32 分析局部变量越界导致的死机问题

Sun, 31 Oct 2021 13:21:28 +0800

创建两个线程和一个消息队列，一个线程发消息，另一个线程接收消息，消息的大小是1个字节，在这样的情况下，接收消息的线程一收到消息会出现死机问题，但如果在接收消息之前加一行log打印的代码就不会死机，非常神奇的 bug，以下是示例代码：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


static uint8_t _wait_queue(uint32_t timeout)
{
    uint8_t ret;
    uint8_t event;
    ret = ql_rtos_queue_wait(queue, &event, 1, timeout);
    if( ret != QUEC_SUCCESS )
        return -1;
    return event;
}

static void _recv_task(void * argv)
{
    uint8_t ret = 0;
    while(1)
    {
        ret = _wait_queue(QL_WAIT_FOREVER);
        printf("====== ret is :%d\n",ret);
        ret = _wait_queue(1000);
        printf("====== ret is :%d\n",ret);
    }
}

static void _send_task(void * argv)
{
    uint8_t event = 1;
    while(1)
    {
        ql_rtos_queue_release(queue, 1, &event, QL_WAIT_FOREVER);
        printf("======== send queue success\r\n");
        ql_rtos_task_sleep_s(1);
    }
}

从这段应用代码其实看不出来有什么问题，但是死机的时候有个特征：**有时候是PC 指针异常（PC指针的值不是一个函数的入口地址），有时候是访问非法内存（访问不存在的内存地址）。**出现这样的现象，通常会往线程的栈溢出这个方向怀疑，而且还是局部变量或者buffer内存写越界导致的这类栈溢出问题。

有了问题的线索，那就查看消息队列的实现源码，做进一步分析。消息队列的收发接口 ql_rtos_queue_wait ql_rtos_queue_release 是对底层 rtos threadx 的消息队列的封装，底层 threadx 的移植代码未开源，但可以在 github 上找相近版本的源码来分析问题，threadx 消息队列代码的链接：https://github.com/azure-rtos/threadx/blob/HEAD/common/src/tx_queue_receive.c

查看源码发现，在接收msg的时候，threadx 的消息队列实现会把指针转换为 unsigned long 类型：

从下面的代码看，在拷贝 msg 数据的时候，至少会写4个字节的数据：

而测试代码中 uint8_t event 定义的数据只有1个字节大小，在接收 msg 数据的时候 event 这个变量会写越界，从而破坏线程的栈。

加一些调试代码验证这个问题，在定义 event 的前后分别增加两个 buffer，并填充一些已知数据，看接收消息列的 msg 之后是否会有数据越界写到 buffer里面，通过全局变量记录 event 和这两个 buffer 的内存地址，方便在 Trace32 中查看他们的内存数据，在接收消息之后，以访问空指针的方式触发dump，查看内存数据变化。

通过 Trace32 查看死机时候的 dump，接收 msg 的时候，写了4个字节的数据，并把填充了 0xff 的 buffer 的数据篡改了。

再去掉刚才添加的 buffer，查看死机时候的 dump，结果也是 event 变量后面的数据被覆盖，变成 0x7e000000，这个 0x7e000000 在被改写之前应该是一个与函数地址有关的变量，他的值被改了，函数调用结束返回的时候给 PC 指针赋值了一个非法值，也就死机了。至于为什么在接收消息之前加一行打印就不会死机了呢？实际上接收消息的时候栈里面的这段数据还是会被篡改，只是这段数据没那么致命（存储的不是内存地址），变化了也不会引起死机，就如同上面验证的时候添加的 buffer，里面的数据被篡改了也无关紧要。

threadx 消息队列里面收发消息的 msg buffer 大小至少是一个 ULONG（4个字节），且得是 ULONG 大小的倍数，必须确保 msg buffer 里面有足够的空间容纳消息数据，否则会出现局部变量写越界，任务栈被破坏的问题。

总结使用 Trace32 的一些技巧：

局部变量越界死机的特征：有时候是 PC 指针异常（ PC 指针的值不是一个函数的入口地址），有时候是访问非法内存（访问不存在的内存地址）。
使用全局变量保存局部变量的地址，然后在 Trace32 里面 dump 内存数据分析。
在问题代码上下文中主动触发 dump，可以访问空指针或者调用平台的 panic 接口，然后通过 Trace32 解析dump 进行分析验证。

Trace32 相关文章推荐：

读取寄存器 data abort dump 案例

Sun, 31 Oct 2021 00:25:00 +0800

dump原因 DataAbort，Error address (may not be relevant): D4280829

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12



Software version from AXF file: SDK_1.011.022
Software version from Dump files: SDK_1.011.022
------------------------------------------------------------------
Error description: DataAbort[AT 801A9D34],Unknown
Error address (may not be relevant): D4280829
Error thread: uiNguxTh, stack range (0x7E6AA140..0x7E6AE13B)
RTC time: 00.00.0000-00:00:00 (dd.mm.yy-hh:mm:ss)
Gasket registers: PESR=00000000, XESR=00000000, PEAR=00000000, FEAR=00000000, SEAR=00000000, GEAR=00
FAULT_STATUS=0x00000001
FAULT_ADDRESS=0xD4280829
------------------------------------------------------------------

任务调用栈信息，看调用栈，最后是在执行sdhci_dumpregs函数，data abort 的地址 0xD4280829。

SDHC 寄存器基地址如下：

SD Host Controller Registers
The base addresses of the Host Controller registers are:
SD1: 0xD4280000
SD2: 0xD4280800
SD3: 0xD4281000
SD4: reserved

0xD4280829 是 0xD4280800 + 0x29，也就是操作了 SDHCI_POWER_CONTROL 寄存器。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43


#define SDHCI_POWER_CONTROL			                    0x29

static void sdhci_dumpregs(UINT32 base)
{
	SDIOLOG_TRACE(": ============== REGISTER DUMP ==============\r\n");
	SDIOLOG_TRACE(": DMA addr: 0x%08x | Version:  0x%08x\r\n",
		sdio_readl(base, SD_SYSADDR_LOW_offset),
		sdio_readw(base, SDHCI_HOST_VERSION));
	SDIOLOG_TRACE(": Blk size: 0x%08x | Blk cnt:  0x%08x\r\n",
		sdio_readw(base, SD_BLOCK_SIZE_offset),
		sdio_readw(base, SD_BLOCK_COUNT_offset));
	SDIOLOG_TRACE(": Argument: 0x%08x | Trn mode: 0x%08x\r\n",
		sdio_readl(base, SD_ARG_LOW_offset),
		sdio_readw(base, SD_TRANSFER_MODE_offset));
	SDIOLOG_TRACE(": Present:  0x%08x | Host ctl: 0x%08x\r\n",
		sdio_readl(base, SD_PRESENT_STAT_0_offset),
		sdio_readw(base, SD_HOST_CTRL_offset));
	SDIOLOG_TRACE(": Power:    0x%08x | Blk gap:  0x%08x\r\n",
		sdio_readw(base, SDHCI_POWER_CONTROL), /*导致dump的地方*/
		sdio_readw(base, SD_BGAP_CTRL_offset));
	SDIOLOG_TRACE(": Wake-up:  0x%08x | Clock:    0x%08x\r\n",
		sdio_readb(base, SDHCI_WAKE_UP_CONTROL),
		sdio_readw(base, SD_CLOCK_CTRL_offset));
	SDIOLOG_TRACE(": Timeout:  0x%08x | Int stat: 0x%08x\r\n",
		sdio_readw(base, SD_SW_RESET_CTRL_offset),
		sdio_readl(base, SD_NORM_INTR_STS_offset));
	SDIOLOG_TRACE(": Int enab: 0x%08x | Sig enab: 0x%08x\r\n",
		sdio_readl(base, SD_NORM_INTR_STS_EBLE_offset),
		sdio_readl(base, SD_NORM_INTR_STS_INTR_EBLE_offset));
	SDIOLOG_TRACE(": AC12 err: 0x%08x | Slot int: 0x%08x\r\n",
		sdio_readw(base, SDHCI_ACMD12_ERR),
		sdio_readw(base, SDHCI_SLOT_INT_STATUS));
	SDIOLOG_TRACE(": Caps:     0x%08x | Max curr: 0x%08x\r\n",
		sdio_readl(base, SDHCI_CAPABILITIES),
		sdio_readl(base, SDHCI_MAX_CURRENT));
	SDIOLOG_TRACE(": Command:  0x%08x | RX_CFG_REG:0x%08x\r\n",
		sdio_readw(base, SD_CMD_offset),
		sdio_readl(base,SDHCI_RX_CFG_REG));
    SDIOLOG_TRACE("SDHCI_HOST_CTRL2: 0x%08x | PRESET_VALUE_FOR_SDR50:0x%08x",
        sdio_readw(base, SDHCI_HOST_CTRL2),
        sdio_readw(base, SDHCI_PRESET_VALUE_FOR_SDR50));
	SDIOLOG_TRACE(": ===========================================\r\n");
}

SDHCI_POWER_CONTROL 寄存器地址和描述如下：

0xD4280800 + 0x29 对应对应图中标黄区域。

sdio_readw(base, SDHCI_POWER_CONTROL) ，sdio_readw 读取两个字节的数据，对应地址范围：0xD4280829-0xD428082B。而其中0xD428082A-0xD428082B 已经是下一个寄存器的地址范围了。

1
2
3
4
5
6
7
8


static UINT16 sdio_readw(UINT32 base, UINT32 reg)
{
    volatile UINT16* ptr16;
    UINT16 tmp;
    ptr16 = (volatile UINT16*)(base + reg);
    tmp = *ptr16;
    return tmp;
}

改成sdio_readb(base, SDHCI_POWER_CONTROL) 不会dump，sdio_readb 读取一个字节，也就是说，并不是0xD4280829这个地址不可用，而是访问数据的方式不正确导致dump。

1
2
3
4
5
6
7
8


static UINT8 sdio_readb(UINT32 base, UINT32 reg)
{
    volatile UINT8* ptr8;
    UINT8 tmp;
    ptr8 = (volatile UINT8*)(base + reg);
    tmp = *ptr8;
    return tmp;
}

python 曲线拟合方法

Thu, 01 Jul 2021 00:33:21 +0800

背景

有些产品可能需要用到旋钮来调节音量，比如对讲机，收音机等。如何实现呢？常见的一种实现方案是使用电位器接一个ADC输入，通过ADC检测电压的大小变化来调节音量大小，软件实现上需要定时检测ADC的电压变化，检测周期长短影响音量调节体验，设置的周期长，反应速度慢，会出现突然声音大或者突然声音小的情况，检测时间太频繁，系统又会频繁唤醒，无法进入低功耗状态。

另一种方式是是使用旋转编码器接几个GPIO，通过旋转编码器可以检测到正转反转，通过其输出信号可以得到旋转角度。

电位器实物图：

旋转编码器实物图：

在某项目中使用ADC+可调电位器的方式实现音量调节功能，电路如下图：

在使用ADC时发现一个问题，从ADC读取到的电压值并不是实际电压，从ADC读取的电压值范围是0~184mv，测量得到的实际电压为0~1668mv，所以需要对ADC的原始数据做处理，通过软件拟合得到真实电压。遇到问题，解决问题，学习使用python处理曲线拟合的几种方法。

python 调试环境介绍

对我的python开发调试环境做个简单介绍，操作系统是win 10，安装的python 是3.8，同时安装了 jupyter lab。

平时一些简单的python脚本编写、算法验证通常都是在 jupyter lab环境上编码调试。

为什么使用jupyter lab呢？

python对我来说是一门辅助性的工具，通常编写的代码量不大，jupyter lab 上可以运行代码，绘图显示方便，同时编写笔记，所以jupyter lab 非常适合我的使用需求，而不需要重量级的IDE开发环境。

下面是一个来自jupyter lab官网的运行界面图，除了支持python，还支持c++、R、Julia等其他编程语言。

python 线性拟合方法

线性拟合需要用到的python包有 numpy、matplotlib 和 scipy，通过pip安装即可，然后导入需要用到的python包

1
2
3
4
5
6


import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
from numpy import polyfit, poly1d
from scipy.linalg import lstsq
from scipy.stats import linregress

导入从adc读取到的原始数据和实际测量得到的电量数据，数据量不大，定义为列表，然后绘制ADC原始数据和实际电压的曲线图。

1
2
3
4
5
6
7
8


# ADC 采集的原始数据
adc = [ 192, 333, 372, 399, 421, 435, 450, 453, 459, 462, 456, 436, 419, 386, 340, 199, 184]

# 实际测量的电压数据
vo = [702, 1212, 1343, 1442, 1525, 1572, 1623, 1638, 1652, 1665, 1647,  1580, 1512, 1395, 1232, 729, 679]

# 绘图
p = plt.plot(adc, vo, 'rx')

从上图看，原始数据和实际电压数据基本上保持线性关系，这是比较幸运的情况，从图上看应该是一条直线，通过直线拟合的方法来得到实际电压没有问题。

怎么获取这条直线的参数呢？

方法1，numpy 提供的多项式拟合函数polyfit计算。

线性拟合为一阶多项式，一阶多项式$$y = a_1 x + a_0$$拟合成功返回两个系数 $$[a_1, a_0]$$。

1
2
3


coeff1 = polyfit(adc, vo, 1)
print(coeff1)
# [ 3.56483415 20.43063565]

使用poly1d生成多项式函数。

1
2
3


f = poly1d(coeff1)
print(f)
# 3.565 x + 20.43

然后画出拟合曲线图。

1
2


p = plt.plot(adc, f(adc))
p = plt.plot(adc, vo, 'rx')

方法2，使用scipy提供的线性回归函数linregress求解

1
2
3
4


# 求解系数
slope, intercept, r_value, p_value, stderr = linregress(adc, vo)
print(slope, intercept)
# 3.5648341453932266 20.430635650877775

绘制拟合曲线图

1
2
3
4
5
6


f = poly1d(coeff)
print(f)
# 3.565 x + 20.43

p = plt.plot(adc, vo, 'rx')
p = plt.plot(adc, f(adc))

方法3，求最小二乘解

当使用一个 N-1 阶的多项式拟合这 M 个点时，有这样的关系存在$$XC = Y$$ ，

$$\left[ \begin{matrix} x_0^{N-1} & \dots & x_0 & 1 \\ x_1^{N-1} & \dots & x_1 & 1 \\ \dots & \dots & \dots & \dots \\ x_M^{N-1} & \dots & x_M & 1 \end{matrix}\right] \left[ \begin{matrix} C_{N-1} \\ \dots \\ C_1 \\ C_0 \end{matrix} \right] = \left[ \begin{matrix} y_0 \\ y_1 \\ \dots \\ y_M \end{matrix} \right]$$

使用一阶多项式求解，即N=2，先将adc扩展为X，vo转换为Y:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


x = np.array(adc)
Y= np.array(vo).reshape(-1,1)

X = np.hstack((x[:,np.newaxis], np.ones((x.shape[-1],1))))
print(X[0:8])
print(Y[0:8])

'''
[[192.   1.]
 [333.   1.]
 [372.   1.]
 [399.   1.]
 [421.   1.]
 [435.   1.]
 [450.   1.]
 [453.   1.]]
 
[[ 702]
 [1212]
 [1343]
 [1442]
 [1525]
 [1572]
 [1623]
 [1638]]
'''

求解：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


C, resid, rank, s = lstsq(X, Y)
C, resid, rank, s

"""
(array([[ 3.56483415],
        [20.43063565]]),
 array([137.64565162]),
 2,
 array([1.59853058e+03, 9.95236176e-01]))
"""

绘图：

1
2
3
4
5
6


f = poly1d(C.reshape(1,-1)[0])
print(f)
# 3.565 x + 20.43

p = plt.plot(adc, vo, 'rx')
p = plt.plot(adc, f(adc))

非线性拟合

多项式拟合正弦函数

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# 定义sin函数
x = np.linspace(-3 * np.pi,3 * np.pi,100)
y = np.sin(x)

# 多项式拟合，从一阶多项式到9阶多项式
y1 = poly1d(polyfit(x,y,1))
y3 = poly1d(polyfit(x,y,3))
y5 = poly1d(polyfit(x,y,5))
y7 = poly1d(polyfit(x,y,7))
y9 = poly1d(polyfit(x,y,9))

# 绘图
p = plt.plot(x, y, 'k-')
p = plt.plot(x, y1(x))
p = plt.plot(x, y3(x))
p = plt.plot(x, y5(x))
p = plt.plot(x, y7(x))
p = plt.plot(x, y9(x),"g--")

a = plt.axis([-3 * np.pi, 3 * np.pi, -1.25, 1.25])

拟合自定义曲线

$$y = a e^{-b sin( f x + \phi)}$$

定义非线性函数：

1
2
3
4


def function(x, a , b, f, phi):
    """a function of x with four parameters"""
    result = a * np.exp(-b * np.sin(f * x + phi))
    return result

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


from scipy.optimize import curve_fit
from scipy.stats import norm

# 绘制原始曲线和加入噪声后曲线
x = np.linspace(0, 2 * np.pi, 50)
actual_parameters = [3, 2, 1.25, np.pi / 4]
y = function(x, *actual_parameters)
y_noisy = y+ 1.8 * norm.rvs(size=len(x))

p = plt.plot(x, y, 'k-')
p = plt.plot(x, y_noisy, 'gx')

使用curve_fit求解

1
2
3
4
5
6
7


p_est, err_est = curve_fit(function, x, y_noisy)
# 第一个返回的是函数的参数，第二个返回值为各个参数的协方差矩阵

# 绘制结果曲线
p = plt.plot(x, y_noisy, "gx")
p = plt.plot(x, y, 'k')
p = plt.plot(x, function(x, *p_est), "r")

参考资料

04.04 curve fitting (http://lijin-thu.github.io/04.%20scipy/04.04%20curve%20fitting.html)

内存写越界 dump 分析

Fri, 25 Jun 2021 01:06:48 +0800

CoreDump_2021-05-26_14-40-18

dump log 显示是访问了非法内存地址

Memory Management fault: Data access violation @0x10000a0d

trace 32 解析dump

死机时执行的汇编代码

str r0,[r3] ; pxBlockToInsert,[r3]

查看R3寄存器为 10000A0D

确实访问了内存地址 0x10000A0D

再看调用栈情况

死机位置

prvInsertBlockIntoFreeList

prvInsertBlockIntoFreeList 函数里面，在迭代寻找插入freeblock的位置，访问了0x10000A0D。

而0x10000A0D并不是合法的一个8字节对齐的地址， 0x10000A0D & 0x07 = 5，所以会死机。

0x10000A0D 是怎么来的？

pdata = 0x10092C90 的block大小是0x408, 减去header大小8也就是1024字节

dump 0x10092C90 + 1024的内存数据，\r\n 正好是0x0D，0x0A，内存被踩。

1056 字节的数据是怎么来的？

变量 apb_proxy_event_t apb_proxy_event; 未赋值初始化，可能会有问题。

1024 + 32 = 1056

所以死机根本原因是 0x10092C90 这段内存，写超了1024个字节导致。

CoreDump_2021-05-28_10-36-39

死机log

对应代码，malloc 是，内存block划分得到的地址没有8字节对齐，触发了assert。

也是内存被破坏的问题。

0x000A0D34 怎么来的？

A*34\r\n 正好是0A 0D 34，猜测也是内存overwrite问题。

CoreDump_2021-05-28_10-51-25

死机log

也是内存被踩问题。

分析总结

检查访问的地址是否字节对齐，BC20平台的动态申请内存地址是按8字节对齐的，内存地址&0x07要等于0。
检查全局变量空闲内存列表xStart是否有非法内存地址，地址在不在heap地址范围，链表记录的block地址是否都是字节对齐的。
检查malloc返回的某个地址是否写穿，可以对该（内存地址-0x8）解析为 BlockLint_t * 结构体(head 大小占用8字节)，查看这块内存分配的block大小，然后dump这段内存的结束地址，看下一个链表节点纪录的数据是否正常的，有没有被破坏。
BC20平台使用的os是freertos, heap 内存分配策略是first fit方式，且从dump看，内存块的数据结构BlockLint_t 没有记录caller地址。

正则表达式备忘清单

Sun, 06 Jun 2021 22:43:57 +0800

定位

表达式

量词

字符组

POSIX 字符集	描述
[[:alnum:]]	字母数字字符（字母和数字）
[[:alpha:]]	字母字符（字母）
[[:ascii:]]	ASCII字符（总共128个）
[[:blank:]]	空白字符
[[:ctrl:]]	控制字符
[[:digit:]]	数字
[[:graph:]]	图形字符
[[:lower:]]	小写字母
[[:print:]]	可打印字符
[[:punct:]]	标点符号
[[:space:]]	空格字符
[[:upper:]]	大写字母
[[:word:]]	单词字符
[[:xdigit:]]	十六进制数字

关于量词的贪心、懒惰、占有

量词首次尝试匹配整个字符串，如果失败则回退一个字符后再次尝试，这个过程叫做回溯（backtracking）。
量词自身是贪心的。
贪心的量词会首先匹配整个字符串。尝试匹配时，它会选定尽可能多的内容，也就是整个输入，它会每次回退一个字符，直到找到匹配的内容或者没有字符可尝试为止。此外，它还记录所有的行为，因此资源的消耗较大。
懒惰的量词会从目标的起始位置开始尝试寻找匹配，每次检查字符串的一个字符，寻找它要匹配的内容，最后，它会尝试匹配整个字符串。
占有量词会覆盖整个目标然后尝试寻找匹配内容，但它只尝试一次，不会回溯。

AT+CSQ 与 dBm 的那些事

Sun, 06 Jun 2021 22:34:54 +0800

AT+CSQ 是一条查询设备信号质量的 AT 指令。下面是一个查询信号质量的示例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


AT+CSQ=?

+CSQ: (0-31,99),(0-7,99)

OK

AT+CSQ

+CSQ: 28,99

OK

AT指令响应+CSQ: 28,99 中的信号等级28表示 rssi -57dBm，其转换公式如下：

1

dBm = -113 + N * 2 (where N is the returned value)

CSQ与dBm的对应关系如下表：

Value	RSSI dBm	Condition
0	-113	Marginal
1	-112	Marginal
2	-109	Marginal
3	-107	Marginal
4	-105	Marginal
5	-103	Marginal
6	-101	Marginal
7	-99	Marginal
8	-97	Marginal
9	-95	Marginal
10	-93	OK
11	-91	OK
12	-89	OK
13	-87	OK
14	-85	OK
15	-83	Good
16	-81	Good
17	-79	Good
18	-77	Good
19	-75	Good
20	-73	Excellent
21	-71	Excellent
22	-69	Excellent
23	-67	Excellent
24	-65	Excellent
25	-63	Excellent
26	-61	Excellent
27	-59	Excellent
28	-57	Excellent
29	-55	Excellent
30	-53	Excellent

从这个表可以得出以下几个结论：

CSQ的变化粒度是2dBm。
信号质量的划分，0~~9 （-113~~-95dBm）信号差；10~~14（-93~~-85dBm）信号一般；15~~19 （-83~~-75dBm）信号好；20~~30（-73~~-53dBm）信号很好。

用 Trace32 分析死机问题

Mon, 10 May 2021 13:28:48 +0800

出现死机问题的设备是展锐8910，打开Trace32软件，导入设备死机时的dump文件进行分析。如下图：

先看死机时PC停止的位置，对应的汇编代码是 ldrb r2,[r1,#0x5]，结合trace32中寄存器的值来看，可以确定死机原因是访问非法内存， r1 寄存器为0，也就是访问0地址（空指针）导致死机。

下面分析出现访问空指针问题的具体原因。

先分析当前的函数调用栈，为了方便查看，把调用栈信息复制出来，如下所示：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75


ql_open_file_get_info(
    position = ?,
    file_info = 0x80CD343C)
  err = 0
  node = 0x0
  __FUNCTION__ = (113, 108, 95, 111, 112, 101, 110, 95, 102, 105, 108, 101, 95, 103, 101, 116, 95, 1

ql_file_is_opened(
    file_name = 0x80CD3614)
  cnt = 8
  err = -2134035396
  position = 7
  file_info = (
    file_name = (85, 70, 83, 58, 106, 115, 111, 110, 46, 116, 120, 116, 0, 79, 189, 128, 12, 0, 0, 0
    file_open_mode = 522,
    fd = 1033)

ql_fopen(
    file_name = 0x80CD3614,
    mode = 0x6032500C)
  file_real_path = (47, 117, 115, 101, 114, 47, 47, 99, 111, 114, 103, 101, 116, 47, 99, 111, 110, 1
  file_type = 0
  open_mode = 1537
  file_info = (
    file_name = (12, 0, 0, 0, 122, 46, 49, 96, 52, 0, 0, 0, 176, 70, 49, 96, 16, 0, 0, 0, 80, 53, 20
    file_open_mode = 970205137,
    fd = -2134034952)
  err = -2134035396
  __FUNCTION__ = (113, 108, 95, 102, 111, 112, 101, 110, 0)

OEMFile_Open(
    path = 0x6032D8A8,
    oflag = 0x6032500C)
  fd = -2134035396
  _path = (85, 70, 83, 58, 47, 99, 111, 114, 103, 101, 116, 47, 99, 111, 110, 102, 105, 103, 46, 116
  __FUNCTION__ = (79, 69, 77, 70, 105, 108, 101, 95, 79, 112, 101, 110, 0)

    }
    else
CEMConfig::SaveConfig(
    this = 0x80CD4578)
  pFile = 0x80CD343C
  buf = (168, 46, 167, 128, 224, 33, 158, 128, 196, 32, 154, 128, 221, 214, 33, 96, 4, 0, 0, 0, 248,

CSystemEngine::SaveConfig(
    this = 0x80CD48A8)
  buffer = (52, 50, 57, 52, 57, 54, 55, 50, 57, 53, 0, 128, 140, 148, 220, 128, 68, 122, 220, 128, 1

CPocUIManager::HandleATCommand(
    this = 0x80CD3C50,
    aData = 0x80CD42AC,
    aLength = 4)
  mtd = 124

CPocUIManager::HandleATMessage(
    this = 0x80CD3C50,
    pMsg = 0x80C3EAA8)
  param_length = 4
  res = -2134035396

OEM_PendMessage(
    pmsg = 0x80A72D18)
  msg = 0x80A72D18

ql_corget_api_task_worker(
  ?)
  recv_msg = (id = MSG_ID_POC, payload = 0x80A72D18)
  ret = -2134035396
  __FUNCTION__ = (113, 108, 95, 99, 111, 114, 103, 101, 116, 95, 97, 112, 105, 95, 116, 97, 115, 107

    g_pcm_play_ctx.pcm_play_handle = ql_pcm_open(&config, flag);
}
prvTaskExitError()

end of frame

可以看到，在Trace32 里面不仅可以看到当前出现问题时的调用栈关系，还可以看到函数参数，变量的具体值，对于分析问题的来龙去脉非常有利。

从调用栈看，当前正在调用接口ql_fopen( file_name = 0x80CD3614, mode = 0x6032500C)打开文件，输入查看变量的指令来查看地址 0x80CD3614，0x6032500C的数据：

1
2


v.v %s (char *)0x80CD3614
v.v %s (char *)0x6032500C

可以看到当前打开的文件是"UFS:/corget/config.txt"，打开方式为 “wb”。

结合源码和调用栈来看，ql_fopen内部调用ql_file_is_opened(file_name = 0x80CD3614) 检查UFS:/corget/config.txt是否在已打开的文件列表内。

然后ql_file_is_opened 内部会调用 ql_open_file_get_info 遍历打开的文件信息列表，查找文件是否已打开，从dump和源码可以知道，当前总共打开了8个文件，ql_file_is_opened 中 position = 7，也就是当前在获取最后一个文件的信息（从0开始，0~7）。

最终在ql_open_file_get_info里访问了空指针死机，ql_open_file_get_info里面

1
2


err = 0
node = 0x0 -> NULL

根据代码可以看到是ql_open_file_get_info里面memcpy(file_info, node→data, node→size)这里访问了空指针，可以结合dump和linklist的数据结构定义交叉验证:

1
2
3
4
5
6


typedef struct node
{
	struct node * next; // 4 bytes
    datasize_t size; // 1 bytes
    data_t data[1]; // 4 bytes
} linklist; // 9 bytes

死机的汇编代码位置 ldrb r2,[r1,#0x5]，r1为0，偏移5个字节，刚好是memcpy(file_info, node→data, node→size)中的node→data。

为什么ql_open_file_get_info里会访问空指针？其实是linklist_node_find 这个函数的bug，查看全局变量ql_file_open_list的值和linklist_node_find的源码，可以定位到问题的原因是linklist_node_find的代码逻辑问题，查找链表节点中遍历链表是从(*linklist_handler)->header->next;开始，忽略了第一个节点，如果当前查找的节点是链表的最后一个节点，就会返回空节点。

linklist_node_find函数的源码如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37


QuecOSStatus linklist_node_find(linklist_handler_t * linklist_handler, uint32_t i, linklist * * dest_node)
{
	int 		 j = 0;

    if(! linklist_handler)
    {
		return kGeneralErr;
    }

    if(! *linklist_handler)
    {
   	    return kGeneralErr;
    }

	if(! dest_node)
	{
		return kGeneralErr;
	}

    linklist * temp_node = (*linklist_handler)->header->next;

    if(i >= (*linklist_handler)->node_cnt)
    {
   		return kGeneralErr;
    }

    for(j=0; j<=i; j++)
    {
        if(j == i)
        {
            *dest_node = temp_node;
            break;
        }
        temp_node = temp_node->next;
    }
	return kNoErr;
}

通过Trace32分析dump文件，定位到了出现问题的源码位置，这个死机问题基本上完成了追根溯源，那么对于如何解决这个问题，你有什么建议？欢迎讨论。

AT 命令的类型及表示方式

Wed, 14 Apr 2021 07:39:54 +0800

类型	表示方式	解释
测试命令	AT+=?	查询该命令可输入的参数取值
查询命令	AT+?	查询该命令的当前参数设置
设置命令	AT+=[,[,[…]]]	设置参数
执行命令	AT+	执行该命令的功能

FreeRTOS 中的栈溢出检测机制

Sun, 11 Apr 2021 23:26:09 +0800

FreeRTOS中的任务栈结构介绍

在FreeRTOS中，创建任务A、B、C三个任务，以栈的生长方向从高到低为例，其任务栈结构如下图所示：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


                           +----------->+--------+        Low
                           |            |        |         ^
                           |            |No used |   SP    |
                           |            |--------|<------  |
                           |            |  regs  |         |
                           |            +--------+         |
                           |            | Func 4 |         |
Low   +---------------+    |            +--------+         |
 ^    |               |    |            | Func 3 |         |
 |    | Task C stack  |    |            +--------+         |
 |    +- - - - - - - -+    |            | Func 2 |         |
 |    |     TCB       |    |            +--------+         |
 |    +---------------+----+            | Func 1 |         |
 |    |               |           +---->+--------+        High
 |    | Task B stack  |           |
 |    +- - - - - - - -+-----------+     Task B stack
 |    |     TCB       |           
 |    +---------------+
 |    |               |
 |    | Task A stack  |
 |    +- - - - - - - -+
 |    |     TCB       |
High  +---------------+

在内存上可以先简单看作是每个任务按任务控制块（TCB）+ stack 依次存储，任务在执行过程中的上下文数据会保存在栈中，比如函数的局部变量，传递参数，返回地址等都会存储在栈里面。在task B的栈空间里，函数调用关系是 Func 1 调用 → Func 2 调用 → Func 3 调用 → Func 4。在这样的栈存储结构，任务在运行的过程中可能会出现下面两个问题：

栈溢出导致的问题，如果任务中函数调用的层级过深，或者函数内部有定义占用空间较大的局部变量，则有可能在压栈的时候使用的空间超出了任务的栈空间大小，例如task B 中的函数调用层级过多，会导致task B 的数据写到task C的堆栈空间里，从而破坏task C的栈空间。
局部变量溢出导致的问题，以task B为例，如果在Func 4函数里面操作局部变量，不小心把局部变量“写穿了”，则有可能会把返回地址给覆盖了，Func 4返回时会跳转的错误的地址而出现异常，Func 4执行完也就无法返回到Func 3了，如果覆盖的空间较大，则有可能将数据写到task A的栈空间，从而导致task A的栈空间也被破坏。

FreeRTOS的栈溢出检测机制

根据FreeRTOS的官方文档介绍，FreeRTOS提供两种栈溢出的检测方法，可以通过配置configCHECK_FOR_STACK_OVERFLOW 这个宏来选择使用哪种方法，当kernel检测到栈溢出的情况之后，会调用钩子函数vApplicationStackOverflowHook，该函数的原型如下：

1
2


void vApplicationStackOverflowHook( TaskHandle_t xTask,
                                    signed char *pcTaskName );

栈溢出检测方式1

第一种检测方式的原理是检查当前任务的栈顶指针是否在该任务的栈空间范围之内，如果栈顶指针不在任务的栈空间，则会触发钩子函数vApplicationStackOverflowHook，通过配置宏configCHECK_FOR_STACK_OVERFLOW为1使用这种检测方式，具体可以看下include/stack_macros.h路径的源码：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30


#if ( ( configCHECK_FOR_STACK_OVERFLOW == 1 ) && ( portSTACK_GROWTH < 0 ) )

/* Only the current stack state is to be checked. */
    #define taskCHECK_FOR_STACK_OVERFLOW()                                                            \
    {                                                                                                 \
        /* Is the currently saved stack pointer within the stack limit? */                            \
        if( pxCurrentTCB->pxTopOfStack <= pxCurrentTCB->pxStack )                                     \
        {                                                                                             \
            vApplicationStackOverflowHook( ( TaskHandle_t ) pxCurrentTCB, pxCurrentTCB->pcTaskName ); \
        }                                                                                             \
    }

#endif /* configCHECK_FOR_STACK_OVERFLOW == 1 */
/*-----------------------------------------------------------*/

#if ( ( configCHECK_FOR_STACK_OVERFLOW == 1 ) && ( portSTACK_GROWTH > 0 ) )

/* Only the current stack state is to be checked. */
    #define taskCHECK_FOR_STACK_OVERFLOW()                                                            \
    {                                                                                                 \
                                                                                                      \
        /* Is the currently saved stack pointer within the stack limit? */                            \
        if( pxCurrentTCB->pxTopOfStack >= pxCurrentTCB->pxEndOfStack )                                \
        {                                                                                             \
            vApplicationStackOverflowHook( ( TaskHandle_t ) pxCurrentTCB, pxCurrentTCB->pcTaskName ); \
        }                                                                                             \
    }

#endif /* configCHECK_FOR_STACK_OVERFLOW == 1 */
/*-----------------------------------------------------------*/

在分析代码之前要留意一下栈的生长方向，其中宏 portSTACK_GROWTH 表示栈的生长方向，当配置portSTACK_GROWTH < 0 时，说明栈的生长方向是从高地址向低地址生长，反之，当配置portSTACK_GROWTH > 0 是，表示栈是从低地址向高地址增长。pxTopOfStack 记录了当前任务的栈顶指针，pxStack是当前任务栈的起始地址，而pxEndOfStack是当前任务栈的结束地址。从代码可以看出此方式是直接通过判断当前堆栈指针是否超出了任务栈空间的合法范围来检测溢出的，如果当前任务栈被其他任务破坏了，这种方式就检测不出来。

栈溢出检测方式2

方式2的检测原理是在任务栈初始化的时候，填充固定数据0xA5，kernel 会检查任务栈的最后16个字节的数据是否被篡改，如果发现这16个字节不是0xA5，则会触发vApplicationStackOverflowHook的调用，通过配置configCHECK_FOR_STACK_OVERFLOW >1 来使用此方式。以下是该检测方式的源码，分析时要注意栈的增长方向：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42


#if ( ( configCHECK_FOR_STACK_OVERFLOW > 1 ) && ( portSTACK_GROWTH < 0 ) )

    #define taskCHECK_FOR_STACK_OVERFLOW()                                                            \
    {                                                                                                 \
        const uint32_t * const pulStack = ( uint32_t * ) pxCurrentTCB->pxStack;                       \
        const uint32_t ulCheckValue = ( uint32_t ) 0xa5a5a5a5;                                        \
                                                                                                      \
        if( ( pulStack[ 0 ] != ulCheckValue ) ||                                                      \
            ( pulStack[ 1 ] != ulCheckValue ) ||                                                      \
            ( pulStack[ 2 ] != ulCheckValue ) ||                                                      \
            ( pulStack[ 3 ] != ulCheckValue ) )                                                       \
        {                                                                                             \
            vApplicationStackOverflowHook( ( TaskHandle_t ) pxCurrentTCB, pxCurrentTCB->pcTaskName ); \
        }                                                                                             \
    }

#endif /* #if( configCHECK_FOR_STACK_OVERFLOW > 1 ) */
/*-----------------------------------------------------------*/

#if ( ( configCHECK_FOR_STACK_OVERFLOW > 1 ) && ( portSTACK_GROWTH > 0 ) )

    #define taskCHECK_FOR_STACK_OVERFLOW()                                                                                                \
    {                                                                                                                                     \
        int8_t * pcEndOfStack = ( int8_t * ) pxCurrentTCB->pxEndOfStack;                                                                  \
        static const uint8_t ucExpectedStackBytes[] = { tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE,   \
                                                        tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE,   \
                                                        tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE,   \
                                                        tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE,   \
                                                        tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE, tskSTACK_FILL_BYTE }; \
                                                                                                                                          \
                                                                                                                                          \
        pcEndOfStack -= sizeof( ucExpectedStackBytes );                                                                                   \
                                                                                                                                          \
        /* Has the extremity of the task stack ever been written over? */                                                                 \
        if( memcmp( ( void * ) pcEndOfStack, ( void * ) ucExpectedStackBytes, sizeof( ucExpectedStackBytes ) ) != 0 )                     \
        {                                                                                                                                 \
            vApplicationStackOverflowHook( ( TaskHandle_t ) pxCurrentTCB, pxCurrentTCB->pcTaskName );                                     \
        }                                                                                                                                 \
    }

#endif /* #if( configCHECK_FOR_STACK_OVERFLOW > 1 ) */
/*-----------------------------------------------------------*/

在任务栈初始化的时候填充已知的固定数据0xA5，除了做栈溢出检测之外，还可以作为评估线程运行时占用栈空间大小的方法。其原理是在线程运行一段时间之后，从栈的低地址统计有多少字节的0xA5得到栈空间未使用的大小（假设栈从高地址向低地址生长），用栈的总大小减去未使用的空间便可得到该任务运行时栈可能的最大使用大小。

kernel 在什么时候检查栈溢出呢？

在 tasks.c 文件可以查到taskCHECK_FOR_STACK_OVERFLOW在 void vTaskSwitchContext( void )函数中被调用，也就是在任务上下文切换的时候做检查，从这点可以看出软件检查栈溢出的方式具有一定的滞后性，任务栈被破坏了并不能马上检测到问题。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75


void vTaskSwitchContext( void )
{
    if( uxSchedulerSuspended != ( UBaseType_t ) pdFALSE )
    {
        /* The scheduler is currently suspended - do not allow a context
         * switch. */
        xYieldPending = pdTRUE;
    }
    else
    {
        xYieldPending = pdFALSE;
        traceTASK_SWITCHED_OUT();

        #if ( configGENERATE_RUN_TIME_STATS == 1 )
            {
                #ifdef portALT_GET_RUN_TIME_COUNTER_VALUE
                    portALT_GET_RUN_TIME_COUNTER_VALUE( ulTotalRunTime );
                #else
                    ulTotalRunTime = portGET_RUN_TIME_COUNTER_VALUE();
                #endif

                /* Add the amount of time the task has been running to the
                 * accumulated time so far.  The time the task started running was
                 * stored in ulTaskSwitchedInTime.  Note that there is no overflow
                 * protection here so count values are only valid until the timer
                 * overflows.  The guard against negative values is to protect
                 * against suspect run time stat counter implementations - which
                 * are provided by the application, not the kernel. */
                if( ulTotalRunTime > ulTaskSwitchedInTime )
                {
                    pxCurrentTCB->ulRunTimeCounter += ( ulTotalRunTime - ulTaskSwitchedInTime );
                }
                else
                {
                    mtCOVERAGE_TEST_MARKER();
                }

                ulTaskSwitchedInTime = ulTotalRunTime;
            }
        #endif /* configGENERATE_RUN_TIME_STATS */

        /* Check for stack overflow, if configured. */
        taskCHECK_FOR_STACK_OVERFLOW();

        /* Before the currently running task is switched out, save its errno. */
        #if ( configUSE_POSIX_ERRNO == 1 )
            {
                pxCurrentTCB->iTaskErrno = FreeRTOS_errno;
            }
        #endif

        /* Select a new task to run using either the generic C or port
         * optimised asm code. */
        taskSELECT_HIGHEST_PRIORITY_TASK(); /*lint !e9079 void * is used as this macro is used with timers and co-routines too.  Alignment is known to be fine as the type of the pointer stored and retrieved is the same. */
        traceTASK_SWITCHED_IN();

        /* After the new task is switched in, update the global errno. */
        #if ( configUSE_POSIX_ERRNO == 1 )
            {
                FreeRTOS_errno = pxCurrentTCB->iTaskErrno;
            }
        #endif

        #if ( configUSE_NEWLIB_REENTRANT == 1 )
            {
                /* Switch Newlib's _impure_ptr variable to point to the _reent
                 * structure specific to this task.
                 * See the third party link http://www.nadler.com/embedded/newlibAndFreeRTOS.html
                 * for additional information. */
                _impure_ptr = &( pxCurrentTCB->xNewLib_reent );
            }
        #endif /* configUSE_NEWLIB_REENTRANT */
    }
}
/*-----------------------------------------------------------*/

栈溢出实例分析

任务控制块（TCB）中的与栈相关的成员介绍

FreeRTOS的TCB数据结构在 tasks.c 文件中定义，源码如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82


/*
 * Task control block.  A task control block (TCB) is allocated for each task,
 * and stores task state information, including a pointer to the task's context
 * (the task's run time environment, including register values)
 */
typedef struct tskTaskControlBlock       /* The old naming convention is used to prevent breaking kernel aware debuggers. */
{
    volatile StackType_t * pxTopOfStack; /*< Points to the location of the last item placed on the tasks stack.  THIS MUST BE THE FIRST MEMBER OF THE TCB STRUCT. */

    #if ( portUSING_MPU_WRAPPERS == 1 )
        xMPU_SETTINGS xMPUSettings; /*< The MPU settings are defined as part of the port layer.  THIS MUST BE THE SECOND MEMBER OF THE TCB STRUCT. */
    #endif

    ListItem_t xStateListItem;                  /*< The list that the state list item of a task is reference from denotes the state of that task (Ready, Blocked, Suspended ). */
    ListItem_t xEventListItem;                  /*< Used to reference a task from an event list. */
    UBaseType_t uxPriority;                     /*< The priority of the task.  0 is the lowest priority. */
    StackType_t * pxStack;                      /*< Points to the start of the stack. */
    char pcTaskName[ configMAX_TASK_NAME_LEN ]; /*< Descriptive name given to the task when created.  Facilitates debugging only. */ /*lint !e971 Unqualified char types are allowed for strings and single characters only. */

    #if ( ( portSTACK_GROWTH > 0 ) || ( configRECORD_STACK_HIGH_ADDRESS == 1 ) )
        StackType_t * pxEndOfStack; /*< Points to the highest valid address for the stack. */
    #endif

    #if ( portCRITICAL_NESTING_IN_TCB == 1 )
        UBaseType_t uxCriticalNesting; /*< Holds the critical section nesting depth for ports that do not maintain their own count in the port layer. */
    #endif

    #if ( configUSE_TRACE_FACILITY == 1 )
        UBaseType_t uxTCBNumber;  /*< Stores a number that increments each time a TCB is created.  It allows debuggers to determine when a task has been deleted and then recreated. */
        UBaseType_t uxTaskNumber; /*< Stores a number specifically for use by third party trace code. */
    #endif

    #if ( configUSE_MUTEXES == 1 )
        UBaseType_t uxBasePriority; /*< The priority last assigned to the task - used by the priority inheritance mechanism. */
        UBaseType_t uxMutexesHeld;
    #endif

    #if ( configUSE_APPLICATION_TASK_TAG == 1 )
        TaskHookFunction_t pxTaskTag;
    #endif

    #if ( configNUM_THREAD_LOCAL_STORAGE_POINTERS > 0 )
        void * pvThreadLocalStoragePointers[ configNUM_THREAD_LOCAL_STORAGE_POINTERS ];
    #endif

    #if ( configGENERATE_RUN_TIME_STATS == 1 )
        uint32_t ulRunTimeCounter; /*< Stores the amount of time the task has spent in the Running state. */
    #endif

    #if ( configUSE_NEWLIB_REENTRANT == 1 )
        /* Allocate a Newlib reent structure that is specific to this task.
         * Note Newlib support has been included by popular demand, but is not
         * used by the FreeRTOS maintainers themselves.  FreeRTOS is not
         * responsible for resulting newlib operation.  User must be familiar with
         * newlib and must provide system-wide implementations of the necessary
         * stubs. Be warned that (at the time of writing) the current newlib design
         * implements a system-wide malloc() that must be provided with locks.
         *
         * See the third party link http://www.nadler.com/embedded/newlibAndFreeRTOS.html
         * for additional information. */
        struct  _reent xNewLib_reent;
    #endif

    #if ( configUSE_TASK_NOTIFICATIONS == 1 )
        volatile uint32_t ulNotifiedValue[ configTASK_NOTIFICATION_ARRAY_ENTRIES ];
        volatile uint8_t ucNotifyState[ configTASK_NOTIFICATION_ARRAY_ENTRIES ];
    #endif

    /* See the comments in FreeRTOS.h with the definition of
     * tskSTATIC_AND_DYNAMIC_ALLOCATION_POSSIBLE. */
    #if ( tskSTATIC_AND_DYNAMIC_ALLOCATION_POSSIBLE != 0 ) /*lint !e731 !e9029 Macro has been consolidated for readability reasons. */
        uint8_t ucStaticallyAllocated;                     /*< Set to pdTRUE if the task is a statically allocated to ensure no attempt is made to free the memory. */
    #endif

    #if ( INCLUDE_xTaskAbortDelay == 1 )
        uint8_t ucDelayAborted;
    #endif

    #if ( configUSE_POSIX_ERRNO == 1 )
        int iTaskErrno;
    #endif
} tskTCB;

这里仅介绍几个与任务栈相关的几个成员。

pxTopOfStack

pxTopOfStack 存储任务栈的栈顶地址。

pxStack

pxStack 存储任务栈空间的起始地址，也就栈的最低地址。

pxEndOfStack

pxEndOfStack 存储任务栈空间的结束地址，也就是栈的最高地址。

EC200U 栈溢出导致memory dump 分析

EC200U模组（Unisoc 8910Dm）的open sdk使用的RTOS是FreeRTOS，模组死机时导出的memory dump 文件可以通过trace 32工具分析，以下是一个栈溢出的dump实例。

通过trace 32加载dump文件，首先看到死机前函数栈帧里有调用vApplicationStackOverflowHook函数，说明kernel在任务上下文切换时检测到了栈溢出问题。

查看线程列表，正在执行的task是rm_app_start这个线程，也就是在这个任务死机了。

接着查看rm_app_start的任务控制块数据，其中有三个数据需要关注：

TCB的起始地址→0x80bf78b8

还记得前面介绍的FreeRTOS栈存储结构吗？是按照TCB+stack方式存储的。EC200U的栈增长方向是按高地址向地址增长的。

TCB+stack紧挨着，所以知道了TCB的起始地址也就知道了栈的结束地址（最高地址，栈底）。

栈顶地址 pxTopOfStack →0x80bf7504

从栈底到栈顶这段空间存储了函数调用的地址，对分析函数调用关系挺有帮助。

栈的起始地址 pxStack → 0x80bf74a8

可以使用trace 32查看这些地址的内存数据，比如，先来看TCB的起始地址→0x80bf78b8的数据，下图右箭头所指的地方就是TCB的起始地址，我们可以看到开始的4个字节数据是0x80bf7504，也就是存储着pxTopOfStack的地址。

接着再看栈的最低地址0x80bf74a8的数据，通过前面栈溢出的检测机制介绍可以知道，栈在初始化的时候会填充默认值0xA5，然后kernel在任务上下文切换的时候会去比较栈起始地址开始的16个字节是不是保持着默认值0xA5，如果初始值被篡改，则会触发vApplicationStackOverflowHook。从下图的数据来看，栈最低地址0x80bf74a8的数据已经被破坏了。

我们再找一个正常的task做对比，也就是下图的IDLE task。同样的方法，先查看TCB数据，找到栈的起始地址0x80992500, 栈的结束地址0x809934f8，栈顶地址0x8099342c。

查看栈的起始地址0x80992500的内存数据，开始的16个字节都是0xA5，说明栈空间够，没有溢出，且还有一段未曾使用的空间。

再看栈顶地址0x8099342c的数据，在0x8099342c之上有一段不是0xA5的数据，说明曾经有发生过函数调用，且成功返回了。栈保存的函数调用信息在出栈之后并不会主动清除，只会在下次入栈的时候数据覆盖，由此我们也可以通过这个信息查看这个任务曾经调用过什么函数。

从栈顶到栈底这段空间保存在函数调用的信息，我们可以使用trace 32来解析函数调用关系。

在栈顶与栈底这段内存数据里，我先找到其中的函数地址，再通过设置断点的方式根据地址找到函数名。比如下图依次找到两个程序地址：0x6014B6CF 和 0x6014B651，通过设置断点查到对应的函数名prvIdleTask和xTaskResumeAll，再根据栈的增长方向可以判断是 prvIdleTask 调用→ xTaskResumeAll。

把栈空间所有程序地址找出来，按照同样的方法就能找到这个任务的函数调用痕迹了：

1
2
3
4
5


6014B795	vTaskSwitchContext\51+0x1
6014B795	vTaskSwitchContext\51+0x1
6014B795 	vTaskSwitchContext\51+0x1
6014B651	xTaskResumeAll\88+0x1
6014B6CF 	prvIdleTask\104+0x5

有一个规律，EC200U的程序地址都是60XXX开头的，比如6014B6CF、6014B651、6014B795等，可以按照这个规律排查是否是程序地址。当然，如果你能确定内存布局，在栈的数据里判断是否是程序地址就不会出错了。

总结

从任务栈的结构的角度分析，便于理解栈溢出产生的原因和栈溢出导致的两类问题。
FreeRTOS提供两种软件栈溢出检测方式，两种方法各有优缺点，且不一定能够在任何时候都检测到所有类型的栈溢出。kernel 是在任务的上下文切换的时候进行栈溢出检查，通过软件检测栈溢出的方法，在发现问题上具有一定的“滞后性”。
在memory dump中分析栈问题有几个关键的信息点需要掌握：栈的生长方向、栈的起止地址、栈顶地址，栈的保护标记（栈空间初始化设置的固定值）以及通过栈空间的数据分析函数调用关系。

参考资料

用 python 实现数字图像位平面分解的方法

Sun, 10 Nov 2019 01:23:09 +0800

数字图像位平面分解

位平面分解是数字图像处理的一种基本方法，我们用 $f(x,y)$来表示一幅数字图像，其中图像的第 $k$ 个颜色通道数据可以用 $f_{k}(x,y)$ 表示。以 RGB 图像为例，RGB 图像有 R、G、B 三个颜色通道，每个颜色通道都是具有 256 级灰度级别的灰度图像，也就是用 8 bit 大小来存储灰度图像的一个像素值。RGB 图像的一个像素值会占用 24 bit 大小，因为 RGB 有 3 个颜色通道。

按照下面的公式对 RGB 的第 $k$ 个颜色通道进行位平面分解，一个颜色通道可以分解为 8 个位平面，每个位平面用二值图像来表示。

$$f_{k}^{n}{(x,y)} = f_{k}(x,y) {\&} 2^{n} \quad (n = 0, \ldots, 7) $$

用 python 来实现数字图像位平面分解

使用 python 来做位平面分解需要安装 matplotlib、numpy、scikit-image 这三个库,可以使用 pip 命令来安装

1

pip install matplotlib numpy scikit-image

安装好这三个库之后，导入需要用到的函数

1
2
3


import matplotlib.pyplot as plt
import numpy as np
from skimage import data

编写一个函数用来做位平面分解，输入数据是一幅灰度图像

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


def bitplane(img:np.ndarray):
    shape = img.shape
    bits = np.unpackbits(img.reshape(-1, 1), axis=1)
    plt.figure(figsize=(8,4))
    for i in range(8):
        bit_plane_i = bits[:,i].reshape(shape)
        plt.subplot(2,4,i+1)
        plt.imshow(bit_plane_i, cmap="gray")
        plt.title('Bit Plane {}'.format(7-i))
        plt.axis('off')

拿 scikit-image 中的一幅 RGB 图像来做测试，选用 coffee 这张图

1

image = data.coffee()

1

plt.imshow(image);

分解 RGB 三个颜色通道的数据，得到 R、G、B 三个分量

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


B = image[:,:,0]
G = image[:,:,1]
R = image[:,:,2]

plt.figure(figsize=(10,8))
plt.subplot(1,3,1)
plt.imshow(R, cmap="gray")
plt.title('R')

plt.subplot(1,3,2)
plt.imshow(G, cmap="gray")
plt.title('G')

plt.subplot(1,3,3)
plt.imshow(B, cmap="gray")
plt.title('B');

对 R 分量进行位平面分解的结果

1

bitplane(R)

对 G 分量进行位平面分解的结果

1

bitplane(G)

对 B 分量进行位平面分解的结果

1

bitplane(B)

安装 Manjaro 和 Windows 10 双系统 UEFI + GPT 方式

Sun, 04 Aug 2019 17:33:26 +0800

工具准备

在工具准备阶段，主要是下载系统镜像文件和制作U盘启动盘的软件。在操作之前请备份好U盘和当前系统上的资料。

下载系统镜像文件

对于Windows用户，最新的 Wndows 10 镜像文件可以通过媒体创建工具下载：官网链接，打开这个软件，选择保存为ISO镜像文件就可以了。

非Windows用户不能运行媒体创建工具程序，反而可以直接下载系统镜像文件。在这里下载的镜像文件是：Win10_1903_V1_Chinese(Simplified)_x64.iso。

Manjaro 镜像文件官方下载地址：链接

Manjaro 的下载页面有多个桌面环境选择，这里下载的镜像是官方的XFCE桌面版本，镜像文件为：manjaro-xfce-18.0.4-stable-x86_64.iso

Rufus 制作 U 盘启动盘

Rufus 是一个开源、好用的制作U盘启动盘工具，我一般都使用它来制作系统启动盘，所以安装Windows 10和Manjaro 系统的U盘启动盘都通过Rufus来制作，Rufus的下载地址：链接。

制作Windows10系统的启动盘的设置如下，引导类型选择下载的系统镜像，分区类型设置为 GPT，可以打开日志，其他设置默认。

制作Manjaro系统启动盘的设置和上面一样，但在写入镜像的方式里选择以DD镜像模式写入。

安装 windows 10

设置电脑的启动顺序，优先U盘启动。或者在启动菜单里选择U盘启动，选择带UEFI 的启动项，进入Windows 系统的安装程序。

选择安装专业版

选择自定义安装

选择磁盘并新建分区

分区大小不要设置为整个磁盘，留有一定空间安装Manjaro

系统安装位置选择容量较大的那个分区，然后执行下一步进行系统安装。

安装 Manjaro

从U盘启动，进入Manjaro进行系统安装，先设置语言为中文、驱动设置选择Nonefree，如果是笔记本不选Nonefree的话应该用不了WIFI，然后进入boot选项进入系统进行安装。

之后便进入桌面，点击 install 那个图标进行安装。

选择简体中文，下一步。

时区设置

键盘设置，选择汉语拼音

分区设置，选择手动，在空闲空间创建新分区。

设置新分区挂载到根目录，文件系统选择ext4，分区类型为GPT。

选中Window10 创建的EFI分区，大小是100M，类型是FAT32，点击编辑。

分区内容选择保留，挂载点设置为 /boot/efi，标记选中boot和esp。

设置用户和密码

后面就可以安装了，等待安装完毕。

完成安装

选择启动项进入相应的系统

进入Mamjaro

进入 Windows 10

Linux 系统安装 PHP memcached 扩展模块

Sun, 18 Nov 2018 06:25:02 +0800

下载源码：

wget http://pecl.php.net/get/memcached-3.0.4.tgz

解压：

tar -zxf memcached-3.0.4.tgz

切换到解压目录：

cd memcached-3.0.4

创建 configure 文件：

phpize

编译配置：

./configure --with-php-config=/www/server/php/72/bin/php-config --with-libmemcached-dir=/usr/local/libmemcached

配置参数中 php-config 和 libmemcached 的路径可以用find命令查找：

find / -name php-config
find / -name libmemcached

编译：

make

安装：

make install

修改配置文件 php.ini，添加模块 extension = memcache.so：

find / -name php.ini

vim /www/server/php/72/etc/php.ini

extension = memcache.so

重启 PHP 后，查看PHP模块是否启用：

php -m

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


[PHP Modules]
bcmath
mbstring
memcached
mysqli
pcre
PDO

...
...

xml
xmlreader
xmlrpc
xmlwriter
zip
zlib

[Zend Modules]

在Linux系统中安装 memcached

Sun, 18 Nov 2018 06:13:47 +0800

安装 memcached

下载最新源码：
wget http://memcached.org/latest
重命名：
mv latest memcached-1.5.10.tar.gz
解压：
tar -zxvf memcached-1.5.10.tar.gz
切换到解压目录：
cd memcached-1.5.10/

编译配置：
./configure --prefix=/usr/local/memcached

出错，缺少 libevent：

1
2
3


checking for libevent directory... configure: error: libevent is required.  You can get it from http://www.monkey.org/~provos/libevent/

      If it's already installed, specify its path using --with-libevent=/dir/

到网站 http://libevent.org/ 下载 libevent 源码。

解压：
tar zxvf libevent-2.1.8-stable.tar.gz
切换到解压目录：
cd libevent-2.1.8-stable

配置、编译和安装libevent：

1
2
3
4


 $ ./configure
 $ make
 $ make verify   # (optional)
 $ sudo make install

再回到 memcached 源码的解压目录 memcached-1.5.10

配置：
./configure --prefix=/usr/local/memcached
编译：
make && make test
安装：
sudo make install

如何让 jupyter notebook 支持 MATLAB 程序？

Sun, 28 Oct 2018 06:36:49 +0800

我之前安装的 MATLAB 的版本是 2017a，曾尝试过安装 jupyter 的 MATLAB 内核，但是失败了，网上说要 2017b 的版本才能用。

正好今天帮别人安装了 MATLAB 2018a，然后顺带在自己的电脑上也安装了新版本，尝试再次安装 jupyter 的内核，结果是成功的。以后可以在 jupyter notebook 上写 MATLAB 程序的笔记了。

安装过程不复杂，就两部分：

安装 The MATLAB Engine API for Python
安装 Matlab kernel for Jupyter

安装 MATLAB 的 Python 引擎

进入MATLAB的安装目录，找到 extern\engines\python这个路径，并拷贝下来。比如我的安装位置是：

I:\matlab2018a\extern\engines\python

然后打开 cmd 切换到 I:\matlab2018a\extern\engines\python 目录下：

1
2
3


D:\Users\tracis>i:

I:\Listary>cd I:\matlab2018a\extern\engines\python

输入安装命令：python setup.py install

1
2
3
4
5
6
7
8
9


I:\matlab2018a\extern\engines\python>python setup.py install
running install
running build
running build_py
running install_lib
copying build\lib\matlab\engine\_arch.txt -> I:\python36\Lib\site-packages\matlab\engine
running install_egg_info
Removing I:\python36\Lib\site-packages\matlabengineforpython-R2018a-py3.6.egg-info
Writing I:\python36\Lib\site-packages\matlabengineforpython-R2018a-py3.6.egg-info

安装 jupyter 的 MATLAB 内核

在 cmd 输入安装命令：

pip install matlab_kernel

查看已安装的 jupyter 内核：

jupyter kernelspec list

1
2
3


Available kernels:
  matlab     i:\python36\share\jupyter\kernels\matlab
  python3    i:\python36\share\jupyter\kernels\python

Available kernels 下有 matlab，说明安装成功了。

尝试 MATLAB notebook

启动 jupyter notebook，尝试在 jupyter notebook 中使用写MATLAB程序：

jupyter notebook

在 new 菜单下，选择创建 MATLAB 笔记本，以下是测试效果：

创建一个全 1 方阵：

画图：

参考资料：

https://www.mathworks.com/help/matlab/matlab_external/install-the-matlab-engine-for-python.html
https://github.com/Calysto/matlab_kernel

tmux 基础教程

Sun, 14 Oct 2018 06:43:58 +0800

tmux 是一个非常好用的终端复用软件（Terminal Multiplexer），在操作远程服务器时可以用它来保持会话，避免突然断线的尴尬。也可以用它来实现分屏多任务，提高工作效率。

安装 tmux

我使用的操作系统是Ubuntu，这里以常规安装软件的方式为例安装 tmux。其他操作系统和安装方式可以网上找找，应该都不难。

在 Ubuntu 系统使用下面的命令安装 tmux：

sudo apt install tmux -y

在使用 tmux 之前，先通过下图了解一下它的服务器，会话，窗口，面板之间的包含关系，有助于理解 tmux 的工作方式。

image source

与会话有关的操作命令

创建新会话，s1是自定义的会话名称
tmux new -s s1
返回原来的终端，会话保持在后台运行
按ctrl+b 在按d键
ctrl+b d

ctrl+b 是tmux默认的命令前缀。

列出会话列表
tmux ls

进入会话
-t参数后面加上会话的名称，比如：下面的 s1
tmux a -t s1
在当前会话中查看和切换会话
通过方向键选择切换会话
ctrl+b s

终止会话
在会话外：
tmux kill-session -t s2
在会话中：
ctrl+b : kill-session -t s1
重命名会话
在会话内和在会话外，同样有两种方式。
tmux rename -t s2 s1
ctrl + b $ s2

其实可以输入 ctrl + b ？ 查看会话中的所有命令

与窗口有关的操作命令

修改当前窗口的名字
crtl+b 再输入一个逗号加名字，比如将当前窗口重命名为w1:
crtl+b , w1

创建新窗口
ctrl+b c

将新窗口命名为：w2
当前窗口用*符号作为标记

切换window
ctrl+b 后面输入窗口编号
ctrl+b 0
关闭窗口
ctrl+b &

与面板有关的操作命令

垂直分屏
ctrl+b %

水平分屏
ctrl+b "

这样便在一个窗口创建了三个工作面板

切换面板
ctrl+b 再输入方向键
调节面板大小
ctrl+b 按住 Alt键再输入方向键
关闭面板
ctrl+b x

参考：

用 Python 实现多看阅读签到领书币

Sun, 30 Sep 2018 14:17:04 +0800

对 Android 多看阅读 APP 进行抓包，可以获取其每天签到领书币的请求接口。

1
2
3
4
5
6
7


POST /checkin/v0/checkin HTTP/1.1
Host: www.duokan.com
Content-Type: application/x-www-form-urlencoded
Accept-Encoding:  gzip,deflate
Cookie:  device_id=***************************;app_id=DkReader.Android;build=562180926;channel=TBVP2Y;user_type=1;device_hash=###################;device_hash_set=null;token=XXXXXXXXXXXXXXXXXXXXXXX;

_t=1538224732&_c=10319

请求头 Cookie 中的 token 来自账号登录成功后返回的数据里，请求体中的_t 参数是当前时间（时间戳），_c 是由时间戳和 device_id 计算得来的。

用 Apk Extractor Lite 提取出多看阅读的安装包，再用 MT管理器打开，反编译后可以得到生成 _t _C 参数的 JAVA 程序：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


public static String[] genCsrfCode() {
        String[] split = (ReaderEnv.get().getDeviceId() + '&' + ((int) (System.currentTimeMillis() / 1000))).split("");
        int i = 0;
        for (int i2 = 1; i2 < split.length; i2++) {
            i = generate(i, split[i2]);
        }
        return new String[]{"_t", String.valueOf(r4), "_c", String.valueOf(i)};
    }


private static int generate(int i, String str) {
        return ((i * 131) + str.getBytes()[0]) % 65536;
    }

类似的，可以写成 Python 程序：

1
2
3


import requests
from datetime import datetime
import time

1
2
3
4
5
6
7


config = {
    'device_id': '************************',
    'app_id': 'DkReader.Android',
    'build': '562180926',
    'device_hash': '######################',
    'token': 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX..'
}

1
2
3
4
5
6
7
8
9


def get_csrf_params(device_id):
    t = int(datetime.now().timestamp())
    string = device_id + '&' + str(t)
    i = 0
    c = 0
    while i < len(string):
        c = (c * 131 + string[i].encode()[0]) % 65536
        i += 1
    return t, c

签到：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


def duokanqd(config):
    url = 'https://www.duokan.com/checkin/v0/checkin'
    Cookie = "device_id={device_id};app_id={app_id};build={build};channel=TBVP2Y;user_type=1;device_hash={device_hash};\
device_hash_set=null;token={token};".format(**config)
    headers = {
        'Content-Type':
        'application/x-www-form-urlencoded',
        'User-Agent':
        'Dalvik/2.1.0 (Linux; U; Android 8.0.0; PRA-AL00X Build/HONORPRA-AL00X)',
        'Accept-Encoding':
        'gzip,deflate',
        'Cookie':
        Cookie
    }

    _t, _c = get_csrf_params(config.get('device_id', 'D0063006284a6677'))
    payload = {'_t': _t, '_c': _c}
    rsp = requests.post(url, headers=headers, data=payload)
    return rsp.json()

1

print(duokanqd(config))

1

{'msg': '今日已签到', 'result': 500002}

写个定时任务，每天执行一下这个签到程序就可以自动领书币了。
抓包获取的 token 总会到失效的一天，得通过多看的登录接口更新 token，其登录API为：

1
2
3
4
5
6
7
8


POST /dk_id/api/wx/login HTTP/1.1
Host: www.duokan.com
Content-Type: application/x-www-form-urlencoded
Cookie:  device_id=XXXXXXXXXXXXXXXX;device_hash=********************
User-Agent:  Dalvik/2.1.0 (Linux; U; Android 8.0.0; PRA-AL00X Build/HONORPRA-AL00X)
Accept-Encoding:  gzip

package=com.duokan.reader&code=XXXXXXXXXXXXX&_t=1538236192&_c=60082

这是我用微信账号授权登录的请求，code 这个参数是使用微信授权登录的一个临时令牌，code 是一次性的，用过就失效了。code 这个参数获取不了，想要自动登录多看账号的想法失败。

如果不用微信登录，而直接用小米的账号密码登录，是不是可以成功登录多看呢？得注册个小米账号试试。

用 matplotlib 画极坐标柱状图

Mon, 10 Sep 2018 06:00:45 +0800

之前在Learn Python with Steem #10 #11 笔记文章中使用Windrose这个包来画时间频率图，但Windrose叫风玫瑰图，绘制的图是专门用来表示风速和风向的关系的，在风玫瑰图中，用不同的颜色表示风速的大小，而每个扇形的长度表示风向的频率,表示主导风向。用Windrose来表示时间频率有违背风玫瑰图的原意。

所以直接用 matplotlib 画极坐标柱状图来表示时间频率更合适。

先导入Python包numpy和matplotlib：

1
2


import numpy as np
from matplotlib import pyplot as plt

编写绘图函数：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46


def make_polar_bar(array_data,
                        edgecolor='white',
                        bottom=0,
                        bins=24,
                        opening=1,
                        ticks=None,
                        figsize=(8, 8),
                        **kwargs):

    # 设置扇形的颜色
    facecolor = kwargs.pop('facecolor', None)
    if facecolor is None:
        facecolor = (94 / 255, 79 / 255, 162 / 255)

    # 设置每个扇形的间距 2*pi/bins = theta (rad)
    theta = np.linspace(0.0, 2 * np.pi, bins, endpoint=False)

    # 统计数据的频次，每个直方的高度
    freq, _ = np.histogram(array_data, bins=bins)

    # 设置每个直方的宽度，opening为 0~1，按比例调节直方的宽度
    width = (2 * np.pi) / bins * opening

    plt.figure(figsize=figsize)
    ax = plt.subplot(111, polar=True)
    bars = ax.bar(
        theta,
        freq,
        width=width,
        bottom=bottom,
        edgecolor='white',
        facecolor=facecolor,
        **kwargs)

    # 设置N方向为起点
    ax.set_theta_zero_location("N")

    # 设置旋转方向为顺时针方向
    ax.set_theta_direction(-1)

    # 设置标签
    if ticks is None:
        ticks = ['0', '45', '90', '135', '180', '225', '270', '315']

    ax.set_xticklabels(ticks)
    plt.show()

测试绘图：

1
2
3
4
5
6
7
8
9


if __name__ == '__main__':
    arr = np.random.randint(0, 100, size=5000)
    make_polar_bar(arr, bins=100, opening=0.8, bottom=50)

    ticks = [
        '0:00', '3:00', '6:00', '9:00', '12:00', '15:00', '18:00', '21:00'
    ]
    arr = np.random.randint(0, 24, size=800)
    make_polar_bar(arr, bins=24, opening=0.8, bottom=0, ticks=ticks)

结果：

Learn Python with Steem #10 #11 笔记

Sun, 26 Aug 2018 15:24:10 +0800

Learn Python with Steem #10 #11 笔记

[toc]

划重点

获取用户的文章列表通过 steem.Steem.get_account_history 获取用户的动态，从中筛选出文章的 permlink。

再用 steem.Steem.get_content 方法获取每篇文章的详细信息。

其实也可以用 steem.blog.Blog 获取用户所有的文章信息。

编程练习

导入需要的Python包

1
2
3
4
5
6


import csv
import pymongo
from datetime import datetime, timezone, timedelta
from steem.blog import Blog
from pprint import pprint
import math

定义一个日期转换函数

1
2
3


def date_2_local_date(_utcdate, _timedelta):
    utc_date = _utcdate.replace(tzinfo=timezone.utc)
    return utc_date.astimezone(timezone(timedelta(hours=_timedelta)))

定义计算声望的函数

1
2


def parse_reputation(raw_reputation):
    return (math.log10(int(raw_reputation)) - 9) * 9 + 25

定义获取文章详情的函数，返回字典类型的数据

定义获取用户所有文章的函数，返回字典

1
2
3
4
5
6
7
8
9


def get_user_posts(account_name='yjcps'):
    blog = Blog(account_name)
    all_data = blog.all()
    posts = [get_post_detail(post) for post in all_data]
    return {
        'account_name':account_name,
        'count_posts':len(posts),
        'posts':posts
    }

保存所有文章数据为CSV文件

1
2
3
4
5
6
7
8


def save_to_csv(data: list, file_path, encoding):
    keys = data[0].keys()
    with open(
            file_path, 'w', newline='', encoding=encoding,
            errors='ignore') as f:
        writer = csv.DictWriter(f, fieldnames=keys)
        writer.writeheader()
        writer.writerows(data)

将数据导入到 MongoDB 数据库

1
2
3
4
5
6
7


# 配置数据库连接信息

MONGO_HOST = 'localhost'
MONGO_COLLECTION = 'steem'

mongo_client = pymongo.MongoClient(MONGO_HOST)
mongo_collection = mongo_client[MONGO_COLLECTION]

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


def save_to_mongodb(data, tablename):
    if data is not None:
        if isinstance(data, list):
            result = mongo_collection[tablename].insert_many(data)
            if result.acknowledged:
                print('已导入%d条数据' % len(result.inserted_ids))
                return result.inserted_ids
        if isinstance(data, dict):
            if mongo_collection[tablename].update_one({
                    'account_name': data.get('account_name')}, {
                    '$set': data}, upsert=True):
                print('已导入%s的数据' % data.get('account_name'))
                return True
    else:
        return None

1

yjcps = get_user_posts('yjcps')

1
2


# 查看返回的数据
pprint(yjcps)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


{'account_name': 'yjcps',
 'count_posts': 35,
 'posts': [{'active': '2018-08-23 11:32:18',
            'active_voter': 'steempress,justyy,happyukgo,doraemon,superbing,dailystats,cryptocurrencyhk,jianan,steemtaker,cnbuddy,anxin,foodielifestyle,woolfe19861008,dailychina,yjcps,dongfengman,serenazz,shentrading,ethanlee,fanso,lilypang22,steempress-io,sweet-jenny8,shine.wong,turtlegraphics,regretfulwooden,witnesstools,happyfamily,ilovecoding',
            'author': 'yjcps',
            'author_reputation': 51.616714372034224,
            'body': '# Learn Python with Steem #09 笔记\n'
                    '\n'
                    '---\n'
                    '\n'
                    '[toc]\n'
                    '\n'
                    '## 划重点\n'
                    '\n'
                    '- 遍历字典\n'
                    '\n'
                    ' 利用dict.items()方法，用一个循环语句遍历整个字典的所有元素。\n'
                ...
                ...
                    "     'last_post_date': '2018-08-16-Thu 20:57:21',\n"
                    "     'post_count': 5926,\n"
                    "     'reputation': 67.26589131476406,\n"
                    "     'sbd_balance': '30.081 SBD',\n"
                    "     'sp': 5186.613554620994,\n"
                    "     'vesting_shares': 10501691.705077,\n"
                    "     'vot

limit_output extension: Maximum message size of 9996 exceeded with 57914 characters

1

file_path = '{}_all_posts_{}.csv'.format(yjcps['account_name'], yjcps['count_posts'])

1
2
3
4
5


# 保存数据为CSV文件，方便在Windows的Excel软件打开，选择编码为gbk,这样会丢弃不能编码的字符
# 可以选择utf-8编码，但需要从Excel中手动导入数据
# 如果日后编程需要取用，建议使用utf-8编码

save_to_csv(yjcps['posts'], file_path, 'gbk')

哈哈，我的所有文章数据，放到Excel里打开

1
2


#保存到数据库
save_to_mongodb(yjcps, 'steem_posts')

1
2
3
4
5
6
7

已导入yjcps的数据

True

成功保存到数据库

取大鹏的数据看看

1

dapeng = get_user_posts('dapeng')

1

file_path = '{}_all_posts_{}.csv'.format(dapeng['account_name'], dapeng['count_posts'])

1

save_to_csv(dapeng['posts'], file_path, 'gbk')

1

save_to_mongodb(dapeng, 'steem_posts')

1
2
3
4
5
6
7

已导入dapeng的数据

True

花了5分钟来获取大鹏的所有文章数据，一共497篇文章，难怪要等那么久，以后从数据库获取数据会快一点。

再看看刘美女的文章

1

deanliu = get_user_posts('deanliu')

1
2


WARNING:root:Retry in 1s -- RPCErrorRecoverable: non-200 response: 502 from api.steemit.com
WARNING:root:Retry in 1s -- RPCErrorRecoverable: non-200 response: 502 from api.steemit.com

1

file_path = '{}_all_posts_{}.csv'.format(deanliu['account_name'], deanliu['count_posts'])

1

save_to_csv(deanliu['posts'], file_path, 'gbk')

1

save_to_mongodb(deanliu, 'steem_posts')

1
2
3
4
5
6
7

已导入deanliu的数据

True

获取刘美女的所有文章花了11分钟，一共878篇文章，高产作家！

也成功保存了CSV文件。

补充

为所有文章生成词云图片

导入需要的Python包

1
2
3
4
5
6
7


import numpy as np
import jieba.analyse
import PIL.Image as Image
import re
from matplotlib import pyplot as plt
from collections import Counter
from wordcloud import WordCloud, ImageColorGenerator

定义一个清理文章的函数，只保留中文

1
2
3
4
5
6


# 去除所有半角全角符号，只留字母、数字、中文。
def clean_text(text):
    # rule = re.compile(r"[^a-zA-Z0-9\u4e00-\u9fa5]")
    rule = re.compile(u"[^\u4e00-\u9fa5]")
    text = rule.sub(' ', text)
    return text

为文章分词，并统计每个关键词的频率

1
2
3
4
5


def get_tag(text, cnt):
    re_text = clean_text(text)
    tag_list = jieba.analyse.extract_tags(re_text)
    for tag in tag_list:
        cnt[tag] += 1

1
2


# 取出所有文章，放到一个列表里面
yjcps_all_post = [post['body'] for post in yjcps['posts']]

1
2
3
4


# 获取词频
yjcps_post_counter = Counter()
for post in yjcps_all_post:
    get_tag(post, yjcps_post_counter)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# 画词云图

# 指定中文字体
font = 'DroidSansFallbackFull.ttf'

wc = WordCloud(
    font_path=font,
    background_color="white",
    max_words=2000,
    max_font_size=100,
    width=800,
    height=800,
)

wc.generate_from_frequencies(yjcps_post_counter)

plt.figure(figsize=(8, 8))
plt.imshow(wc, interpolation="none")
plt.axis("off")
plt.show()

再来看看大鹏的文章关键词

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


dapeng_all_post = [post['body'] for post in dapeng['posts']]
# 获取词频
dapeng_post_counter = Counter()
for post in dapeng_all_post:
    get_tag(post, dapeng_post_counter)

# 画词云图

# 指定中文字体
font = 'DroidSansFallbackFull.ttf'
# 指定背景图片
bg_image = np.array(Image.open("steemit.png"))

wc = WordCloud(
    font_path=font,
    background_color="white",
    max_words=2000,
    max_font_size=100,
    mask=bg_image)

wc.generate_from_frequencies(dapeng_post_counter)

plt.figure(figsize=(8, 8))
plt.imshow(wc, interpolation="none")
plt.axis("off")
plt.show()

同样的，再看看刘美女的关键词

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28


deanliu_all_post = [post['body'] for post in deanliu['posts']]
# 获取词频
deanliu_post_counter = Counter()
for post in deanliu_all_post:
    get_tag(post, deanliu_post_counter)

# 画词云图

# 指定中文字体
font = 'DroidSansFallbackFull.ttf'
# 指定背景图片
bg_image = np.array(Image.open("steemit2.png"))
# 取图片的颜色作为绘制词云图片的颜色
image_colors = ImageColorGenerator(bg_image)

wc = WordCloud(
    font_path=font,
    background_color="white",
    max_words=2000,
    max_font_size=20,
    mask=bg_image)

wc.generate_from_frequencies(deanliu_post_counter)

plt.figure(figsize=(8, 8))
plt.imshow(wc.recolor(color_func=image_colors), interpolation="none")
plt.axis("off")
plt.show()

绘制发帖时间图

导入Python包

1
2
3


from windrose import WindroseAxes
import numpy as np
from matplotlib import pyplot as plt

1
2
3
4
5
6
7
8


# 获取发帖时间,返回小时，获取的时间已处理为北京时间

def get_post_time(account:dict, _type:str='created')->list:
    posts = account['posts']
    time_format = '%Y-%m-%d %H:%M:%S'
    posts_time = [datetime.strptime(post[_type], time_format)  for post in posts]
    hours = [time.hour for time in posts_time]
    return hours

1
2
3


yjcps_post_time = get_post_time(yjcps)
dapeng_post_time = get_post_time(dapeng)
deanliu_post_time = get_post_time(deanliu)

1
2


# 我所有的发帖时间
print(yjcps_post_time)

[15, 6, 7, 6, 6, 6, 14, 7, 22, 7, 10, 0, 12, 20, 20, 19, 13, 0, 21, 18, 11, 11, 12, 1, 18, 15, 13, 12, 14, 11, 0, 0, 23, 18, 21, 15]

绘制我的发帖时间图

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


def make_time_image(time, colors=None, edgecolor='white', **kwargs):
    ws = np.array(time)
    wd = np.array(time) / 24 * 360

    # 统计各时间次数
    count, _ = np.histogram(time, bins=24)

    if colors:
        pass
    else:
        colors = [(94/255, 79/255, 162/255)]

    # 画图
    ax = WindroseAxes.from_ax()
    ax.bar(wd, ws, nsector=24, normed=True, colors=colors,
           bins=1, edgecolor=edgecolor, **kwargs)

    xticklabels = ['6:00', '3:00', '0:00',
                   '21:00', '18:00', '15:00', '12:00', '9:00']

    # 获取最大极径
    rmax = ax.get_rmax()
    fmt = "%.1f "
    yticklabels = np.linspace(0, rmax, 6) / rmax * max(count)
    yticklabels = [fmt % r for r in yticklabels[1:]]

    # 设置标签
    ax.set_yticklabels(yticklabels)
    ax.set_xticklabels(xticklabels)

    # 显示
    plt.show()

1

make_time_image(yjcps_post_time)

绘制大鹏的发帖时间图

1

make_time_image(dapeng_post_time)

最后绘制刘美女的发帖时间图

1

make_time_image(deanliu_post_time)

看到词云图和发帖时间图，大家是否想起了大鹏举办的 “猜猜 TA 是谁” 活动？

猴年马月终于到了， @dapeng @angelina6688 山寨版的用Python画这两个图的方法就在这里了。

期待下个猴年马月， @dapeng 写个正宗的用R画词云图和发帖时间图。

[DA series - Learn Python with Steem]

我的笔记：

Python 在 Windows 系统中导入 pick 模块问题

Thu, 23 Aug 2018 00:18:34 +0800

在Windows上，用Python导入pick模块会出现以下错误：

ModuleNotFoundError: No module named ‘_curses’

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


>>> from pick import pick
Traceback (most recent call last):
  File "", line 1, in <module>
  File "I:\PYTHON~1\lib\site-packages\pick\__init__.py", line 3, in <module>
    import curses
  File "I:\PYTHON~1\lib\curses\__init__.py", line 13, in <module>
    from _curses import *
ModuleNotFoundError: No module named '_curses'
>>> from pick import pick
Traceback (most recent call last):
  File "", line 1, in <module>
  File "I:\PYTHON~1\lib\site-packages\pick\__init__.py", line 3, in <module>
    import curses
  File "I:\PYTHON~1\lib\curses\__init__.py", line 13, in <module>
    from _curses import *
ModuleNotFoundError: No module named '_curses'

原因就是 curses 这个模块不支持Windows：

1
2
3
4


D:\Users\tracis>pip install curses
Collecting curses
  Could not find a version that satisfies the requirement curses (from versions: )
No matching distribution found for curses

在pick的安装描述中有一个提醒，说到了这个问题，但是自己开始的时候没注意到。

Note for Windows: curses wheels can be obtained from http://www.lfd.uci.edu/~gohlke/pythonlibs/#curses, then install it with pip, for example: pip install curses-2.2-cp27-none-win_amd64.whl

在 https://www.lfd.uci.edu/~gohlke/pythonlibs/#curses 网站下载第三方的wheels 安装包，用 pip 安装即可。

Learn Python with Steem #09 笔记

Mon, 20 Aug 2018 06:00:24 +0800

Learn Python with Steem #09 笔记

[toc]

划重点

遍历字典利用dict.items()方法，用一个循环语句遍历整个字典的所有元素。
转换 Reputation 和 Voting Power 的原始数据

直接获取的某些数据是生的，需要煮(转换)一下才能吃。
解析时间

使用Python的dateutil和datetime模块来解析和处理时间数据。

编程练习

1
2
3
4
5
6
7
8


from steem import Steem
from steem.converter import Converter
# import sys
import math
from dateutil import parser
from dateutil.tz import *
from datetime import datetime, timezone, timedelta
from pprint import pprint

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78


class Steemains(Steem):
    def __init__(self, _account_name='yjcps'):
        Steem.__init__(self)
        self.account_name = _account_name
        self.account_info = self.get_account(self.account_name)

    @property
    def view_account_info(self):
        post_count = self.account_info.get('post_count')
        balance = self.account_info.get('balance')
        created = self.parse_date(
            self.account_info.get('created'))
        sbd_balance = self.account_info.get('sbd_balance')
        vesting_shares = self.parse_vests(
            self.account_info.get('vesting_shares'))
        delegated_vesting_shares = self.parse_vests(
            self.account_info.get('delegated_vesting_shares'))

        converter = Converter()
        sp = converter.vests_to_sp(vesting_shares)
        delegated_sp = converter.vests_to_sp(delegated_vesting_shares)

        voting_power = self.parse_voting_power(
            self.account_info.get('voting_power'))
        reputation = self.parse_reputation(
            self.account_info.get('reputation'))
        last_post_date = self.parse_date(
            self.account_info.get('last_root_post'))
        time_since_last_post = datetime.utcnow().replace(
            tzinfo=timezone.utc) - last_post_date
        days_since_last_post = time_since_last_post.days

        #         print(_timedelta)

        return {
            'account_name': self.account_name,
            'balance': balance,
            'created':
            self.utc_2_local_date(created).strftime(
                '%Y-%m-%d-%a %H:%M:%S'),
            'sbd_balance': sbd_balance,
            'vesting_shares': vesting_shares,
            'delegated_vesting_shares': delegated_vesting_shares,
            'sp': sp,
            'delegated_sp': delegated_sp,
            'post_count': post_count,
            'voting_power': voting_power,
            'reputation': reputation,
            'last_post_date':
            self.utc_2_local_date(last_post_date).strftime(
                '%Y-%m-%d-%a %H:%M:%S'),
            'days_since_last_post': days_since_last_post
        }

    def get_post_histry(self):
        pass

    @staticmethod
    def utc_2_local_date(_utcdate):
        _timedelta = datetime.now() - datetime.utcnow()
        return _utcdate.astimezone(timezone(_timedelta))

    @staticmethod
    def parse_vests(_vests):
        return float(_vests.split()[0])

    @staticmethod
    def parse_voting_power(voting_power):
        return int(voting_power) / 100

    @staticmethod
    def parse_reputation(raw_reputation):
        return (math.log10(int(raw_reputation)) - 9) * 9 + 25

    @staticmethod
    def parse_date(_date):
        utc_date = parser.parse(_date).replace(tzinfo=timezone.utc)
        return utc_date

1
2


yjcps = Steemains('yjcps')
pprint(yjcps.view_account_info)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


{'account_name': 'yjcps',
 'balance': '0.437 STEEM',
 'created': '2018-01-04-Thu 13:25:18',
 'days_since_last_post': 0,
 'delegated_sp': 57.07436926020711,
 'delegated_vesting_shares': 115562.393455,
 'last_post_date': '2018-08-19-Sun 07:01:57',
 'post_count': 261,
 'reputation': 51.49449059489242,
 'sbd_balance': '4.499 SBD',
 'sp': 121.35204133768676,
 'vesting_shares': 245709.808613,
 'voting_power': 68.73}

1
2
3


deanliu = Steemains('deanliu')
pprint(deanliu.view_account_info)
del deanliu

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


{'account_name': 'deanliu',
 'balance': '105.649 STEEM',
 'created': '2016-07-14-Thu 13:56:39',
 'days_since_last_post': 0,
 'delegated_sp': 3028.3048743103254,
 'delegated_vesting_shares': 6131616.465781,
 'last_post_date': '2018-08-19-Sun 11:23:24',
 'post_count': 9998,
 'reputation': 74.33099682076877,
 'sbd_balance': '189.594 SBD',
 'sp': 17333.498512941853,
 'vesting_shares': 35096322.630247,
 'voting_power': 55.17}

1
2
3


dapeng = Steemains('dapeng')
pprint(dapeng.view_account_info)
del dapeng

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


{'account_name': 'dapeng',
 'balance': '229.299 STEEM',
 'created': '2016-10-14-Fri 19:03:39',
 'days_since_last_post': 2,
 'delegated_sp': 3909.296719340023,
 'delegated_vesting_shares': 7915420.822822,
 'last_post_date': '2018-08-16-Thu 20:57:21',
 'post_count': 5926,
 'reputation': 67.26589131476406,
 'sbd_balance': '30.081 SBD',
 'sp': 5186.613554620994,
 'vesting_shares': 10501691.705077,
 'voting_power': 69.86}

1
2


for key,value in yjcps.view_account_info.items():
    print(key,':',value)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


account_name : yjcps
balance : 0.437 STEEM
created : 2018-01-04-Thu 13:25:18
sbd_balance : 4.499 SBD
vesting_shares : 245709.808613
delegated_vesting_shares : 115562.393455
sp : 121.35205839875916
delegated_sp : 57.07437728438151
post_count : 261
voting_power : 68.73
reputation : 51.49449059489242
last_post_date : 2018-08-19-Sun 07:01:57
days_since_last_post : 0

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


display_message = '''
Username: \t{account_name}
Reputation: \t{reputation}
Created:\t{created}
Last Post: \t{last_post_date} ({days_since_last_post} days ago)
===========================================
STEEM Balance:\t{balance}
SBD Balance:\t{sbd_balance}
SP: \t\t{sp}
Delegated SP:\t{delegated_sp}
Total Posts:\t{post_count}
Voting Power:\t{voting_power}%
'''.format(**yjcps.view_account_info)
print(display_message)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


Username:   yjcps
Reputation:     51.49449059489242
Created:    2018-01-04-Thu 13:25:18
Last Post:  2018-08-19-Sun 07:01:57 (0 days ago)
===========================================
STEEM Balance:  0.437 STEEM
SBD Balance:    4.499 SBD
SP:         121.35205862624704
Delegated SP:   57.07437749836572
Total Posts:    261
Voting Power:   68.73%

1

pprint(yjcps.account_info)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89


{'active': {'account_auths': [],
            'key_auths': [['STM52aJdPyehuxigiDfYngKBL8PSAcESNmYENdaVnwRuKoiP1M9eu',
                           1]],
            'weight_threshold': 1},
 'average_bandwidth': '56831815207',
 'average_market_bandwidth': 1279817315,
 'balance': '0.437 STEEM',
 'can_vote': True,
 'comment_count': 0,
 'created': '2018-01-04T05:25:18',
 'curation_rewards': 231,
 'delegated_vesting_shares': '115562.393455 VESTS',
 'guest_bloggers': [],
 'id': 556829,
 'json_metadata': '{"profile":{"name":"hacper","profile_image":"https://s.gravatar.com/avatar/6f1c379a4a2c2190a4aa0921836e98b1?s=80","location":"GuangDong, '
                  'China","about":"最好的选择莫过于投资自己，写作是其一！","website":"https://steemit.com/@yjcps","cover_image":"https://cdn.steemitimages.com/DQmTvZbcaXYAcpTAjyNLp4qa9ttMu2Eo5wHSSzTaQSK4tPj/%E5%9B%BE%E7%89%87.png","bitcoin":"123YPnYjJmANKtiBr4DTsGJcncxxu2q6y3","ethereum":"0x50be5c7e721b8e146167dccb35e3c94156e13f58"}}',
 'last_account_recovery': '1970-01-01T00:00:00',
 'last_account_update': '2018-08-10T02:42:45',
 'last_bandwidth_update': '2018-08-19T02:06:15',
 'last_market_bandwidth_update': '2018-08-16T01:42:00',
 'last_owner_update': '2018-01-04T14:49:21',
 'last_post': '2018-08-18T23:01:57',
 'last_root_post': '2018-08-18T23:01:57',
 'last_vote_time': '2018-08-19T02:06:15',
 'lifetime_bandwidth': '615056000000',
 'lifetime_market_bandwidth': '22160000000',
 'lifetime_vote_count': 0,
 'market_history': [],
 'memo_key': 'STM6spBZkmNSe9fccLvsms7bGjSRaE4gsRbTAxNLnEiFHyhP9ww1f',
 'mined': False,
 'name': 'yjcps',
 'next_vesting_withdrawal': '1969-12-31T23:59:59',
 'other_history': [],
 'owner': {'account_auths': [],
           'key_auths': [['STM5gJExNnQn5aLjpp8cn7nngfYsutN6NCJmKfn9dFgji6fZrHkwH',
                          1]],
           'weight_threshold': 1},
 'post_count': 261,
 'post_history': [],
 'posting': {'account_auths': [['busy.app', 1],
                               ['dlive.app', 1],
                               ['dtube.app', 1],
                               ['fundition.app', 1],
                               ['partiko-steemcon', 1],
                               ['smartsteem', 1],
                               ['steemauto', 1],
                               ['steemgg.app', 1],
                               ['steemhunt.com', 1]],
             'key_auths': [['STM8bbH2Sfq72PshhVeNpSRQAa4XeiDwTNq4LdY8hxFMZkhfSGZU9',
                            1]],
             'weight_threshold': 1},
 'posting_rewards': 54307,
 'proxied_vsf_votes': [0, 0, 0, 0],
 'proxy': '',
 'received_vesting_shares': '0.000000 VESTS',
 'recovery_account': 'skenan',
 'reputation': '878683129879',
 'reset_account': 'null',
 'reward_sbd_balance': '0.000 SBD',
 'reward_steem_balance': '0.000 STEEM',
 'reward_vesting_balance': '0.000000 VESTS',
 'reward_vesting_steem': '0.000 STEEM',
 'savings_balance': '0.000 STEEM',
 'savings_sbd_balance': '0.000 SBD',
 'savings_sbd_last_interest_payment': '1970-01-01T00:00:00',
 'savings_sbd_seconds': '0',
 'savings_sbd_seconds_last_update': '1970-01-01T00:00:00',
 'savings_withdraw_requests': 0,
 'sbd_balance': '4.499 SBD',
 'sbd_last_interest_payment': '2018-08-14T00:32:57',
 'sbd_seconds': '1907954703',
 'sbd_seconds_last_update': '2018-08-18T22:40:57',
 'tags_usage': [],
 'to_withdraw': 0,
 'transfer_history': [],
 'vesting_balance': '0.000 STEEM',
 'vesting_shares': '245709.808613 VESTS',
 'vesting_withdraw_rate': '0.000000 VESTS',
 'vote_history': [],
 'voting_power': 6873,
 'withdraw_routes': 0,
 'withdrawn': 0,
 'witness_votes': ['abit',
                   'bobdos',
                   'ety001',
                   'justyy',
                   'skenan',
                   'therealwolf'],
 'witnesses_voted_for': 6}

1

del yjcps

补充

解析日期字符串

python-dateutil

1
2
3
4


# ISO format
dt = parser.parse("2018-01-04T14:49:21")
print(dt)
print(type(dt))

1
2


2018-01-04 14:49:21

1
2
3
4
5


# 设置时区
TZOFFSETS = {"BRST": -10800}
dt = parser.parse("Thu Sep 25 10:36:28 BRST 2003",  tzinfos=TZOFFSETS)
print(dt)
print(type(dt))

1
2


2003-09-25 10:36:28-03:00

1
2


dt = parser.parse("2003-09-25T10:49:41.5-03:00")
print(dt)

1

2003-09-25 10:49:41.500000-03:00

1
2


dt = parser.parse("20030925T104941")
print(dt)

1

2003-09-25 10:49:41

1
2


dt = parser.parse("2003.Sep.25")
print(dt)

1

2003-09-25 00:00:00

1
2


dt = parser.parse("Tuesday, April 12, 1952 AD 3:30:42pm PST", ignoretz=True)
print(dt)

1

1952-04-12 15:30:42

时区转换

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


# 当前本地时间
print(datetime.now())
# 当前UTC时间
print(datetime.utcnow())

print()

# 时差
dt = datetime.now() - datetime.utcnow()
print(dt)

print()

# 设置时区为UTC+0:00
utc_dt = datetime.utcnow().replace(tzinfo=timezone.utc)
print(utc_dt)

# 设置时区为UTC+8:00
_bj_dt = utc_dt.astimezone(timezone(dt))
print(_bj_dt)

# 设置时区为UTC+5:00
bj_dt = utc_dt.astimezone(timezone(timedelta(hours=5)))
print(bj_dt)

1
2
3
4
5
6
7
8


2018-08-19 11:35:33.051849
2018-08-19 03:35:33.051849

8:00:00

2018-08-19 03:35:33.052827+00:00
2018-08-19 11:35:33.052827+08:00
2018-08-19 08:35:33.052827+05:00

时间格式转换

1
2


dt = parser.parse("2018-08-18T23:01:57")
print(dt)

1

2018-08-18 23:01:57

1
2
3
4
5
6
7
8
9


# datetime 2 timestamp
timestamp = dt.timestamp()
print(timestamp)

print()

# timestamp 2 datetime
print(datetime.fromtimestamp(timestamp))
print(datetime.utcfromtimestamp(timestamp))

1
2
3
4


1534604517.0

2018-08-18 23:01:57
2018-08-18 15:01:57

1
2
3
4


# datetime 2 string
str_time = dt.strftime('%Y/%m/%d %H:%M:%S')
print(str_time)
print(type(str_time))

1
2


2018/08/18 23:01:57