如何在君正 T33 上用 Magik NPU 加速声音识别

/home/user/magik-toolkit-v3.2/
├── compiler/
│   └── magik_compile          # NPU 模型编译器
├── runtime/
│   ├── include/
│   │   └── magik_runtime.h    # NPU 运行时 API 头文件
│   └── lib/
│       └── libmagik.so        # NPU 运行时库
├── examples/
│   └── t33/
│       └── sample_magik.c     # NPU 推理示例
└── docs/
    └── magik_compile_guide.pdf

import torch
import torch.onnx

from sound_net import SimplifiedSoundNet

model = SimplifiedSoundNet(num_classes=2)
model.load_state_dict(torch.load("sound_net.h5", map_location="cpu"))
model.eval()

dummy_input = torch.randn(1, 1, 225, 225)
torch.onnx.export(model, dummy_input, "model.onnx",
    input_names=["input"], output_names=["output"],
    opset_version=13)
print("ONNX export done")

pip install onnx2tf
onnx2tf -i model.onnx -o tflite_output/

# 设置 Magik 工具链环境
export MAGIK_HOME=/home/user/magik-toolkit-v3.2
export PATH=$MAGIK_HOME/compiler:$PATH

# 编译 T33 目标
magik_compile     --model model_float32.tflite     --output model_magik.nb     --target t33     --quantization uint8     --input_mean 0     --input_std 1

#include <imp/imp_audio.h>
#include <imp/imp_system.h>
#include "magik_runtime.h"

// 音频采集配置
#define SAMPLE_RATE 16000
#define FRAME_MS 20          // 每帧 20ms
#define WINDOW_MS 5000       // 5 秒检测窗口

static magik_ctx_t *g_magik = NULL;
static float g_mel_buffer[1 * 1 * 225 * 225];

// 初始化 IMP 音频采集
int audio_init() {
    // ... IMP 音频初始化代码 ...
    return 0;
}

// 初始化 Magik NPU 运行时
int npu_init(const char *model_path) {
    magik_config_t cfg = {
        .model_path = model_path,
        .npu_id = 0,          // T33 有一个 NPU 核心
        .thread_count = 1,
    };
    g_magik = magik_init(&cfg);
    if (!g_magik) return -1;
    return 0;
}

// 处理一个 5 秒音频窗口
int process_window(const int16_t *audio_5s) {
    // 1. 计算 Mel 频谱图 (225×225)
    mel_from_audio(audio_5s, SAMPLE_RATE, g_mel_buffer);

    // 2. 运行 NPU 推理
    magik_tensor_t input = {
        .data = g_mel_buffer,
        .shape = {1, 1, 225, 225},
        .dtype = MAGIK_FLOAT32,
    };
    magik_tensor_t output;
    magik_run(g_magik, &input, 1, &output, 1);

    // 3. 读取结果（output 为 [non_cry, cry] 概率）
    float *probs = (float *)output.data;
    float cry_confidence = probs[1];

    if (cry_confidence > 0.5f) {
        printf("检测到哭声！置信度=%.3f\n", cry_confidence);
    }

    magik_free_tensor(&output);  // 释放 NPU 输出缓冲区
    return 0;
}

# 使用 MIPS 交叉编译器
mips-linux-uclibc-gcc -o sound_detect_t33 \
    main.c \
    -I${MAGIK_HOME}/runtime/include \
    -L${MAGIK_HOME}/runtime/lib \
    -lmagik -limp -lpthread \
    -O2 -march=mips32r2

# 通过 HTTP 服务器上传（T33 典型工作流）
# 在 PC 端：
python c/t33/http_server.py

# 在 T33 开发板上：
wget http://192.168.0.xxx:8000/sound_detect_t33
wget http://192.168.0.xxx:8000/model_magik.nb
chmod +x sound_detect_t33
./sound_detect_t33