sophon_ai_project/README.md

# Sophon Chakcy 插件管理系统使用文档

## 系统概述

Sophon Chakcy 是一个基于 Sophon SAIL 的插件化目标检测框架，核心是动态插件管理系统，而非具体的检测算法。YOLOv8 仅作为预置的插件示例，系统支持任意检测算法的插件化扩展。

### 核心特性

- **动态插件加载**：运行时根据名称动态加载对应检测器
- **统一配置管理**：集中管理所有插件配置
- **资源虚拟化**：支持 SQLite VFS 打包模型和配置
- **模块化设计**：插件间互相独立，易于扩展和维护

## 核心架构

``text
sophon_chakcy/
├── get_detector.py      # 核心插件管理器
├── __init__.py         # 工具函数
└── build.py            # 插件打包工具
```

## 关键组件解析

### 1. 插件管理器 (get_detector.py)

```python
def get_detector(name: str, is_vfs: bool = False):
    """核心插件加载函数
    
    Args:
        name: 插件名称（在config.json中定义）
        is_vfs: 是否从VFS加载资源
        
    Returns:
        tuple: (检测器类, 配置字典)
    """
```

**工作原理：**

1. 根据插件名称查找 `config.json` 中的配置
2. 动态导入对应的 Python 模块
3. 加载插件配置文件
4. 返回检测器类和配置对象

### 2. 配置文件结构

```json
{
  "model_map": {
    "yolov8": {
      "name": "yolov8",
      "module": "YOLOv8.yolov8_detector",  # 模块导入路径
      "config": "configs/yolov8_config.json"  # 插件配置文件
    }
  }
}
```

## 插件接口开发指南

### 插件接口规范

每个插件必须提供以下接口：

#### 1. 配置类（必需）

```python
from dataclasses import dataclass
from typing import Dict, Any

@dataclass
class PluginConfig:
    """插件配置基类"""
    bmodel_path: str
    classes: list
    
    @classmethod
    def from_dict(cls, data: Dict[str, Any]) -> "PluginConfig":
        """从字典创建配置对象"""
        return cls(**data)
```

#### 2. 检测器类（必需）

```python
class Detector:
    """插件检测器基类"""
    
    def __init__(self, config_dict: Dict[str, Any], is_vfs: bool = False, 
                 vfs_path: str = "./application.svfs", dev_id: int = 0,
                 conf_thresh: float = 0.25, nms_thresh: float = 0.7):
        """
        初始化检测器
        
        Args:
            config_dict: 配置字典
            is_vfs: 是否使用VFS
            vfs_path: VFS文件路径
            dev_id: 设备ID
            conf_thresh: 置信度阈值
            nms_thresh: NMS阈值
        """
        self.config = PluginConfig.from_dict(config_dict)
        # 其他初始化逻辑...
    
    def detect_single_image(self, image_path: str, output_dir: str = "./results") -> list:
        """单张图像检测接口"""
        pass
    
    def detect_images_in_directory(self, input_dir: str, output_dir: str = "./results"):
        """批量图像检测接口"""
        pass
```

### 创建新插件的完整流程

#### 步骤1：创建插件目录结构

```text
my_detector/
├── __init__.py
├── my_detector.py      # 主检测器文件
├── preprocess.py       # 预处理模块（可选）
├── postprocess.py      # 后处理模块（可选）
└── utils.py           # 工具函数（可选）
```

#### 步骤2：实现检测器类

```python
# my_detector/my_detector.py
import os
import numpy as np
from dataclasses import dataclass
from typing import List, Dict, Any

import sophon_chakcy.sail as sail
from .preprocess import Preprocessor
from .postprocess import Postprocessor

@dataclass
class MyDetectorConfig:
    """自定义检测器配置"""
    bmodel_path: str
    classes: List[str]
    input_size: tuple = (640, 640)
    mean: List[float] = None
    std: List[float] = None
    
    @classmethod
    def from_dict(cls, data: Dict[str, Any]) -> "MyDetectorConfig":
        return cls(**data)

class Detector:
    """自定义检测器实现"""
    
    def __init__(self, config_dict: Dict[str, Any], is_vfs: bool = False,
                 vfs_path: str = "./application.svfs", dev_id: int = 0,
                 conf_thresh: float = 0.25, nms_thresh: float = 0.7):
        
        # 解析配置
        self.config = MyDetectorConfig.from_dict(config_dict)
        
        # 加载模型
        if is_vfs:
            from sqlite_vfs.core import SQLiteVFS
            vfs = SQLiteVFS(vfs_path)
            bmodel_bytes = vfs.read_file(self.config.bmodel_path)
            bmodel_size = vfs.get_file_info(self.config.bmodel_path)["file_size"]
            self.net = sail.Engine(bmodel_bytes, bmodel_size, dev_id, sail.IOMode.SYSO)
        else:
            self.net = sail.Engine(self.config.bmodel_path, dev_id, sail.IOMode.SYSO)
        
        # 初始化组件
        self.preprocessor = Preprocessor(self.config)
        self.postprocessor = Postprocessor(
            conf_thresh=conf_thresh,
            nms_thresh=nms_thresh,
            classes=self.config.classes
        )
        
        # 其他初始化...
        print(f"插件 '{self.__class__.__name__}' 初始化完成")
    
    def detect_single_image(self, image_path: str, output_dir: str = "./results"):
        """实现单图检测逻辑"""
        # 1. 读取图像
        # 2. 预处理
        # 3. 推理
        # 4. 后处理
        # 5. 返回结果
        pass
    
    def detect_images_in_directory(self, input_dir: str, output_dir: str = "./results"):
        """实现批量检测逻辑"""
        for img_file in os.listdir(input_dir):
            img_path = os.path.join(input_dir, img_file)
            self.detect_single_image(img_path, output_dir)
```

#### 步骤3：创建插件配置文件
```json
// configs/my_detector_config.json
{
  "bmodel_path": "models/my_model.bmodel",
  "classes": ["cat", "dog", "person"],
  "input_size": [640, 640],
  "mean": [0.485, 0.456, 0.406],
  "std": [0.229, 0.224, 0.225]
}
```

#### 步骤4：注册插件

修改 `config.json` 添加新插件：

```json
{
  "model_map": {
    "yolov8": {
      "module": "YOLOv8.yolov8_detector",
      "config": "configs/yolov8_config.json"
    },
    "my_detector": {
      "module": "my_detector.my_detector",
      "config": "configs/my_detector_config.json"
    },
    "faster_rcnn": {
      "module": "faster_rcnn.detector",
      "config": "configs/faster_rcnn_config.json"
    }
  }
}
```

#### 步骤5：测试插件

```bash
# 使用新插件
python main.py --name my_detector --input ./test.jpg
```

### 插件打包与部署

#### 1. 打包工具详解 (build.py)

构建工具执行以下任务：

1. **读取配置**：解析 `config.json` 中的所有插件配置
2. **打包模块**：将插件模块打包到 SQLite 模块库
3. **打包资源**：将模型和配置文件打包到 VFS
4. **生成部署包**：创建完整的可部署包

#### 2. 打包命令

```bash
# 基本打包
python -m sophon_chakcy.build

# 自定义输出路径
python -m sophon_chakcy.build --vfs_path my_app.svfs --mbank_path my_plugins.mbank

# 详细日志
python -m sophon_chakcy.build --verbose
```

#### 3. 部署结构

```text
部署目录/
├── main.py                    # 主程序（使用VFS和模块库）
├── application.svfs          # 虚拟文件系统
│   ├── config.json
│   ├── configs/yolov8_config.json
│   ├── configs/my_detector_config.json
│   ├── models/yolov8n.bmodel
│   └── models/my_model.bmodel
└── plugins.mbank             # Python模块库
    ├── YOLOv8
    ├── my_detector
    └── faster_rcnn
```