modify: 流式输出

example/router/stream_chat.py

@@ -0,0 +1,34 @@
+"""
+流式端点示例 — @rpc_method 返回异步生成器，框架自动逐块多回复推送
+
+网关在 TOML 中声明 stream = true 时，该端点以 SSE（text/event-stream）输出:
+  POST /api/v1/calc/stream_chat  {"prompt": "你好", "tokens": 5}
+  响应: data: {"token": "..."} ... data: {"done": true}
+
+约定:
+  - 插件侧写法：函数返回生成器（yield），框架逐块 query.reply() 推送
+  - {"done": true} 是业务结束标记（插件自定义），不是协议哨兵——
+    流式协议以生成器自然结束为流终止信号
+  - 中途异常时框架自动发送 {"error": ...} 收尾块
+"""
+import asyncio
+import logging
+
+from chongming_worker import rpc_method
+
+logger = logging.getLogger("plugins.example.stream_chat")
+
+
+@rpc_method(
+    subject="example.stream_chat",
+    method="POST",
+    summary="模拟 AI 流式对话（SSE，逐 token 输出）",
+    stream=True,
+)
+async def stream_chat(prompt: str = "你好", tokens: int = 10):
+    """逐 token 模拟生成：把 return 改成 yield，框架即自动流式推送"""
+    logger.info("收到流式请求: prompt=%s, tokens=%d", prompt, tokens)
+    for i in range(tokens):
+        await asyncio.sleep(0.05)
+        yield {"token": f"{prompt}·{i + 1}", "index": i}
+    yield {"done": True}