XEngineers/CamTalk
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
405 Commits 2 Branches 0 Tags
9c763ec12a8a2cd7ae7f9b85517110635434822a
Commit Graph

27 Commits

Author SHA1 Message Date
hhs
1bab02ae84 feat: OpenAI TTS 错误日志截断敏感文本 2026-06-21 22:05:35 +08:00
hhs
89d7b7c17c feat: MiMo TTS 错误日志截断敏感文本 2026-06-21 22:05:13 +08:00
cfy666
1079e22699 feat: 实现自建情景功能 
## 功能概述
- 用户可创建、编辑、删除自定义情景
- 支持自定义情景名称、图标、描述、Prompt、首句引导
- 完整的权限隔离，用户只能管理自己的情景
- 深度集成 Eino 框架，动态加载自建情景 Prompt

## 后端实现
### 数据库
- 新增 user_scenarios 表
- 支持用户配额（最多 20 个）
- 字段验证：description 可选，prompt 最小 10 字符

### API
- GET /api/scenarios - 获取用户情景列表
- POST /api/scenarios - 创建情景
- GET /api/scenarios/:id - 获取详情
- PATCH /api/scenarios/:id - 更新情景
- DELETE /api/scenarios/:id - 删除情景

### Eino 集成
- PipelineState 添加 UserID 字段
- nodes_history 动态加载用户自建情景
- GetScenarioPrompt 支持自建情景优先级

## 前端实现
### 组件
- CreateScenarioModal - 创建情景对话框
- EditScenarioModal - 编辑情景对话框
- ConfigPanel 改造 - 分组显示系统预置和自建情景

### Hook
- useScenarios - 合并系统和自建情景，提供 CRUD 接口

### 国际化
- 中文、英文、日文翻译支持

## 问题修复
- 修复 CORS 问题：使用 Vite 代理
- 统一验证规则：description 可选，prompt 最小 10 字符
- 修复数据库约束：使用 NULLIF 处理空字符串

## 文件变更
新增文件: 13 个
修改文件: 14 个

详见文档: docs/自建情景功能完整文档.md
 2026-06-21 15:38:28 +08:00
cfy666
2fb23852ef feat: 优化情景切换功能 2026-06-20 23:24:32 +08:00
cfy666
4ffd84510e refactor: 清理旧编排代码，新增 eino 包单元测试 
删除旧代码：
- orchestrator/pipeline.go: 旧 STT→LLM→TTS 手写 goroutine 管道
- orchestrator/splitter.go: 旧句子切分器
- orchestrator/pipeline_test.go: 旧 Pipeline 测试
- ai/llm/openai.go: 旧 LLM OpenAI 实现（被 eino-ext ChatModel 替代）
- ai/llm/openai_test.go: 旧 LLM 测试

保留的接口和工具：
- orchestrator/orchestrator.go: Orchestrator 接口（ws/handler 依赖）
- orchestrator/sender.go: Sender 接口（eino/callback 依赖）
- ai/llm/llm.go: Request/Chunk/TokenUsage 类型定义
- ai/llm/prompt.go: BuildSystemPrompt（eino/nodes_history 依赖）
- ai/llm/scenarios.go: GetScenarioPrompt（eino/nodes_history 依赖）

新增测试：
- eino/graph_test.go: 13 个测试覆盖类型构建、State 并发安全、
  Context 注入、延迟计算、接口实现检查等

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-06-19 22:04:39 +08:00
cfy666
b60e513317 feat：添加对话情景功能 2026-06-14 20:32:30 +08:00
cfy666
c3118dd72a feat：语音对话优化 2026-06-14 19:54:22 +08:00
hhs
4ebac835de chore: 删除 deepgram_test.go 测试文件 2026-06-14 14:04:30 +08:00
cfy666
da5c727d8c fix: 修复语音与文字不同步的问题，改为句子级流式播放 
之前前端 TTSPlayer 攒齐所有音频片段后才播放，导致文字全部显示后才开始语音。
改为后端每句 TTS 发送 is_last: true，前端收到每句即加入播放队列，第一句到达即开始播放。

- 后端 Chunk 结构体新增 Final 字段，区分句子结束和整轮结束
- 前端 TTSPlayer 重写为队列式播放，onended 回调自动衔接下一句
- 同步更新接口文档和测试用例
 2026-06-14 13:54:49 +08:00
cfy666
312e762aff fix: 修复文本输入时 LLM API 报错的问题 
- 移除 contentPart.Text 的 omitempty 标签
- 确保 text 字段始终存在于 JSON 请求中
 2026-06-14 13:02:07 +08:00
hhs
96cf009228 test: 更新测试文件适配构造函数签名变更 2026-06-14 11:55:29 +08:00
hhs
8a966c29b7 fix: TTS 服务去除重复默认值，新增 httpClientTimeout 参数 
- 去除 model/voice/endpoint 的 fallback 默认值
- HTTP Client 超时从 config 传入
 2026-06-14 11:55:20 +08:00
hhs
aae0629b2d fix: LLM 服务去除重复默认值，新增 httpClientTimeout 参数 
- 去除 model/endpoint 的 fallback 默认值
- HTTP Client 超时从 config 传入
 2026-06-14 11:55:19 +08:00
hhs
03b3566822 fix: STT 服务去除重复默认值，新增 timeout 参数 
- Deepgram/MiMo STT 超时从 config 传入
- 去除 model/endpoint 的 fallback 默认值，由 config 层保证
 2026-06-14 11:55:18 +08:00
hhs
e967d89e7e feat: 添加 MiMo TTS 语音合成服务 
实现基于 Xiaomi MiMo TTS API 的语音合成 provider，使用冰糖音色。
- 新增 MiMoService 实现 tts.Service 接口
- 使用 chat/completions 格式，与 MiMo STT 保持一致
- 在 main.go 添加 TTS provider 切换逻辑（mimo/xiaomi）
- 配置文件默认音色设为冰糖
- 包含完整测试覆盖（9 个测试用例）
 2026-06-14 10:05:56 +08:00
hhs
322061c387 fix: MiMo ASR 认证头改为 Authorization: Bearer 
MiMo API 使用标准 Bearer Token 认证，而非自定义 api-key 头。
 2026-06-13 21:57:56 +08:00
hhs
3d3de828fc feat: 添加 Xiaomi MiMo ASR 语音识别提供者 
- 新增 MiMoService 实现 stt.Service 接口，通过 HTTP POST 调用 OpenAI 兼容的 /chat/completions 接口
- 自动将原始 PCM 数据封装为 WAV 格式（MiMo 仅支持 mp3/wav）
- 语言代码映射：zh-CN→zh、en-US→en、其他→auto
- main.go 添加 provider 选择逻辑（mimo/xiaomi → MiMo，其他 → Deepgram）
- 更新 config.yaml 使用正确的 model 名称 mimo-v2.5-asr
- 添加完整单元测试
 2026-06-13 21:31:58 +08:00
hhs
0d9d3db73b feat: 更新配置文档 2026-06-13 19:57:35 +08:00
hhs
29e186c062 test: 编写 TTS 测试（mock HTTP，覆盖成功/API 错误/超时/空文本/取消/部分失败/自定义 voice） 2026-06-13 15:48:55 +08:00
hhs
acc7dfce43 feat: 实现 OpenAI TTS 服务（逐句合成 + 5s 超时 + 静默跳过失败） 2026-06-13 15:47:43 +08:00
hhs
450c2c66c3 feat: 定义 TTS Service 接口（SynthesizeStream + Options/Chunk） 2026-06-13 15:46:48 +08:00
hhs
90f4b907a7 test: 编写 LLM 测试（mock SSE 流，覆盖成功/图片/历史/API 错误/超时/Usage） 2026-06-13 15:45:51 +08:00
hhs
96b4c4899a feat: 实现 OpenAI LLM 服务（SSE 流式解析 + 多模态消息构建）及 System Prompt 定义 2026-06-13 15:44:23 +08:00
hhs
078cfe6278 feat: 定义 LLM Service 接口（ChatStream + Request/Chunk/TokenUsage） 2026-06-13 15:42:14 +08:00
hhs
8f9b0b881e feat: 实现 Deepgram STT 服务及测试（WebSocket mock，覆盖成功/超时/空音频/多轮 final） 2026-06-13 15:41:44 +08:00
hhs
6fcbf023b4 feat: 实现 Deepgram STT 服务（WebSocket 连接 + 音频发送 + 结果接收） 2026-06-13 15:39:39 +08:00
hhs
22784bf421 feat: 定义 STT Service 接口（Recognize + Options） 2026-06-13 15:38:59 +08:00