hhs
6e0c67e1cb
- 修复心跳 Bug：应用层 ping 不更新 lastPong，60 秒后连接会被错误断开 - 03-接口文档：audio/mpeg→audio/mp3、STTConfig/TTSConfig 补充 Model 字段、 APP_ENV 环境变量名修正、配置搜索路径补充、.env 加载说明、Vite proxy 说明修正 - 02-系统架构：补充 ConfigPanel/Toast 组件、Model Router/Rate Limiter 标注规划中、 补充 Gin 框架、MVP 存储改为 Memory、AI 服务 provider 更新、Orchestrator 伪代码对齐 - 04-技术选型：新增 AI 服务栈选型章节（STT/LLM/TTS）、PostgreSQL 标注规划中 - 06-语音交互：VAD 参数名修正、STT 改为一次性识别描述、音频编码格式补充 - 07-视觉理解：关键帧检测代码改为 TypeScript、分辨率修正、阈值逻辑统一 - 08-成本控制：变量名修正、未实现功能标注规划中、对话历史裁剪策略补充 - CLAUDE.md：同步更新技术栈、模块结构、存储策略描述
CamTalk 设计文档
CamTalk 是一款多模态实时 AI 视觉对话助手。用户通过摄像头和麦克风与 AI 交互，AI 理解视觉场景和语音输入后给出自然回应。
文档索引
| 文档 | 说明 |
|---|---|
| 01-项目概述 | 项目目标、核心挑战、交付物 |
| 02-系统架构 | 三层架构、技术栈、核心交互流程、前后端模块、存储策略、部署架构 |
| 03-接口文档 | WebSocket 协议、REST API、AI 服务层接口、编排器设计、Session Manager、配置管理（Viper）、数据模型、错误码、连接管理（实现时首先阅读） |
| 04-技术选型 | 持久化层（PostgreSQL）和前端边缘处理层的选型对比与决策理由 |
| 05-用户故事 | P0/P1/P2 用户故事、验收标准、优先级决策依据 |
| 06-语音交互 | VAD → STT → LLM → TTS 全链路、延迟优化 |
| 07-视觉理解 | 帧采样策略、图像编码、多模态 LLM 输入机制 |
| 08-成本控制 | 智能采样、端云协同、模型分级、缓存复用 |
| 09-技术名词解释 | 前端/后端/AI 服务技术名词简明解释 |
推荐阅读顺序
- 01-项目概述 — 了解项目目标
- 02-系统架构 — 理解三层架构和技术栈全貌
- 03-接口文档 — 前后端通信契约，实现时的最高依据
- 04-技术选型 — 了解为什么选这些技术
- 05-用户故事 — 明确功能优先级
- 06~08 — 各技术领域的详细设计
- 09-技术名词解释 — 遇到不熟悉的名词时查阅