墨评工程进展与真实验证
更新:2026-10-10。公开网页保留合成案例体验;真实后台在私有仓库实现,并完成了下述本机验证。生产部署与学校效果仍待验收。
从演示到真实后台
已实现教师登录与班级权限、持久作业、私有图片、原文校对、五维评分、反思与有限修订、教师确认、候选独立审核、版本化知识库和可打印报告。
检索采用 BGE-M3、ChromaDB 和 Neo4j;完整量规、维度权重、规则及依赖关系写入图谱,读取时与冻结快照核对。sqlite-vec 支持本地词库索引,Kafka 支持长文分段与重复消费保护,DVC 管理知识资产版本。
教师可逐维修订或排除模型评语,最终打印报告只显示已选内容;词库已接入 OCR 校对,候选不会自动改写原文,增量更新复用旧向量。
当前验证结果
| 项目 | 实际结果 | 不能据此推断 |
|---|---|---|
| PostgreSQL 并发 | 20 个申请恰好通过 5 个,15 个配额拒绝 | 不代表全系统容量 |
| Neo4j 与 ChromaDB | 实际服务查询和 RRF 融合通过 | 不代表检索准确率达到 91.4% |
| BGE-M3 | 实际本机推理得到 1024 维向量,并用于双路查询 | 不代表所有语言质量一致 |
| sqlite-vec | 实际扩展往返查询通过 | 不是已经拥有 5000 条审核词库 |
| Kafka | 实际投递、持久分段和重复消费通过 | 此项模型为合成替身,不是模型吞吐压测 |
| OCR | Apple Vision 识别两行合成印刷文字,保留原句语法错误 | 不是学生手写识别率验证 |
| DeepSeek | 本地 7B 蒸馏模型产生五维证据报告和反思,争议转教师 | 不代表完整云模型或教师一致性达标 |
| DVC | 合成文件实际恢复为已追踪版本 | 不是生产备份恢复或所有副本删除验收 |
| 教师工作台 | 真实浏览器完成登录、创建、上传、OCR、确认、失败处理与重登读取 | 不是学校真实账户验收 |
另用 5001 条合成向量验证容量:索引 21.16 MiB、构建 0.751 秒、一次查询 4.369 毫秒、进程峰值内存 78.61 MiB。该数据只用于验证存储容量,未冒称 5001 条真实教学词条。两条独立拼写样例完成真实 BGE-M3/OCR 联动,再次构建没有重新生成向量。
一次真实模型测试说明
使用原创英文短文、合成量规和 DeepSeek-R1 7B 蒸馏模型。首次遇到 JSON 结构错误,改用平台支持的 JSON Schema;随后发现一条引用改写,改为让模型选择不可变原文片段。其余成功维度全部复用。
累计 12 次免费本地调用后达到预设上限,系统停止进一步自动修订,保存五维报告与反思,状态为“待教师复核”。最后一次恢复使用缓存,没有新增模型调用。机器建议总分为 80/100,未经教师确认,不是标准答案。
样本只有一个段落,模型的一条解释却提及多个段落。这是已观察到的语义准确性问题,说明“引用能定位”和“理由完全正确”是两项不同的验收要求。系统已增加针对这类可观察结构矛盾的提示;它不会擅自改分,仍必须由教师核对,尚不能用于无人审核的正式评分。
性能边界
本机 10 次顺序合成任务受理样本:P50 1.92 毫秒、样本 P95 3.99 毫秒。该数值不包含 OCR、模型、网络广域延迟或并发,也不是生产 SLA。最后缓存恢复的耗时不能当作新作文完整批改耗时。
1.5 秒仍然只是受理与进度响应目标。一万五千字符的完整 OCR、检索、评分与反思性能需要在最终模型和服务器上单独测试。
尚需完成的真实验收
- 选定独立后台部署位置、HTTPS、真实账户与运维责任。
- 提供学校批准量规、授权手写样本与双教师金标准。
- 建设并审核 5000+ 易错词来源,完成多语言和方言覆盖检查。
- 根据教师数据校准置信度与评分,开展影子测试和 A/B;不得用合成评分替代教师验收。
- 完成学校数据处理、保留期、备份副本删除、LMS 与实际教学流程验收。
源码保持私有。公开演示不收集学校账号、不上传访客正文、不调用付费模型。