Skip to content

feat(jev-sim): 新增会话内决策模拟插件(Choice/Noul/Score,轮转去偏差 + NONE 出口 + 温度缩放校准) - #94

Open
forrestneo wants to merge 1 commit into
zai-org:mainfrom
forrestneo:community/jev-sim
Open

forrestneo wants to merge 1 commit into
zai-org:mainfrom
forrestneo:community/jev-sim

Conversation

@forrestneo

Copy link
Copy Markdown

Plugin type / 插件类型

  • 普通插件(非 UI) —— 不提供 MCP Apps 交互页面

涉及插件名称:jev-sim

What / 改动内容

新增社区插件 jev-sim v0.2.0(external_plugins/jev-sim/),并在根目录 marketplace.json 注册。

jev-sim 用当前 ZCode 会话内的大模型模拟 Jev 风格的类型化决策:Choice(选项概率分布)/ Noul(命题真假概率 0-1)/ Score(量规等级分布 + 期望分值)。解决的问题是:agent 需要"从候选中选一个 / 判真假 / 按量规打分"时,通常只有自由文本回答,缺少结构化、带概率、会承认不确定的决策输出。与调云端决策模型 API 的方案相比,jev-sim 零基础设施、零 API key、数据不出本机。

机制(会话模型 API 无 logprobs 的替代协议):字母作答 + K=3 选项轮转去位置偏差(AnyJev cyclic shift 思路)+ Noul 对称问句去框架偏差 + 投票频率平滑归一 + 温度缩放校准(自带 calibrate.py,输出 ECE/准确率并拟合温度)。v0.2 输出 status 三态(answer / none / clarify),含 NONE 显式出口——判官多数认为"无选项成立"时不硬选。

用户可见行为与测试方式

安装后新建任务,在 composer 选中 jev-sim 技能,输入判断题(背景 + 问题 + 选项),得到 JSON:各选项概率、status、置信度、弃答/补背景建议。README_CN.md 有完整示例。

本地验证:

  • python scripts/validate.py 通过(44 plugins OK)
  • jev-sim zip 单独构建通过(build_dist.build_zip,7 个文件)
  • 聚合器九路径冒烟测试:answer / 多数 NONE / 全 NONE / 平票 clarify / Score NONE 逃逸 / Noul 灰区 / 概率归一化(选项和=1)
  • 真模型评测:12 道易题 + 8 道陷阱题 × 3 轮转,60/60 票正确,零分裂,未观察到位置偏差(README 有完整记录)

版本与市场注册

plugin.json 与 marketplace.json 均为 0.2.0;name / version / description / description_i18n(en + zh-CN)两处一致;category=developer-tools。

依赖、网络请求、权限和副作用

  • 网络访问:无。全部采样发生在当前 ZCode 会话内,不请求任何外部 API,不发送数据。
  • 模型依赖:会话内置大模型(通过 Agent 工具派出判官子代理);无需额外账号或密钥。
  • 命令执行:python scripts/aggregate.py、scripts/calibrate.py(仅 Python 标准库)。
  • 文件写入:常规使用只把结果输出到对话;仅当显式运行校准时写插件 scripts/ 下 calibration.json。
  • 无 hooks、无 MCP server、无后台进程、不收集凭据或用户数据。

第三方材料来源与许可证

  • Choice/Noul/Score 原语分类参考 Jev(System One,TypeSafe AI)的公开概念;本插件与其无关联,未使用其代码。
  • 选项轮转去偏差思路参考 AnyJev 论文(Nokia Applied Research,Apache-2.0);未复制代码。
  • 全部代码原创,MIT License。

Self-check / 自查清单

  • 插件名唯一且 kebab-case,目录 external_plugins/jev-sim/
  • category 已填写(developer-tools),与维护归属分开
  • 插件类型与涉及名称已在上方声明
  • plugin.json 与 marketplace.json 版本一致(0.2.0)
  • README.md(EN)与 README_CN.md 已提供且语义一致
  • description_i18n 包含 en 与 zh-CN
  • 不含密钥、私有数据或机器专属路径
  • 模型、API、网络依赖已在 README 与本 PR 写明
  • python scripts/validate.py 通过;jev-sim zip 构建通过。说明:build_dist.py 全量运行在纯源码环境会因 blender 等 UI 插件缺少 pnpm build 产物而中断,属仓库既有状态,与本次改动无关,CI 侧完整构建应可复现。

@panda920

Copy link
Copy Markdown
Collaborator

✅ Internal validation passed. A ZCode maintainer will review the change next; after acceptance, release checks run separately and this PR is closed automatically.

@panda920

Copy link
Copy Markdown
Collaborator

✅ Internal validation passed. A ZCode maintainer will review the change next; after acceptance, release checks run separately and this PR is closed automatically.

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants