工作问题
在开始设计前，如何判断研究证据是否足以支持当前产品决策？
PROJECT 02 · EVALUATE
UX Research Readiness Skill
在进入原型前，先判断研究证据是否够用。这个项目把证据标准、AI 辅助流程与评测校准连接成一个仍由人最终判断的研究质量工具。
01 / PROJECT SNAPSHOTEVALUATE
研究材料很多，不等于研究证据够用。
我把问题定义为一个进入原型前的判断门槛：哪些信息可以支持决策，哪些还只是描述，哪些缺口足以阻止继续推进。
Skill 的任务不是代替设计师做决定，而是让缺口、风险和下一步变得可追溯。
三种决策
继续研究、低成本探索，或暂停并补齐阻塞缺口；输出必须说明依据与仍然存在的假设。
交付物
SKILL.md v2.2.0：审计证据、分析、决策与假设。
它把 source → research pattern → user question → need → feature hypothesis 串成可追溯链。
角色边界
AI 负责读取、索引、聚合、标记缺口、提出检查与替代路径。
设计师确认、纠正、接受或拒绝，并做最终研究与设计决策。Skill 不编造研究、不代替真实研究，也不把执行计划冒充结果。
02 / READINESS GATE证据链
把“感觉还不够”拆成可以复核的缺口。
Skill 读取研究材料，建立索引，聚合证据，标记缺口与严重程度，再给出行动与复核条件。
AI 做整理和检查，人负责确认、纠正与最终判断。
01Source
原始访谈、观察、文档与上下文。
02Evidence
参与者、原话、行为或可追踪材料。
03Analysis
编码、归纳、洞察与边界。
04Decision
问题判断、方向或下一步选择。
05Assumption
明确仍需验证的推断与风险。
可以进入原型
核心问题与判断有足够可追溯证据，剩余假设不构成当前推进的阻塞。
可推进
补齐后再推进
方向基本清楚，但存在可以在低成本阶段修复的主要或次要缺口。
MAJORMINOR
先暂停判断
关键研究主张无法回溯到证据，继续设计可能把假设误写成事实。
BLOCKER
只阻塞当前决策
缺少固定 UX 成品不等于方向被阻塞。门槛只判断当前决策，不把“继续探索”误写成“必须暂停整个方向”。
三个反事实测试
低成本、可逆的假设原型仍然学不到东西吗？
继续探索会带来不可接受的不可逆风险吗？
团队会不会把原型当成结论、开发或发布依据？
只有这些问题指向当前决策风险时，才升级为 blocker。
03 / TRACEABLE CASEAnna.ai
先找到断掉的链，再决定要不要继续做。
在 Anna.ai 案例中，材料量并不能掩盖关键研究主张的缺口。
这个案例帮助我把“看起来完整”和“能够支持判断”区分开。
Anna.ai 的 15 页 PRD 有访谈问题图、用户画像、流程与高保真页面，但 README.md:142–159 声称做过访谈与亲和图，却没有样本、原始记录或可复现编码。
Evidence index 缺少参与者、日期、原话、编码与反例，无法支撑核心需求与功能主张。
问题被记录为 EV-001 / RC-001，先补参与者 → 原话 / 行为 → 主题 → 需求索引，再降低结论强度。
04 / EVALUATION盲测与回归
先做可复现的基准，再让人判断哪一版更有用。
评测先固定材料、答案与评分，把描述性 benchmark、逻辑回归与人工盲评拆开。
最终比较 V2.2.0 与 V2.1.1：3 个标准案例 + 1 个 Anna.ai 案例，使用同一模型与推理设置、隔离环境、匿名随机输出卡和 5 项评分表。
9 次基准运行 · 三类材料
成熟研究、缺失证据、冲突证据各 3 次。
比较 Evidence Recall、Boundary Accuracy、Gap Precision、Decision Control、Stability + Cost。
结果是描述性 benchmark，不代表统计显著性。
数字信号
Generic Prompt 平均 95.79 / 7.72KB；V1 89.23 / 26.98KB；V2.1.1 88.46 / 28.50KB。
Gap Precision 96 → 77 → 72，alignment 100 → 78 → 83。
复杂度增加不自动带来更好判断。
96 / 100。整体信号更强，但只代表这轮描述性比较。
88 / 100。Anna.ai 真实案例选择了旧版，构成重要反例。
| 比较 | 案例结果 | 解释边界 |
|---|---|---|
| 版本胜出 | V2.2.0 胜 2，V2.1.1 胜 1，平局 1；总分 96 / 100 vs 88 / 100 | Anna.ai 反例说明边界，不是所有案例都应选择新版本 |
| 评分点 | 4 个案例 × 2 版本 × 5 项 = 40 个评分点；1 名评审 | 不能推断总体用户、长期使用或业务效果 |
| 回归 | 3 个冻结案例 × 3 次回归，逻辑 9 / 9 通过；输出长度较 v2.1.1 −56.8% | 一次网络重连造成 12,629 秒异常耗时，单独记录，不宣称性能改善 |
05 / RESULT & BOUNDARY校准后的结论
V2.2.0 更适合多数标准案例，但反例比平均分更重要。
样本 1 是公共指南，A 21 / B 25，最终判定平局。
样本 2 企业展陈系统与样本 3 学习专注提醒选择 V2.2.0。
Anna.ai / 样本 4 选择 V2.1.1，因为“B 和我的想法更接近”。
这证明的是一次受控的版本选择，不是新版本全面胜出。
保留人工最终判断
AI 可以整理、标记与提醒，不能替设计师决定研究是否成立。
增加证据链收敛卡
下一轮把“已有证据 / 推断 / 待验证”并列呈现，减少证据链与验证状态的误读。
明确评测范围
1 名评审、4 个案例、40 个评分点，只能给出描述性信号。
限制与反思
当前只有 1 名评审、4 个案例与 40 个评分点。
一次网络重连导致 12,629 秒异常耗时，也不能被写成性能提升或稳定性结论。
成熟的研究保护规则与 Case B 回归仍不完整。
下一步验证
扩展案例类型与评审，继续做隔离运行与盲评。
检查新收敛卡片是否减少证据链误读、过度阻塞和版本选择误用。
06 / CONTINUE继续看