前言
如果只对 AI 说一句“让任务可以设置截止日期”,会做出什么样的功能?截止日期是在添加任务时设置,还是之后再设置?只要日期,还是也要时间?列表要不要按截止日期排序?
提出请求的人没有决定的地方,AI 会默默替你决定,然后写出计划。它的决定通常是合理的。但有时要等东西做出来,才发现“不是这个意思”。
dev-orchestra 从 1.1.0 开始,有一个让它在设计之前先就没决定的地方提问的功能(design.ask_questions)。这次我试了一下。最意外的是,就连我自以为“说清楚了”的请求,也找出了 4 个没决定的地方。
dev-orchestra 是一个 Claude Code / Codex / Antigravity 的插件,只要一句话的请求,就能把设计、实现、测试、多个 AI 的审查和修复跑完。上一篇把多个 AI 提出的问题做了分类,并交给修复者去改。
dev-orchestra 已在 GitHub 上开源(MIT 许可证)。如果觉得有用,欢迎给个 Star。
试验条件
我试了 auto 和 true 两种设置。默认是 false(不提问)。auto 只在请求含糊时提问。true 每次都一定会加一轮由架构师(负责设计的角色)读代码后提问。
dev-orchestra config set design.ask_questions auto
| 项目 | 内容 |
|---|---|
| dev-orchestra | 1.3.0,预设 standard |
| 调用方 | Claude Code 2.1.312。用 claude -p 提出请求,用 claude -p --resume 传入回答 |
| 架构师 | Claude Fable |
| 对象 | 为这次试验做的小型 Python 包 todo(把任务保存到 JSON 的 Store,带 add、done、list 的 CLI,以及 2 个测试) |
| 环境 | Windows 11,Python 3.14.7。配置放在与平时不同的文件夹里(DEV_ORCHESTRA_HOME) |
请求有两个,一个模糊,一个明确(原文是日语,下面是译文)。
- 模糊的请求是“让任务可以设置截止日期。”
- 明确的请求是“给 Store 加上 rename(task_id, title)。ID 不存在时抛出 KeyError。在 CLI 里加上
todo rename <id> <title>,并更新 README 和测试。”
模糊的请求用 auto 试,明确的请求用 auto 和 true 都试了。每次都在要求我批准计划的地方停下。
模糊的请求,被问了 3 个问题
用 auto 提出“让任务可以设置截止日期。”后,它在进入设计之前停下,问了 3 个问题(用了 1 分 6 秒)。下面是从日语翻译过来的内容:
“截止日期”怎么理解会影响写出的代码,所以在设计之前先确认 3 点(已记录为 Q1–Q3)。
Q1. 怎样设置截止日期?
- A: 只在添加时指定 — `todo add buy milk --due 2026-11-01`
- B: 对已有任务用另一个命令设置 — `todo due 1 2026-11-01`
- C: A 和 B 都要(B 的命令也能修改或清除)
- 推荐:C — 这次改动之前建的任务也能加上日期,写错的日期也能改
Q2. 接受什么样的日期格式?
- A: 只要日期 `YYYY-MM-DD`
- B: 日期加可选的时间 `YYYY-MM-DD[ HH:MM]`
- C: `YYYY-MM-DD` 再加上 `today` / `tomorrow` 之类的相对写法
- 推荐:A — 最简单、没有歧义,可以用 ISO 字符串存进 `todo.json`
Q3. `todo list` 怎样显示?
- A: 在标题旁显示日期,顺序保持原样(按 id)
- B: 显示日期,并按截止日期排序(没有日期的排最后)
- C: 在 B 的基础上,给过期的任务加上 `(overdue)` 之类的标记
- 推荐:C — 截止日期就是用来看下一步做什么、什么已经拖了
开头我列出的那些犹豫,几乎原样被问了出来。因为附带了选项和推荐,回答起来不费事。我是这样回答的(用日语):
Q1 选 C。Q2 是“只要 YYYY-MM-DD 的日期。过去的日期也接受”。Q3 交给你。
回答之前,不会写出计划。就算我自己运行写计划的命令,它也在调用模型之前就停下了(用 --force 也跳不过去)。
$ dev-orchestra run architect --prompt-file request.md --output .ai/plan.md
refusing to run architect: 3 design question(s) still open (Q1, Q2, Q3) (design.ask_questions).
Ask the user; record their words with `dev-orchestra design questions answer <ID> --option <key>` or `--text "..."`, or `--delegate` when they leave it to the architect.
Never answer for the user. Exit 6.
回答之后的计划里多了一个 ## Decisions 小节,分开写明了是谁决定的(节选):
## Decisions
- **Q1 (user): both `add --due` and a `due` command** that sets, changes or clears. ...
- **Q2 (user): strict `YYYY-MM-DD` only, past dates accepted.** ...
- **Q3 (me): Option C, sort by due date with undated last and mark overdue.** ...
- **Clear syntax is an explicit `--clear` (me).** ...
- **Unknown id in `due` is an error, exit 1 (me).** ...
(user) 是我决定的,(me) 是架构师决定的。交给它的 Q3 按推荐选了 C。没有作为问题出现的细节(怎样清除截止日期、ID 不存在时的退出码等)由架构师决定。
自以为说清楚了,还是被问了 4 个问题
接下来是添加 rename 的请求。我以为规格已经全写进去了。
在 auto 下,没有收到提问。请求里写清了规格,它大概判断没有要问的。
换成 true 后,架构师读了代码,问了 4 个问题(55 秒)。在问题之前,它写了这样一段:
The code settles most of the mechanics: title joining from argv, usage docstring and README updates, `Store` already exported, KeyError test via assertRaises, and no argument validation anywhere in the CLI. Four decisions remain for you.
代码能回答的不问,只问必须决定的。下面把这 4 个问题和 auto 时架构师自己做的决定放在一起:
| 问题 | 在 true 下我的回答 | 在 auto 下架构师的决定 |
|---|---|---|
| CLI 里 ID 不存在时 | 向 stderr 输出 no task <id>,退出码 1(与推荐相同) | 相同 |
Store.rename 的返回值 | 交给它 → None(与 complete() 一致) | 更新后的 Task(与 add() 一致) |
| 成功时 CLI 的输出 | 交给它 → 什么都不输出(与 done 一致) | 输出 renamed <id> |
| 空标题 | “只有空白的标题也当作空,在 rename 里拒绝。add 保持原样” | 接受(与 add 一致) |
被它这么一问,我才发现自己没考虑过空标题该怎么办。auto 下架构师的决定也都说得通。只是,同一个请求被决定成了两种样子。
有意思的是空标题的处理。在 auto 的运行中,设计审查的审查者指出过“应该拒绝”。编排者为了和 add 保持一致,没有采纳。也就是说,本该作为规格来决定的事,是在给审查意见做分诊时决定的。在 true 下,我一开始就能自己决定。
不过,返回值和成功时的输出,在 true 下我也交给了架构师。这两个之所以不同,不是因为提问,而是因为每次运行时架构师的判断不一样。因为我自己决定而改变的,只有空标题。
也写一下缺点
- 要多一个来回。模糊请求在 1 分 6 秒后收到提问,
true下架构师的提问轮用了 55 秒(按 API 价格折算为 0.34 美元)。有问题时,运行会一直停到你回答为止,所以如果你不在电脑前,就会多等那么久 - 对明确的请求,
auto往往就够了。一直用true,可能会被问到你并不在乎的地方 - 回答的是你自己。这次 4 个问题里我把 2 个交给了架构师;如果全部交给它,让它提问的意义就不大了
总结
- 如果大多是模糊的请求,用
auto就够了。就算自以为说清楚了,也还会有没决定的地方;想连这些都自己决定,就适合用true - 嫌回答麻烦的话,选“交给架构师”也可以。交出去的地方,可以在计划
## Decisions里(me)的那几行确认 - 把决定传给设计审查后,审查会有多大变化,这次的试法看不出来
下一次(预计 2026 年 11 月 23 日发布),我会试试怎样减少 token 和成本。
细节规格
下面是使用时知道了会更放心的一些细节。完整内容见文档的“Design questions”(英文)。
设置的值,以及提问的两个阶段
| 值 | 行为 |
|---|---|
false(默认) | 不提问。由架构师决定并写出计划 |
auto | 只有当编排者(例如发起调用的 Claude Code)判断请求有歧义、是新的规格、或者有多种做法时才提问 |
true | 每次都提问。一定会有一轮由架构师读代码后提问(编排者如果有要问的,也会先问) |
提问分两个阶段。第一段是编排者在需求层面的提问:“想做出什么”从代码里读不出来,所以去问用户。第二段是架构师用 run architect --questions 提问:读完代码后,只就计划所依赖的地方提问,这一次不会写计划。在 auto 下,第二段不是必需的。这次模糊的请求,只靠编排者的提问就够了。
回答的记录
问题用 design questions record 记录,并按 Q1、Q2 …… 编号。回答用 design questions answer 记录,有三种方式:选中的选项(--option)、自己的话(--text)、“交给你”(--delegate)。在第一次运行中,编排者这样记录了我的回答(--text 的回答保存的是我的日语原话,这里是译文):
dev-orchestra design questions answer Q1 --option C
dev-orchestra design questions answer Q2 --text "只要 YYYY-MM-DD 的日期。过去的日期也接受。"
dev-orchestra design questions answer Q3 --delegate
记录下来的回答会写到 decisions.md 里。问题文件是用英语记录的;看起来编排者是为了交给架构师而用英语写的(给我看的问题是日语)。
- Answer: C: Both of the above (the separate command can also change or clear it)
- Answer: (我对 Q2 的日语原话)
- Answer: left to the architect
还有问题没回答时,status 里也会显示出来。
Design questions: 3 open of 3 (Q1, Q2, Q3), round 0/2 -- ask the user; the plan run is refused until they are answered
怎样交给设计审查
决定也会作为前提交给设计审查的审查者。审查者不会因为计划遵循了这些决定而指出问题。如果审查者认为某个决定本身不对,会以 Category: decision 的问题报告出来,编排者不会自己决定采不采纳,而是交给用户。
在记录了回答的两次运行里,设计审查各跑了 2 次,审查都没有指出 Category: decision 的问题,也没有指出和决定相矛盾的问题。不过我没有和不传入决定的运行做比较,所以不知道它起了多大作用。
批准之后改回答
在批准计划之后改回答,批准就会过期。在 true 的运行中,我用 CLI 的 design approve 批准了计划,然后改了 Q3(成功时的输出)的回答。改回答需要 --revise。
$ dev-orchestra design questions answer Q3 --option B
Q3 is already answered; pass --revise to change the answer
$ dev-orchestra design questions answer Q3 --option B --revise
Q3: B: Print `renamed <id>`, following the `added <id>` pattern from `add`.
$ dev-orchestra status
...
Plan approval: stale -- a recorded decision changed after the plan was approved; revise the plan and ask again ...
在 status --json 里,stale_reason 变成 decisions-changed。计划本身没变,但前提变了,所以需要重新批准。之前的回答会保留在问题的历史里。
提问轮数的上限
架构师的提问轮数默认最多 2 轮(design.max_question_rounds)。为了不调用模型就确认这一点,我手动记录了三次“没有问题”的一轮。
$ dev-orchestra design questions record --by architect --file no-questions.md
recorded architect round 1 with no questions in .ai/workflows/capdemo/decisions.md
$ dev-orchestra design questions record --by architect --file no-questions.md
recorded architect round 2 with no questions in .ai/workflows/capdemo/decisions.md
$ dev-orchestra design questions record --by architect --file no-questions.md
refusing to record another architect round: round cap reached (2 of 2, design.max_question_rounds): present the open points together and ask how to proceed.
Pass --force for one more round only when the user asks for it. Exit 6.
跑提问轮还有一个独立于写计划次数的预算(budgets.architect_questions,默认 3)。提问不会无休止地进行下去。
没有人看着的时候
关闭了计划批准(design.require_approval: false)的运行,会被当作没有人在看。这时问题会被记录,但不会等待回答;剩下的问题交给架构师,运行继续进行。我给架构师配上 mock 提供方,在不调用模型的情况下确认了这一点。
note: design.require_approval is false, so nobody is there to answer: Q1 left to the architect (recorded in .ai/workflows/capdemo/decisions.md)
decisions.md 里会留下 left to the architect: nobody was there to answer (design.require_approval is false),之后可以回头查看哪些问题被问了却没人回答。
GitHub: istb16/dev-orchestra(如果能给个 Star,会是很大的鼓励)
本系列的文章可以在“dev-orchestra”文章列表中集中阅读。
相关文章
我让 dev-orchestra 在设计之前先采访我
我用和第 16 篇相同的请求“让任务可以设置期限”,试了 dev-orchestra 1.4.0 新增的 design.ask_questions: grill。它一次只问一个问题,一共问了 8 个。追加了条件的回答收到了追问,但模糊的回答没有被追问,而是被直接解读后继续;文档里列出的“意图”“如何判断成功”也没有被问到。
我用 dev-orchestra 对多个 AI 的审查意见做了分拣,并让它去修复
我用 dev-orchestra 的 review triage,把 4 个审查者提出的 14 条意见分成采纳 3 条、重复 9 条、拒绝 2 条,用 fix-brief 让修复角色去改,一直走到重新测试和重新审查。文中还确认了重复意见的归并方式、分拣备注的去向,以及 1.3.0 最后对整个改动的那一轮审查。
我只用了 dev-orchestra 的审查功能,把本地的改动交给多个 AI 看
介绍不用 dev-orchestra 的设计和实现环节、只用它的审查功能的方法。我用 review snapshot、review run、review show 三条命令,让 Claude 和 Codex 审查了本地的分支。文中还会写 --base 怎么选、常用的选项,以及用它来审查博客文章的例子。