tk3.biz
返回博客列表

我让 dev-orchestra 在设计之前先向我提问

前言

如果只对 AI 说一句“让任务可以设置截止日期”,会做出什么样的功能?截止日期是在添加任务时设置,还是之后再设置?只要日期,还是也要时间?列表要不要按截止日期排序?

提出请求的人没有决定的地方,AI 会默默替你决定,然后写出计划。它的决定通常是合理的。但有时要等东西做出来,才发现“不是这个意思”。

dev-orchestra 从 1.1.0 开始,有一个让它在设计之前先就没决定的地方提问的功能(design.ask_questions)。这次我试了一下。最意外的是,就连我自以为“说清楚了”的请求,也找出了 4 个没决定的地方。

dev-orchestra 是一个 Claude Code / Codex / Antigravity 的插件,只要一句话的请求,就能把设计、实现、测试、多个 AI 的审查和修复跑完。上一篇把多个 AI 提出的问题做了分类,并交给修复者去改。

dev-orchestra 已在 GitHub 上开源(MIT 许可证)。如果觉得有用,欢迎给个 Star。

→ github.com/istb16/dev-orchestra

试验条件

我试了 auto 和 true 两种设置。默认是 false(不提问)。auto 只在请求含糊时提问。true 每次都一定会加一轮由架构师(负责设计的角色)读代码后提问。

dev-orchestra config set design.ask_questions auto
项目内容
dev-orchestra1.3.0,预设 standard
调用方Claude Code 2.1.312。用 claude -p 提出请求,用 claude -p --resume 传入回答
架构师Claude Fable
对象为这次试验做的小型 Python 包 todo(把任务保存到 JSON 的 Store,带 add、done、list 的 CLI,以及 2 个测试)
环境Windows 11,Python 3.14.7。配置放在与平时不同的文件夹里(DEV_ORCHESTRA_HOME)

请求有两个,一个模糊,一个明确(原文是日语,下面是译文)。

  • 模糊的请求是“让任务可以设置截止日期。”
  • 明确的请求是“给 Store 加上 rename(task_id, title)。ID 不存在时抛出 KeyError。在 CLI 里加上 todo rename <id> <title>,并更新 README 和测试。”

模糊的请求用 auto 试,明确的请求用 auto 和 true 都试了。每次都在要求我批准计划的地方停下。

模糊的请求,被问了 3 个问题

用 auto 提出“让任务可以设置截止日期。”后,它在进入设计之前停下,问了 3 个问题(用了 1 分 6 秒)。下面是从日语翻译过来的内容:

“截止日期”怎么理解会影响写出的代码,所以在设计之前先确认 3 点(已记录为 Q1–Q3)。

Q1. 怎样设置截止日期?
- A: 只在添加时指定 — `todo add buy milk --due 2026-11-01`
- B: 对已有任务用另一个命令设置 — `todo due 1 2026-11-01`
- C: A 和 B 都要(B 的命令也能修改或清除)
- 推荐:C — 这次改动之前建的任务也能加上日期,写错的日期也能改

Q2. 接受什么样的日期格式?
- A: 只要日期 `YYYY-MM-DD`
- B: 日期加可选的时间 `YYYY-MM-DD[ HH:MM]`
- C: `YYYY-MM-DD` 再加上 `today` / `tomorrow` 之类的相对写法
- 推荐:A — 最简单、没有歧义,可以用 ISO 字符串存进 `todo.json`

Q3. `todo list` 怎样显示?
- A: 在标题旁显示日期,顺序保持原样(按 id)
- B: 显示日期,并按截止日期排序(没有日期的排最后)
- C: 在 B 的基础上,给过期的任务加上 `(overdue)` 之类的标记
- 推荐:C — 截止日期就是用来看下一步做什么、什么已经拖了

开头我列出的那些犹豫,几乎原样被问了出来。因为附带了选项和推荐,回答起来不费事。我是这样回答的(用日语):

Q1 选 C。Q2 是“只要 YYYY-MM-DD 的日期。过去的日期也接受”。Q3 交给你。

回答之前,不会写出计划。就算我自己运行写计划的命令,它也在调用模型之前就停下了(用 --force 也跳不过去)。

$ dev-orchestra run architect --prompt-file request.md --output .ai/plan.md
refusing to run architect: 3 design question(s) still open (Q1, Q2, Q3) (design.ask_questions).
Ask the user; record their words with `dev-orchestra design questions answer <ID> --option <key>` or `--text "..."`, or `--delegate` when they leave it to the architect.
Never answer for the user. Exit 6.

回答之后的计划里多了一个 ## Decisions 小节,分开写明了是谁决定的(节选):

## Decisions
- **Q1 (user): both `add --due` and a `due` command** that sets, changes or clears. ...
- **Q2 (user): strict `YYYY-MM-DD` only, past dates accepted.** ...
- **Q3 (me): Option C, sort by due date with undated last and mark overdue.** ...
- **Clear syntax is an explicit `--clear` (me).** ...
- **Unknown id in `due` is an error, exit 1 (me).** ...

(user) 是我决定的,(me) 是架构师决定的。交给它的 Q3 按推荐选了 C。没有作为问题出现的细节(怎样清除截止日期、ID 不存在时的退出码等)由架构师决定。

自以为说清楚了,还是被问了 4 个问题

接下来是添加 rename 的请求。我以为规格已经全写进去了。

在 auto 下,没有收到提问。请求里写清了规格,它大概判断没有要问的。

换成 true 后,架构师读了代码,问了 4 个问题(55 秒)。在问题之前,它写了这样一段:

The code settles most of the mechanics: title joining from argv, usage docstring and README updates, `Store` already exported, KeyError test via assertRaises, and no argument validation anywhere in the CLI. Four decisions remain for you.

代码能回答的不问,只问必须决定的。下面把这 4 个问题和 auto 时架构师自己做的决定放在一起:

问题在 true 下我的回答在 auto 下架构师的决定
CLI 里 ID 不存在时向 stderr 输出 no task <id>,退出码 1(与推荐相同)相同
Store.rename 的返回值交给它 → None(与 complete() 一致)更新后的 Task(与 add() 一致)
成功时 CLI 的输出交给它 → 什么都不输出(与 done 一致)输出 renamed <id>
空标题“只有空白的标题也当作空,在 rename 里拒绝。add 保持原样”接受(与 add 一致)

被它这么一问,我才发现自己没考虑过空标题该怎么办。auto 下架构师的决定也都说得通。只是,同一个请求被决定成了两种样子。

有意思的是空标题的处理。在 auto 的运行中,设计审查的审查者指出过“应该拒绝”。编排者为了和 add 保持一致,没有采纳。也就是说,本该作为规格来决定的事,是在给审查意见做分诊时决定的。在 true 下,我一开始就能自己决定。

不过,返回值和成功时的输出,在 true 下我也交给了架构师。这两个之所以不同,不是因为提问,而是因为每次运行时架构师的判断不一样。因为我自己决定而改变的,只有空标题。

也写一下缺点

  • 要多一个来回。模糊请求在 1 分 6 秒后收到提问,true 下架构师的提问轮用了 55 秒(按 API 价格折算为 0.34 美元)。有问题时,运行会一直停到你回答为止,所以如果你不在电脑前,就会多等那么久
  • 对明确的请求,auto 往往就够了。一直用 true,可能会被问到你并不在乎的地方
  • 回答的是你自己。这次 4 个问题里我把 2 个交给了架构师;如果全部交给它,让它提问的意义就不大了

总结

  • 如果大多是模糊的请求,用 auto 就够了。就算自以为说清楚了,也还会有没决定的地方;想连这些都自己决定,就适合用 true
  • 嫌回答麻烦的话,选“交给架构师”也可以。交出去的地方,可以在计划 ## Decisions 里 (me) 的那几行确认
  • 把决定传给设计审查后,审查会有多大变化,这次的试法看不出来

下一次(预计 2026 年 11 月 23 日发布),我会试试怎样减少 token 和成本。

细节规格

下面是使用时知道了会更放心的一些细节。完整内容见文档的“Design questions”(英文)。

设置的值,以及提问的两个阶段

值行为
false(默认)不提问。由架构师决定并写出计划
auto只有当编排者(例如发起调用的 Claude Code)判断请求有歧义、是新的规格、或者有多种做法时才提问
true每次都提问。一定会有一轮由架构师读代码后提问(编排者如果有要问的,也会先问)

提问分两个阶段。第一段是编排者在需求层面的提问:“想做出什么”从代码里读不出来,所以去问用户。第二段是架构师用 run architect --questions 提问:读完代码后,只就计划所依赖的地方提问,这一次不会写计划。在 auto 下,第二段不是必需的。这次模糊的请求,只靠编排者的提问就够了。

回答的记录

问题用 design questions record 记录,并按 Q1、Q2 …… 编号。回答用 design questions answer 记录,有三种方式:选中的选项(--option)、自己的话(--text)、“交给你”(--delegate)。在第一次运行中,编排者这样记录了我的回答(--text 的回答保存的是我的日语原话,这里是译文):

dev-orchestra design questions answer Q1 --option C
dev-orchestra design questions answer Q2 --text "只要 YYYY-MM-DD 的日期。过去的日期也接受。"
dev-orchestra design questions answer Q3 --delegate

记录下来的回答会写到 decisions.md 里。问题文件是用英语记录的;看起来编排者是为了交给架构师而用英语写的(给我看的问题是日语)。

- Answer: C: Both of the above (the separate command can also change or clear it)
- Answer: (我对 Q2 的日语原话)
- Answer: left to the architect

还有问题没回答时,status 里也会显示出来。

Design questions: 3 open of 3 (Q1, Q2, Q3), round 0/2 -- ask the user; the plan run is refused until they are answered

怎样交给设计审查

决定也会作为前提交给设计审查的审查者。审查者不会因为计划遵循了这些决定而指出问题。如果审查者认为某个决定本身不对,会以 Category: decision 的问题报告出来,编排者不会自己决定采不采纳,而是交给用户。

在记录了回答的两次运行里,设计审查各跑了 2 次,审查都没有指出 Category: decision 的问题,也没有指出和决定相矛盾的问题。不过我没有和不传入决定的运行做比较,所以不知道它起了多大作用。

批准之后改回答

在批准计划之后改回答,批准就会过期。在 true 的运行中,我用 CLI 的 design approve 批准了计划,然后改了 Q3(成功时的输出)的回答。改回答需要 --revise。

$ dev-orchestra design questions answer Q3 --option B
Q3 is already answered; pass --revise to change the answer
$ dev-orchestra design questions answer Q3 --option B --revise
Q3: B: Print `renamed <id>`, following the `added <id>` pattern from `add`.
$ dev-orchestra status
...
Plan approval: stale -- a recorded decision changed after the plan was approved; revise the plan and ask again ...

在 status --json 里,stale_reason 变成 decisions-changed。计划本身没变,但前提变了,所以需要重新批准。之前的回答会保留在问题的历史里。

提问轮数的上限

架构师的提问轮数默认最多 2 轮(design.max_question_rounds)。为了不调用模型就确认这一点,我手动记录了三次“没有问题”的一轮。

$ dev-orchestra design questions record --by architect --file no-questions.md
recorded architect round 1 with no questions in .ai/workflows/capdemo/decisions.md
$ dev-orchestra design questions record --by architect --file no-questions.md
recorded architect round 2 with no questions in .ai/workflows/capdemo/decisions.md
$ dev-orchestra design questions record --by architect --file no-questions.md
refusing to record another architect round: round cap reached (2 of 2, design.max_question_rounds): present the open points together and ask how to proceed.
Pass --force for one more round only when the user asks for it. Exit 6.

跑提问轮还有一个独立于写计划次数的预算(budgets.architect_questions,默认 3)。提问不会无休止地进行下去。

没有人看着的时候

关闭了计划批准(design.require_approval: false)的运行,会被当作没有人在看。这时问题会被记录,但不会等待回答;剩下的问题交给架构师,运行继续进行。我给架构师配上 mock 提供方,在不调用模型的情况下确认了这一点。

note: design.require_approval is false, so nobody is there to answer: Q1 left to the architect (recorded in .ai/workflows/capdemo/decisions.md)

decisions.md 里会留下 left to the architect: nobody was there to answer (design.require_approval is false),之后可以回头查看哪些问题被问了却没人回答。

GitHub: istb16/dev-orchestra(如果能给个 Star,会是很大的鼓励)

本系列的文章可以在“dev-orchestra”文章列表中集中阅读。

相关文章