Introducción
Si a una IA solo le pides «que las tareas puedan tener fecha límite», ¿qué función sale? ¿La fecha se pone al añadir la tarea o después? ¿Solo la fecha, o también la hora? ¿La lista se ordena por fecha límite?
Lo que quien pide no ha decidido, la IA lo decide en silencio y escribe el plan. Suele decidirlo de forma razonable. Pero a veces uno no se da cuenta de que «no era eso» hasta que ya está hecho.
Desde la 1.1.0, dev-orchestra tiene una función que le hace preguntar por los puntos sin decidir antes del diseño (design.ask_questions). Esta vez la probé. Lo que más me sorprendió fue que incluso una petición que yo creía haber hecho con claridad tenía cuatro puntos sin decidir.
dev-orchestra es un plugin para Claude Code / Codex / Antigravity que, a partir de una petición de una sola frase, se encarga del diseño, la implementación, las pruebas, las revisiones de varias IA y las correcciones. La vez anterior clasifiqué los hallazgos de varias IA e hice que el corrector los arreglara.
dev-orchestra es de código abierto en GitHub (licencia MIT). Si te parece útil, me alegraría mucho que le dieras una estrella.
Condiciones de la prueba
Probé dos valores, auto y true. El valor por defecto es false (no pregunta). auto pregunta solo cuando la petición es vaga. true añade siempre una ronda en la que el arquitecto (el rol de diseño) lee el código y hace preguntas.
dev-orchestra config set design.ask_questions auto
| Elemento | Detalle |
|---|---|
| dev-orchestra | 1.3.0, preset standard |
| Quién llama | Claude Code 2.1.312. Hice la petición con claude -p y pasé mis respuestas con claude -p --resume |
| Arquitecto | Claude Fable |
| Objeto | Un pequeño paquete de Python, todo, que hice para esto (un Store que guarda tareas en JSON, una CLI con add, done y list, y 2 pruebas) |
| Entorno | Windows 11, Python 3.14.7. La configuración estaba en una carpeta aparte (DEV_ORCHESTRA_HOME), no en la habitual |
Hubo dos peticiones, una vaga y otra clara (las escribí en japonés; estas son traducciones).
- La petición vaga fue «Que las tareas puedan tener fecha límite».
- La petición clara fue «Añade rename(task_id, title) a Store. Si el ID no existe, lanza KeyError. Añade
todo rename <id> <title>a la CLI y actualiza el README y las pruebas».
La petición vaga la probé con auto, y la clara con auto y con true. Todas las ejecuciones las detuve en el punto en que me pedían aprobar el plan.
Una petición vaga recibió tres preguntas
Al pedir «Que las tareas puedan tener fecha límite» con auto, se detuvo antes del diseño e hizo tres preguntas (al cabo de 1 minuto y 6 segundos). Aquí están, traducidas del japonés:
Cómo funciona la «fecha límite» cambia el código según cómo se interprete, así que déjame confirmar 3 puntos antes del diseño (registrados como Q1–Q3).
Q1. ¿Cómo se pone la fecha límite?
- A: Solo al añadir — `todo add buy milk --due 2026-11-01`
- B: Con otro comando sobre una tarea existente — `todo due 1 2026-11-01`
- C: A y B (el comando de B también puede cambiarla o quitarla)
- Recomendado: C — las tareas creadas antes de este cambio también pueden tener fecha, y una fecha equivocada se puede corregir
Q2. ¿Qué formato de fecha se acepta?
- A: Solo la fecha, `YYYY-MM-DD`
- B: La fecha con una hora opcional, `YYYY-MM-DD[ HH:MM]`
- C: `YYYY-MM-DD` más palabras relativas como `today` / `tomorrow`
- Recomendado: A — lo más simple y sin ambigüedad, y se puede guardar en `todo.json` como cadena ISO
Q3. ¿Cómo la muestra `todo list`?
- A: Muestra la fecha junto al título y mantiene el orden actual (por id)
- B: Muestra la fecha y ordena por fecha límite (las que no tienen, al final)
- C: Como B, y marca las tareas vencidas con algo como `(overdue)`
- Recomendado: C — la fecha límite sirve para ver qué toca después y qué va con retraso
Las dudas que enumeré al principio salieron casi tal cual como preguntas. Como traen opciones y una recomendación, contestar cuesta poco. Respondí así (en japonés):
Q1: C. Q2: «Solo fechas YYYY-MM-DD. También se aceptan fechas pasadas». Q3: lo dejo en tus manos.
Hasta que se responden, no se escribe ningún plan. Incluso cuando ejecuté yo mismo el comando que escribe el plan, se detuvo antes de llamar a ningún modelo (y tampoco se puede saltar con --force).
$ dev-orchestra run architect --prompt-file request.md --output .ai/plan.md
refusing to run architect: 3 design question(s) still open (Q1, Q2, Q3) (design.ask_questions).
Ask the user; record their words with `dev-orchestra design questions answer <ID> --option <key>` or `--text "..."`, or `--delegate` when they leave it to the architect.
Never answer for the user. Exit 6.
Después de responder, el plan tenía una sección ## Decisions que distinguía quién había decidido cada cosa (extracto):
## Decisions
- **Q1 (user): both `add --due` and a `due` command** that sets, changes or clears. ...
- **Q2 (user): strict `YYYY-MM-DD` only, past dates accepted.** ...
- **Q3 (me): Option C, sort by due date with undated last and mark overdue.** ...
- **Clear syntax is an explicit `--clear` (me).** ...
- **Unknown id in `due` is an error, exit 1 (me).** ...
(user) es lo que decidí yo, y (me) lo que decidió el arquitecto. Q3, que dejé en sus manos, quedó en C, como recomendaba. Los detalles que no salieron como preguntas (cómo quitar una fecha límite, el código de salida para un ID que no existe, etc.) los decidió el arquitecto.
Aunque creía haber pedido con claridad, me hicieron cuatro preguntas
Después vino la petición de añadir rename. Creía haber escrito toda la especificación.
Con auto no llegó ninguna pregunta. La petición detalla la especificación, así que debió de juzgar que no había nada que preguntar.
Con true, el arquitecto leyó el código y luego hizo cuatro preguntas (55 segundos). Antes de las preguntas escribió:
The code settles most of the mechanics: title joining from argv, usage docstring and README updates, `Store` already exported, KeyError test via assertRaises, and no argument validation anywhere in the CLI. Four decisions remain for you.
No pregunta lo que el código ya responde, solo lo que hay que decidir. Estas son las cuatro preguntas junto a lo que el arquitecto decidió por su cuenta con auto:
| Pregunta | Lo que respondí con true | Lo que decidió el arquitecto con auto |
|---|---|---|
| Un ID que no existe en la CLI | no task <id> a stderr, código de salida 1 (lo recomendado) | Lo mismo |
Valor de retorno de Store.rename | Lo dejé en sus manos → None (como complete()) | El Task actualizado (como add()) |
| Salida de la CLI si todo va bien | Lo dejé en sus manos → nada (como done) | Imprime renamed <id> |
| Un título vacío | «Un título solo con espacios cuenta como vacío y rename lo rechaza. add se queda como está» | Se acepta (como add) |
Ahora que lo mencionaba, no había pensado qué hacer con un título vacío. Las decisiones del arquitecto con auto también eran todas razonables. Aun así, la misma petición se decidió de dos maneras distintas.
Lo interesante fue el título vacío. En la ejecución con auto, un revisor del diseño había señalado que «debería rechazarse». El orquestador no aceptó ese hallazgo, para mantenerlo igual que add. Es decir, una decisión de especificación se estaba tomando al clasificar los hallazgos de la revisión. Con true, pude tomarla yo desde el principio.
Eso sí, el valor de retorno y la salida al terminar bien también los dejé en manos del arquitecto con true. Esos dos salieron distintos no por las preguntas, sino porque el arquitecto decidió de otra forma en cada ejecución. Lo único que cambió porque lo decidí yo fue el título vacío.
Las desventajas
- Cuesta un viaje de ida y vuelta. Las preguntas de la petición vaga llegaron al cabo de 1 minuto y 6 segundos, y la ronda de preguntas del arquitecto con
truetardó 55 segundos (0,34 $ al precio de la API). Cuando llegan preguntas, la ejecución se detiene hasta que respondes, así que si no estás delante, espera ese tiempo de más - Para una petición clara,
autosuele bastar. Usar siempretruepuede hacer que te pregunten por cosas que te dan igual - Quien responde eres tú. Esta vez dejé dos de las cuatro en manos del arquitecto; si se lo dejas todo, que te pregunte tiene poco sentido
Resumen
- Si la mayoría de tus peticiones son vagas,
autobasta. Incluso una petición que crees clara deja puntos sin decidir; si quieres decidir también esos, te convienetrue - Si responder te da pereza, «dejarlo en manos del arquitecto» también vale. Esos puntos se pueden revisar en las líneas
(me)de la sección## Decisionsdel plan - Cuánto cambia la revisión del diseño al pasarle lo decidido es algo que esta prueba no permitió saber
La próxima vez (publicación prevista el 23 de noviembre de 2026) probaré formas de reducir los tokens y el coste.
Detalles de funcionamiento
A partir de aquí van los detalles que conviene conocer al usarla. Todo está en la documentación, «Design questions» (en inglés).
Los valores del ajuste y las dos etapas de preguntas
| Valor | Comportamiento |
|---|---|
false (por defecto) | No pregunta. El arquitecto decide y escribe el plan |
auto | Pregunta solo cuando el orquestador (por ejemplo, el Claude Code que hace la llamada) considera que la petición es ambigua, es una especificación nueva o admite varios enfoques |
true | Pregunta siempre. Siempre hay una ronda en la que el arquitecto lee el código y pregunta (el orquestador también pregunta antes si tiene algo que preguntar) |
Las preguntas llegan en dos etapas. La primera son las preguntas del orquestador sobre los requisitos: «qué quieres construir» no se deduce del código, así que se lo pregunta al usuario. La segunda son las preguntas del arquitecto con run architect --questions: tras leer el código, pregunta solo por los puntos de los que depende el plan, y en esa ejecución no escribe ningún plan. Con auto, la segunda etapa no es obligatoria. En la petición vaga de esta vez, bastó con las preguntas del orquestador.
Cómo se registran las respuestas
Las preguntas se registran con design questions record y se numeran Q1, Q2, etc. Las respuestas se registran con design questions answer de una de tres formas: la opción elegida (--option), tus propias palabras (--text) o «lo dejo en tus manos» (--delegate). En la primera ejecución, el orquestador registró mis respuestas así (la respuesta de --text se guardó con mis palabras en japonés; aquí va traducida):
dev-orchestra design questions answer Q1 --option C
dev-orchestra design questions answer Q2 --text "Solo fechas YYYY-MM-DD. También se aceptan fechas pasadas."
dev-orchestra design questions answer Q3 --delegate
Las respuestas registradas se escriben en decisions.md. El archivo de preguntas se registró en inglés; parece que el orquestador lo escribió en inglés para el arquitecto (las preguntas que me mostró a mí estaban en japonés).
- Answer: C: Both of the above (the separate command can also change or clear it)
- Answer: (mis palabras en japonés para Q2, tal cual)
- Answer: left to the architect
Mientras quedan preguntas abiertas, status también lo indica.
Design questions: 3 open of 3 (Q1, Q2, Q3), round 0/2 -- ask the user; the plan run is refused until they are answered
Cómo llegan las decisiones a la revisión del diseño
Las decisiones también se pasan a los revisores del diseño como premisas. Los revisores no señalan el plan por seguirlas. Si un revisor cree que una decisión en sí está mal, lo informa como un hallazgo con Category: decision, y el orquestador no decide por su cuenta si lo acepta o no, sino que se lo plantea al usuario.
En las dos ejecuciones en las que registré respuestas, la revisión del diseño se ejecutó dos veces en cada una y no salió ningún hallazgo Category: decision. Tampoco salió ninguno que contradijera las decisiones. Pero no lo comparé con una ejecución sin pasar las decisiones, así que no sé cuánto ayudó.
Cambiar una respuesta después de aprobar
Si cambias una respuesta después de aprobar el plan, la aprobación queda obsoleta. En la ejecución con true, aprobé el plan con design approve de la CLI y luego cambié la respuesta a Q3 (la salida al terminar bien). Para cambiar una respuesta hace falta --revise.
$ dev-orchestra design questions answer Q3 --option B
Q3 is already answered; pass --revise to change the answer
$ dev-orchestra design questions answer Q3 --option B --revise
Q3: B: Print `renamed <id>`, following the `added <id>` pattern from `add`.
$ dev-orchestra status
...
Plan approval: stale -- a recorded decision changed after the plan was approved; revise the plan and ask again ...
En status --json, stale_reason pasa a ser decisions-changed. El plan no cambió, pero su premisa sí, así que hay que volver a aprobarlo. La respuesta anterior se queda en el historial de la pregunta.
Un límite de rondas de preguntas
Las rondas de preguntas del arquitecto tienen un límite de 2 por defecto (design.max_question_rounds). Para comprobarlo sin llamar a ningún modelo, registré a mano tres veces una ronda «sin preguntas».
$ dev-orchestra design questions record --by architect --file no-questions.md
recorded architect round 1 with no questions in .ai/workflows/capdemo/decisions.md
$ dev-orchestra design questions record --by architect --file no-questions.md
recorded architect round 2 with no questions in .ai/workflows/capdemo/decisions.md
$ dev-orchestra design questions record --by architect --file no-questions.md
refusing to record another architect round: round cap reached (2 of 2, design.max_question_rounds): present the open points together and ask how to proceed.
Pass --force for one more round only when the user asks for it. Exit 6.
Ejecutar rondas de preguntas tiene además su propio presupuesto (budgets.architect_questions, 3 por defecto), aparte de las ejecuciones que escriben el plan. Las preguntas no pueden seguir para siempre.
Cuando nadie está mirando
Una ejecución con la aprobación del plan desactivada (design.require_approval: false) da por hecho que nadie está mirando. Entonces las preguntas se registran, pero no se espera la respuesta; las que quedan se dejan en manos del arquitecto y la ejecución sigue. Lo comprobé sin llamar a ningún modelo, poniendo al arquitecto el proveedor mock.
note: design.require_approval is false, so nobody is there to answer: Q1 left to the architect (recorded in .ai/workflows/capdemo/decisions.md)
decisions.md guarda left to the architect: nobody was there to answer (design.require_approval is false), así que más tarde puedes revisar los puntos que se preguntaron y nadie respondió.
GitHub: istb16/dev-orchestra (una estrella me animaría mucho)
Todas las entregas de esta serie están en la lista de entregas de «dev-orchestra».
Artículos relacionados
Hice que dev-orchestra me entrevistara antes del diseño
Probé design.ask_questions: grill, nuevo en dev-orchestra 1.4.0, con la misma petición que la entrega 16: "que las tareas puedan tener fecha límite". Hizo una pregunta cada vez, ocho en total. Una respuesta que añadía una condición recibió una pregunta de seguimiento, pero una respuesta vaga se interpretó sin indagar, y no se preguntó por la «intención» ni por «cómo se juzga el éxito», que recoge la documentación.
Clasifiqué con dev-orchestra los hallazgos de varias IA y mandé corregirlos
Clasifiqué con review triage de dev-orchestra los 14 hallazgos de cuatro revisores en 3 aceptados, 9 duplicados y 2 rechazados, hice que el corrector trabajara a partir de fix-brief y llegué hasta repetir las pruebas y la revisión. También comprobé cómo se agrupan los duplicados, adónde van las notas de la clasificación y la ronda final sobre todo el cambio de la 1.3.0.
Usé solo la revisión de dev-orchestra para enseñar mis cambios locales a varias IA
Cómo usar solo la revisión de dev-orchestra, sin sus etapas de diseño e implementación. Con tres comandos, review snapshot, review run y review show, hice que Claude y Codex revisaran una rama local. También explico cómo elegir --base, las opciones que más uso y cómo lo uso para revisar artículos del blog.