tk3.biz
Volver al blog

Hice que dev-orchestra me entrevistara antes del diseño

Introducción

Si solo pides «que las tareas puedan tener fecha límite», dev-orchestra hace preguntas antes del diseño. En la entrega 16, con design.ask_questions: auto, llegaron tres preguntas juntas y bastaba con responder eligiendo entre las opciones. Es cómodo, pero las ideas que no están entre las opciones, o la vaguedad de una respuesta, pasan tal cual al diseño.

La 1.4.0 añadió grill, que convierte esas preguntas en una entrevista. Según el CHANGELOG, hace las preguntas de una en una e indaga cuando una respuesta es vaga, contradice una anterior o añade una condición. Lo probé con la misma petición que en la entrega 16.

Adelanto el resultado: las preguntas llegaron de una en una, ocho en total. Cuando una respuesta añadía una condición, sí llegó una pregunta de seguimiento. En cambio, cuando respondí de forma vaga a propósito, no indagó: interpretó la respuesta y siguió adelante, y nunca preguntó por la «intención» ni por «cómo se juzga el éxito», que recoge la documentación. Solo lo probé una vez, así que todo esto es «lo que pasó esta vez». Los demás cambios los resumí en la presentación de la versión v1.4.0 (en inglés), publicada el mismo día.

dev-orchestra es de código abierto en GitHub (licencia MIT). Si te parece útil, me alegraría mucho que le dieras una estrella.

→ github.com/istb16/dev-orchestra

Las preguntas llegaron de una en una, ocho en total

La configuración es una sola línea. Esta vez la cambié en una carpeta de configuración distinta de la habitual.

dev-orchestra config set design.ask_questions grill

Con el mismo pequeño paquete de Python todo de la entrega 16, le pasé la misma petición a Claude Code y la primera pregunta llegó a los 27 segundos.

質問は1つずつ行います。まず最初の質問です。

**Q1. 期限はどの粒度で指定しますか?**

- (a) 日付のみ(例: `2026-12-01`)
- (b) 日付と時刻(例: `2026-12-01 18:00`)

私のおすすめは **(a) 日付のみ**です。この CLI は小さく、時刻まで扱うとタイムゾーンや入力形式の考慮が増えます。後から (b) へ拡張することもできます。

ご回答をいただいたら、次の質問(指定方法、一覧での表示と並び順、期限切れの扱い、既存データの互換性)に進みます。「お任せ」の場合はその旨をお知らせください。私の推奨で進めます。

(Dice que las preguntas llegarán de una en una. Q1 pregunta con qué granularidad se indica la fecha límite, (a) solo la fecha o (b) fecha y hora, y recomienda (a) porque la CLI es pequeña y la hora haría entrar en juego las zonas horarias y los formatos de entrada. Después preguntará cómo se indica la fecha, cómo la muestra y ordena la lista, cómo se tratan las tareas vencidas y la compatibilidad con los datos existentes. Si lo dejo en manos de la IA, seguirá su recomendación.)

Con auto, en la entrega 16, las tres preguntas venían en un solo mensaje; con grill, cada mensaje trae una pregunta. Siguen llevando opciones y una recomendación, así que cada pregunta es igual de fácil de responder. A cambio, hay más idas y vueltas. Esta vez me hizo estas ocho preguntas.

PreguntaQuién preguntóTemaMi respuesta
Q1OrquestadorGranularidad de la fecha límite (fecha, o también hora)Respondí de forma vaga y, en la siguiente respuesta, la dejé en solo la fecha
Q2OrquestadorCómo se pone la fecha límiteadd --due y due <id>
Q3OrquestadorCómo se muestra en la lista y en qué ordenPor fecha límite solo con list --sort due
Q4OrquestadorSi se puede quitar una fecha límite ya puestaSe quita con due <id> none
Q5ArquitectoFormato de las líneas de la listaEntre paréntesis. Quería las vencidas en rojo
Q8OrquestadorSeguimiento de Q5: qué poner en rojoLa línea entera, solo en una terminal
Q6ArquitectoSi se aceptan fechas pasadasLo dejé en sus manos
Q7ArquitectoDónde van las completadas con --sort duePrimero las pendientes

Q1 a Q4 son preguntas del orquestador (el Claude Code que hace la llamada). Al responder Q4 se ejecutó la ronda en la que el arquitecto lee el código y pregunta, y siguieron Q5 a Q7, una a una. Q8 es una pregunta de seguimiento a raíz de mi respuesta a Q5. Los números siguen el orden en que se registraron, así que no coinciden con el orden en que se preguntaron.

Si respondía de forma vaga, interpretaba y seguía adelante

Lo que quería probar era la indagación. A Q1 respondí de forma vaga a propósito.

うーん、だいたい日付でいいけど、場合によっては時間もほしいかも。

(Más o menos: «Mmm, en general con la fecha basta, pero en algunos casos quizá también quiera la hora».)

Lo que volvió no fue una pregunta de seguimiento.

了解です。「基本は日付のみ、必要なら時刻も付けられる」という方針として記録します。入力は `2026-12-01` と `2026-12-01 18:00` のどちらも受け付け、時刻は任意とします。

**Q2. 期限はどのように指定しますか?**

(Registró el criterio como «en principio solo la fecha, con hora opcional si hace falta», aceptando tanto 2026-12-01 como 2026-12-01 18:00, y pasó a Q2: ¿cómo se indica la fecha límite?)

No me preguntó qué casos eran esos «a veces»: interpretó que la hora se aceptaría como opcional y pasó a la siguiente pregunta. Cuando, en mi respuesta a Q2, añadí «al final no hace falta la hora; que sea solo la fecha», lo tomó como «Q1 queda en solo la fecha» y retiró lo que había decidido sobre la hora. La respuesta a Q1 que quedó registrada es la última que di, «solo la fecha».

Mi corrección fue yo mismo enmendando mi respuesta a la pregunta anterior, así que no equivale a probar la «respuesta que contradice una anterior» de la que habla la documentación. Lo que me llamó la atención fue que la primera respuesta vaga estuvo a punto de quedar registrada tal cual como criterio. De hecho, la pregunta Q2 ya daba por hecho que habría hora: decía que, si se omitía la hora, la idea era tratarla como «válida hasta el final de ese día (23:59)». Esta vez lo retiró porque me corregí yo mismo, pero si no lo hubiera hecho, habría seguido adelante con esa premisa.

Al añadir una condición, llegó una pregunta de seguimiento

A Q5 del arquitecto (el formato de las líneas de la lista) respondí eligiendo una opción y añadiendo una condición.

a で。ただ、期限切れの行はターミナルで赤くしたい。

(Más o menos: «La a. Pero quiero que las líneas vencidas salgan en rojo en la terminal».)

Esta vez llegó enseguida una pregunta de seguimiento.

Q5 は「(a) 括弧付きの接尾辞、期限切れの行は赤で表示」として記録しました。

**Q8. 期限切れの行を赤くする条件と範囲は?**(Q5 の追加質問)

- (a) 期限切れの行全体を赤にする。ただし標準出力がターミナルのときだけで、環境変数 `NO_COLOR` が設定されている場合は赤にしない。
- (b) `OVERDUE` の語だけを赤にする。条件は (a) と同じ。
- (c) 期限切れの行全体を、常に赤にする。

(Q5 quedó registrada como «(a) sufijo entre paréntesis, líneas vencidas en rojo». Q8, seguimiento de Q5, pregunta cuándo y cuánto colorear: (a) toda la línea vencida, solo cuando la salida estándar es una terminal y no si está definida NO_COLOR; (b) solo la palabra OVERDUE, con las mismas condiciones; (c) toda la línea vencida, siempre.)

Detrás de un simple «quiero que salgan en rojo» se esconde un problema: si la salida se pasa por una tubería, ¿se mezclarán los caracteres de control del color? La pregunta de seguimiento separó ese punto en opciones y me lo devolvió en forma de pregunta. En el registro, además, el título de Q8 empieza por Follow-up to Q5:, tal como indica la documentación.

Q8 [answered] Follow-up to Q5: Red overdue lines (asked by the orchestrator)
  When and how much should an overdue line be colored red?

Me preguntó por la especificación, no por el objetivo

Según la documentación (Design questions), con grill el orquestador debe preguntar, sobre lo que la petición no responde, hasta cinco preguntas por orden de importancia y desde estos puntos de vista: la intención, cómo se juzgará el éxito, qué queda fuera del alcance, las alternativas descartadas y por qué, lo fácil que es dar marcha atrás, cómo puede fallar, y si no bastaría con un cambio más pequeño o con no hacer nada.

Esta vez, Q1 a Q4 fueron todas preguntas de especificación: granularidad, cómo ponerla, cómo mostrarla y cómo quitarla. No me preguntó «por qué quieres fechas límite» ni «qué tendría que lograrse para considerarlo un éxito». Quizá juzgó que el tema era pequeño y que el objetivo se deducía de la petición, pero solo lo probé una vez, así que no he podido confirmarlo. Si quieres que la entrevista llegue hasta el objetivo, por ahora creo que lo más seguro es escribir el objetivo en la propia petición.

Otra cosa: según la documentación, cada pregunta se registra antes de hacerla, pero esta vez Q1 a Q4 se registraron juntas después de que respondiera Q4. En el registro final estaban las ocho preguntas con sus respuestas, así que el resultado no cambió.

El plan deja constancia de quién decidió qué

Al responder la última pregunta, Q7, el arquitecto escribió el plan y, tras incorporar los 12 hallazgos de la revisión del diseño, me pidió que lo aprobara. En la sección ## Decisions del plan aparecen por separado lo que decidí yo y lo que decidió el arquitecto (extracto).

- **Q5 Line format** (user): parenthesized suffix, `(due D)` or `(due D, OVERDUE)`.
- **Q6 Past dates when setting** (me): accepted silently, with exit 0 and no warning. The task shows OVERDUE on the next `list`, which is the feedback. Rejecting would stop users recording tasks that are already late, and would make writes depend on the clock.
- **Q7 Done tasks under `--sort due`** (user): open tasks first, then done; each group by due with no-due last; ties by id.
- **Q8 Red** (user): whole overdue line, only when stdout is a TTY and NO_COLOR is unset.

En Q6, donde respondí «lo dejo en tus manos», quedó lo que decidió el arquitecto, con sus razones. Esto es igual que en la entrega 16. Esta vez me detuve cuando me pidió la aprobación y no pasé a la implementación.

Desde la petición hasta que me pidió la aprobación pasaron unos 8 minutos, contando las esperas. De ellos, la última ida y vuelta, que incluye el diseño y la revisión del diseño, duró 4 minutos y 42 segundos. El coste del arquitecto y de la revisión del diseño que registró dev-orchestra fue de $1.69, y la sesión de Claude Code informó de $0.92 (el acumulado de las 9 idas y vueltas): en total, unos $2.61. Ambos son importes calculados según las tarifas de la API.

Cuándo usarlo

Con grill, cada respuesta cuesta una ida y vuelta. Esta vez fueron ocho preguntas, más trabajo que las tres de auto en la entrega 16. A cambio, cuando añadí una condición, separó en opciones el problema que había detrás de esa condición (el color y las tuberías) y me lo preguntó.

Si esperas que indague en las respuestas vagas, por lo que vi en una sola prueba, todavía no se puede contar con ello. Si te das cuenta de que tu respuesta fue vaga, corrígela en la siguiente. Si el objetivo o los criterios de éxito importan en el cambio, escríbelos en la petición. Supliendo estas dos cosas, creo que sirve como herramienta para reducir los huecos al concretar la especificación.

Resumen

  • Con grill, las preguntas previas al diseño llegan de una en una, un mensaje por pregunta; esta vez fueron ocho
  • Una respuesta que añadía una condición recibió una pregunta de seguimiento Follow-up to Q5:. Una respuesta vaga, esta vez, no se indagó: se interpretó y se siguió adelante
  • No preguntó desde puntos de vista como la «intención» o «cómo se juzga el éxito», que recoge la documentación, solo por la especificación. Es más seguro escribir el objetivo en la petición

Condiciones de la prueba

ElementoDetalle
dev-orchestra1.4.0, preset standard, design.ask_questions: grill
Quien hace la llamadaClaude Code 2.1.327. La petición se hizo con claude -p y las respuestas se pasaron con claude -p --resume
ArquitectoClaude Fable
TemaUn pequeño paquete de Python, todo, creado para la prueba (un Store que guarda las tareas en JSON, una CLI con add, done y list, y 2 pruebas)
EntornoWindows 11, Python 3.14.10. La configuración estaba en una carpeta aparte (DEV_ORCHESTRA_HOME), no en la habitual

Lo probé una sola vez y con una sola petición. No probé cómo se comporta en ejecuciones sin nadie mirando (como en CI).

Detalles de la especificación

Esta sección recoge las reglas que figuran en la documentación y en el CHANGELOG. En esta ejecución solo comprobé que pregunta de una en una y el título Follow-up to Q<n>:; no probé los límites de cantidad ni el comportamiento en ejecuciones sin nadie mirando.

Valores de la configuración

design.ask_questions admite cuatro valores: false (por defecto), auto, true y grill. grill es igual que true en que siempre añade la ronda de preguntas; solo cambia la forma de preguntar, que pasa a ser una entrevista. El número de rondas de preguntas del arquitecto y su límite (design.max_question_rounds, 2 por defecto) tampoco cambian. En la línea Design questions: de status aparece grill. El mode de status --json también es grill. Desde la 1.4.0, en las líneas que muestran el valor de la configuración, true aparece como true y no como on, pero en el mode de --json, true sigue siendo on como antes.

Reglas de la entrevista

Las preguntas propias del orquestador son como máximo cinco, por orden de importancia. Las preguntas de seguimiento son como máximo dos por pregunta. Tras diez preguntas, contando las de seguimiento, pregunta al usuario si quiere continuar. Las preguntas de seguimiento deben llevar un título que empiece por Follow-up to Q<n>: y se registran como preguntas normales del orquestador. La CLI no cuenta estas cantidades ni comprueba la relación entre una pregunta de seguimiento y la original; quien las respeta es el orquestador. Si el usuario dice «ya basta», el resto se deja en manos del arquitecto (--delegate).

En ejecuciones sin nadie mirando

Con design.require_approval: false, o con design.require_approval: auto cuando está definida CI o DEV_ORCHESTRA_UNATTENDED, no hay nadie que responda. En ese caso grill se comporta igual que true: las preguntas solo se registran juntas y no hay preguntas de seguimiento. Las preguntas que quedan abiertas se registran como dejadas en manos del arquitecto por la ejecución que escribe el plan.

Hay más detalles en Design questions de la documentación.

GitHub: istb16/dev-orchestra (una estrella me animaría mucho)

Todas las entregas de esta serie están en la lista de entregas de «dev-orchestra».

Artículos relacionados