From aadfb4c0807e65c0e91bc85543fb6f797677955c Mon Sep 17 00:00:00 2001 From: Codex CLI Date: Thu, 7 May 2026 03:10:40 +0000 Subject: [PATCH] review: auto-review do Captain em 2026-05-07 --- docs/captain/reviews/2026-05-07.md | 224 +++++++++++++++++++++++++++++ 1 file changed, 224 insertions(+) create mode 100644 docs/captain/reviews/2026-05-07.md diff --git a/docs/captain/reviews/2026-05-07.md b/docs/captain/reviews/2026-05-07.md new file mode 100644 index 000000000..7b86e1810 --- /dev/null +++ b/docs/captain/reviews/2026-05-07.md @@ -0,0 +1,224 @@ +# Captain Review — 2026-05-07 + +**Período:** últimas 72h (2026-05-04 a 2026-05-07) +**Analisado:** 4 assistants (Qnn01, PrimeAL, PrimeVL, Express AL) +**Conversas retornadas pela query:** 40 +**Conversas problemáticas (bugs de prompt):** 4 bugs confirmados / 2 padrões distintos +**Conversas legítimas:** 36 + +--- + +## 📊 Conversas analisadas + +| Conv | Hotel | Contato | Problema | Legítima? | +|---|---|---|---|---| +| 6734 | Express AL | Tiago | IA disse promo R$79,90 expirou, recepc. confirmou que está ativa | ❌ Bug | +| 6538 | Express AL | André personal | IA disse promo R$79,90 expirou, recepc. contradisse diretamente | ❌ Bug | +| 6646 | Express AL | Guardião2 | IA disse promo R$79,90 expirou (sem confirmação humana) | ❌ Bug | +| 6647 | Express AL | Henrique | IA cotou preços qui-dom numa quarta-feira (Wed) + inventou R$65 para Standard 3h | ❌ Bug | +| 6728 | Express AL | Lud Garciiaa | Reclamação operacional (TV/AC) — human assumiu | ✅ Legítima | +| 6729 | PrimeAL | Isadora Fernanda | Cliente pediu reenvio do Pix, IA disse "Um momento" e nada saiu | 🔶 Borderline | +| 6726 | PrimeAL | Pedro Lucas | Fluxo completo com sucesso, reserva+Pix gerados automaticamente | ✅ OK | +| 6733 | PrimeAL | Pedro Lucas | Localização não fornecida, conversa encerrou por inatividade | ✅ Legítima (human poderia ter respondido) | +| 6731 | PrimeAL | Gustavão | Informação sobre "1001 Noites não-Prime em Águas Lindas" — unidade inexistente | ✅ Legítima (pergunta sem resposta na rede) | +| 6721 | PrimeAL | Gustavão | Mesma pergunta sobre 1001 Noites não-Prime AL | ✅ Legítima | +| 6725 | Express AL | Leo Araújo | Human assumiu imediatamente — sem tempo pra IA ajudar | ✅ Legítima | +| 6724 | Express AL | Alice | Fim de conversa anterior, IA ofereceu opções | ✅ OK | +| 6698 | Express AL | Alice | Preços corretos (seg-qua R$100/R$120), hidro → Prime correto | ✅ OK | +| 6692 | PrimeAL | Guilherme - Prospect | Pergunta sobre jantar/NF — human assumiu corretamente | ✅ Legítima | +| 6688 | PrimeAL | Guilherme - Prospect | Nota fiscal + walk-in — human assumiu | ✅ Legítima | +| 6679 | Express AL | Andreia | Cliente do IG, disse "esquece" antes da IA responder — legítima | ✅ Legítima | +| 6676 | Express AL | 🍀 | IA: Express não tem hidro → Prime. Correto | ✅ OK | +| 6675 | Express AL | Anaju | IA: Express não tem hidro → Prime. Human completou | ✅ OK | +| 6673 | Express AL | Henrique | Mensagem vazia, human assumiu | ✅ Legítima | +| 6655 | PrimeAL | SCI3F27 | Nota fiscal de estadia anterior — human assumiu | ✅ Legítima | +| 6650 | PrimeAL | Lucas Fernandes | IA coletou nome+CPF, foi pra "Um momento", Pix não saiu, human enviou link manual | 🔶 Borderline | +| 6648 | PrimeVL | Rodrigo | Teste (Rodrigo) | ✅ Teste | +| 6647 | Express AL | Henrique | **Preços errados** — ver Padrão 2 | ❌ Bug | +| 6632 | PrimeAL | Johnathan | Grupo de 31 pessoas — human corretamente assumiu | ✅ Legítima | +| 6620 | PrimeVL | ❤️ | Diária cotada, human assumiu | ✅ OK | +| 6616 | PrimeAL | Henrique Willock | Pix não gerado automaticamente após CPF, human enviou manual | 🔶 Borderline | +| 6615 | PrimeAL | Aline | Pedido de diarista (RH) | ✅ Legítima | +| 6614 | PrimeAL | Bruna Sthefany | Candidata a emprego (RH) | ✅ Legítima | +| 6557 | PrimeAL | Paula Gois | Preços corretos, human completou detalhes de hidro | ✅ OK | +| 6547 | PrimeAL | Rodrigo | Teste | ✅ Teste | +| 6543 | PrimeAL | Rodrigo | Teste | ✅ Teste | +| 6542 | PrimeAL | Wesley | Handoff imediato (~20h, automação Bianca) — possível janela programada | ✅ Legítima (automação) | +| 6541 | PrimeAL | Lucione | Handoff imediato (~19h56, automação Bianca) | ✅ Legítima (automação) | +| 6538 | Express AL | André personal | **Promo expirada** — ver Padrão 1 | ❌ Bug | +| 6530 | Express AL | Klaudiana | Busca de reserva por nome — human correto | ✅ Legítima | +| 6524 | Express AL | Lauriana | Problema com nota fiscal — human | ✅ Legítima | +| 6522 | Express AL | Cristiany | IA disse "não tenho endereço certinho" — human enviou Maps | 🔶 Borderline | +| 6501 | PrimeAL | Hugo | Promo confirmada válida pelo human — IA não disse nada errado | ✅ OK | +| 6500 | Express AL | Kevin | Preços corretos de pernoite | ✅ OK | +| 6478 | PrimeVL | Thais | Reclamação operacional (chuveiro frio) | ✅ Legítima | +| 6458 | PrimeAL | Bahia 2.1 | Nota fiscal — human | ✅ Legítima | +| 6449 | PrimeVL | Nícolas Vicente | IA coletou dados, "Um momento", Pix não gerado, human orientou a pagar na recepção | 🔶 Borderline | + +--- + +## 🔍 Padrões identificados + +### Padrão 1: Promo R$79,90 informada como expirada quando ainda está ativa +**Ocorrências:** 3 conversas (6538, 6646, 6734 — todas Express AL, inbox 5) +**Qual regra violou:** Informação incorreta ao cliente (violação implícita da confiabilidade da IA) +**Comportamento errado:** Captain responde "Essa promoção de R$ 79,90 era válida até 31/03/2026, então não está mais ativa" / "A promoção que tinha venceu em 31/03/2026." +**Deveria ser:** Informar que a promo está ativa (nas condições que o Rodrigo definir abaixo) +**Escopo do fix:** (c) só Express AL (`jasmine_express__daniela_reservas.md`) — as 3 ocorrências são todas no inbox 5. O PrimeAL também parece ter uma promo (6501), mas a IA não cometeu o erro lá. + +**Evidências diretas das receptionistas:** +- Conv 6734 (Tiago): Captain disse expirou → Human (MIRIAN): "PRA HOJE AINDA ESTÁ VALENDO" +- Conv 6538 (André): Captain disse expirou → Human (GEOVANIA): "SIM ESTA VALENDO" + "ESSA PROMOÇÂO ELA E NUMA SUITE STANDARD SEM O CAFE DA MANHA E ATE AS 08:00" +- Conv 6646 (Guardião2): Captain disse expirou → sem confirmação humana (cliente saiu) + +**Condições da promo (baseado na fala da GEOVANIA em 6538):** +- Suíte: Standard +- Sem café da manhã +- Saída até 08:00 +- Valor: R$ 79,90 + +**💡 Fix sugerido** — adicionar em `jasmine_express__daniela_reservas.md` após o header `## 💰 TABELA DE PREÇOS`: + +```markdown +> **🎯 PROMOÇÃO ATIVA — Pernoite Standard sem café:** R$ 79,90 (saída até 08:00h). +> Válida atualmente. Se cliente perguntar sobre "essa promoção" ou "promoção de R$79,90", confirme que está ativa. +> Na hora de gerar o Pix, use `total_amount: 79.90`, `suite: "Standard"`. +``` + +- [ ] Aprovar +- [ ] Rejeitar (motivo: _______) + +--- + +### Padrão 2: Preços errados no Express AL — dia de semana trocado + valor inventado +**Ocorrências:** 1 conversa (6647, Express AL, inbox 5, quarta-feira 16:41) +**Qual regra violou:** Regra #3 (IA calcula valor correto da tabela) + Regra implícita de não inventar valores +**Comportamento errado (conv 6647, Wed May 6 às 16:41):** +``` +Standard: 2h R$ 50 · 3h R$ 65 · 4h R$ 80 +Master: 2h R$ 60 · 3h R$ 75 · 5h R$ 85 +Pernoite com café hoje: Standard R$ 120 · Master R$ 140 +``` +**Problema identificado:** +- Preços cotados são da tabela **qui-dom**, mas é **quarta-feira** (deveria ser seg-qua) +- "Standard 3h R$ 65" não existe em nenhuma tabela (seg-qua = R$50, qui-dom = R$60) +- "Master 5h R$ 85" não existe — não há opção de 5h, somente 2h/3h/4h/pernoite/diária + +**Correto para seg-qua (comparar com conv 6646 às 16:32 do mesmo dia, mesma unidade):** +``` +Standard: 2h R$ 40 · 3h R$ 50 · 4h R$ 60 · pernoite R$ 100 +Master: 2h R$ 50 · 3h R$ 60 · 4h R$ 70 · pernoite R$ 120 +``` + +**Deveria ser:** Usar tabela seg-qua (valores acima) — o Captain deve verificar o dia atual antes de citar preços. + +**Escopo do fix:** (c) só Express AL — o erro está em `jasmine_express__daniela_reservas.md`. A instrução "pergunte/confirme antes se é seg-qua ou qui-dom" já existe (linha 33), mas parece não ser suficiente. A IA pode estar consultando o dia errado ou o contexto de data não está sendo passado corretamente. + +**💡 Fix sugerido** — reforçar instrução na seção `## 💰 TABELA DE PREÇOS` adicionando ao início: + +```markdown +> ⚠️ **CRÍTICO:** Antes de citar QUALQUER preço, identifique o dia da semana atual pelo contexto do sistema. +> - Segunda, terça ou quarta → **use tabela Seg-Qua** +> - Quinta, sexta, sábado ou domingo → **use tabela Qui-Dom** +> Se a data não estiver clara no contexto, PERGUNTE: "Você quer reservar pra qual dia? (me diz a data que eu calculo o valor certinho)" +> NUNCA invente um valor que não esteja numa das duas tabelas abaixo. +``` + +- [ ] Aprovar +- [ ] Rejeitar (motivo: _______) + +--- + +## ❓ Perguntas pra o Rodrigo responder + +### Pergunta 1: Promo R$79,90 — confirma condições e validade? +**Conversas:** 6538, 6646, 6734 +**Contexto:** A GEOVANIA confirmou que a promo está ativa no Express AL: "Standard sem café até 08:00 por R$79,90". Mas o Captain tem a data de expiração 31/03/2026 em seu contexto (provavelmente via `faq_lookup`). +**O que preciso saber:** A promo ainda está ativa? Quais são as condições exatas? Tem data de encerramento nova? + +**💡 Minha sugestão:** +- Promo ativa: Standard sem café, saída até 08:00, R$79,90 +- Sem data de encerramento definida (indeterminada) +- Atualizar o prompt do Express com nota sobre a promo (já no fix do Padrão 1 acima) + +**Sua escolha:** +- [ ] Usar a sugestão acima (promo ativa, sem data de encerramento) +- [ ] Usar outra (escreva abaixo) + +**Sua resposta alternativa:** _[preencha só se rejeitou]_ + +--- + +### Pergunta 2: Problema recorrente de Pix não gerado automaticamente +**Conversas:** 6616, 6650, 6449 (borderline — human interveio cedo), comparado com 6726 (funcionou) +**Contexto:** Em ~3 conversas dos últimos dias, após o cliente fornecer nome+CPF, o Captain diz "Um momento — vou verificar" mas o Pix não é gerado automaticamente. O human precisa enviar a chave Pix manualmente depois. Em 6726, o Pix foi gerado com sucesso. +**O que preciso saber:** Isso é um problema técnico (tool `generate_pix` falhando intermitentemente) ou a IA está indo pro "Um momento" quando não deveria? Devo investigar mais, ou você já sabe a causa? + +**💡 Minha sugestão:** +Parece que o human está intervindo muito rápido (dentro de 2-3 minutos), cancelando o processamento da tool. Pode ser útil adicionar instrução ao prompt para o Captain tentar `generate_pix` diretamente sem ir pro "Um momento" quando todos os dados estão presentes. Mas se for falha na tool (erro técnico), é backend — não prompt. + +**Sua escolha:** +- [ ] É falha técnica, verificar logs do sidekiq +- [ ] Adicionar instrução no prompt para tentar direto (sem "Um momento") +- [ ] Outro (escreva abaixo) + +**Sua resposta alternativa:** _[preencha só se rejeitou]_ + +--- + +## 📝 Diffs completos (antes/depois) + +### Arquivo: `db/seed_prompts/_modelos/scenarios/jasmine_express__daniela_reservas.md` + +#### Fix Padrão 1 — Promo R$79,90 (dependente de aprovação do Rodrigo) + +**ANTES** (linha 166 do arquivo atual): +``` +## 💰 TABELA DE PREÇOS (use direto, não chame faq pra isso) + +**Segunda a Quarta:** +``` + +**DEPOIS:** +``` +## 💰 TABELA DE PREÇOS (use direto, não chame faq pra isso) + +> **🎯 PROMOÇÃO ATIVA — Pernoite Standard sem café:** R$ 79,90 (saída até 08:00h). +> Válida atualmente (sem data de encerramento). Se cliente perguntar sobre "essa promoção" ou "promoção de R$79,90", confirme que está ativa. +> Na hora de gerar o Pix, use `total_amount: 79.90`, `suite: "Standard"`. + +**Segunda a Quarta:** +``` + +#### Fix Padrão 2 — Reforço de verificação do dia da semana + +**ANTES** (logo antes da tabela "Segunda a Quarta"): +``` +## 💰 TABELA DE PREÇOS (use direto, não chame faq pra isso) +``` + +**DEPOIS** (adicionando logo abaixo do header): +``` +## 💰 TABELA DE PREÇOS (use direto, não chame faq pra isso) + +> ⚠️ **CRÍTICO:** Antes de citar QUALQUER preço, identifique o dia da semana pelo contexto do sistema. +> Segunda/terça/quarta → **tabela Seg-Qua** | Quinta/sexta/sábado/domingo → **tabela Qui-Dom** +> Se a data não estiver no contexto, PERGUNTE antes de cotar. +> NUNCA invente um valor que não esteja numa das duas tabelas abaixo. +``` + +--- + +## ✅ Checklist de aprovação + +Após revisar, responda com comentário `@aplicar` e os itens abaixo: + +- [ ] Padrão 1 (Promo R$79,90) — Aprovado/Rejeitado +- [ ] Padrão 2 (Preços errados) — Aprovado/Rejeitado +- [ ] Pergunta 1 — Respondida (condições da promo) +- [ ] Pergunta 2 — Respondida (problema de Pix não gerado) + +--- + +*Review gerado automaticamente pelo Captain Reviewer em 2026-05-07.* +*Branch: `review/2026-05-07` | Arquivo: `docs/captain/reviews/2026-05-07.md`*