review: auto-review do Captain em 2026-05-07
Some checks failed
Some checks failed
This commit is contained in:
Codex CLI
parent
abf9f4057e
commit
aadfb4c080
224
docs/captain/reviews/2026-05-07.md
Normal file
224
docs/captain/reviews/2026-05-07.md
Normal file
@ -0,0 +1,224 @@
|
||||
# Captain Review — 2026-05-07
|
||||
|
||||
**Período:** últimas 72h (2026-05-04 a 2026-05-07)
|
||||
**Analisado:** 4 assistants (Qnn01, PrimeAL, PrimeVL, Express AL)
|
||||
**Conversas retornadas pela query:** 40
|
||||
**Conversas problemáticas (bugs de prompt):** 4 bugs confirmados / 2 padrões distintos
|
||||
**Conversas legítimas:** 36
|
||||
|
||||
---
|
||||
|
||||
## 📊 Conversas analisadas
|
||||
|
||||
| Conv | Hotel | Contato | Problema | Legítima? |
|
||||
|---|---|---|---|---|
|
||||
| 6734 | Express AL | Tiago | IA disse promo R$79,90 expirou, recepc. confirmou que está ativa | ❌ Bug |
|
||||
| 6538 | Express AL | André personal | IA disse promo R$79,90 expirou, recepc. contradisse diretamente | ❌ Bug |
|
||||
| 6646 | Express AL | Guardião2 | IA disse promo R$79,90 expirou (sem confirmação humana) | ❌ Bug |
|
||||
| 6647 | Express AL | Henrique | IA cotou preços qui-dom numa quarta-feira (Wed) + inventou R$65 para Standard 3h | ❌ Bug |
|
||||
| 6728 | Express AL | Lud Garciiaa | Reclamação operacional (TV/AC) — human assumiu | ✅ Legítima |
|
||||
| 6729 | PrimeAL | Isadora Fernanda | Cliente pediu reenvio do Pix, IA disse "Um momento" e nada saiu | 🔶 Borderline |
|
||||
| 6726 | PrimeAL | Pedro Lucas | Fluxo completo com sucesso, reserva+Pix gerados automaticamente | ✅ OK |
|
||||
| 6733 | PrimeAL | Pedro Lucas | Localização não fornecida, conversa encerrou por inatividade | ✅ Legítima (human poderia ter respondido) |
|
||||
| 6731 | PrimeAL | Gustavão | Informação sobre "1001 Noites não-Prime em Águas Lindas" — unidade inexistente | ✅ Legítima (pergunta sem resposta na rede) |
|
||||
| 6721 | PrimeAL | Gustavão | Mesma pergunta sobre 1001 Noites não-Prime AL | ✅ Legítima |
|
||||
| 6725 | Express AL | Leo Araújo | Human assumiu imediatamente — sem tempo pra IA ajudar | ✅ Legítima |
|
||||
| 6724 | Express AL | Alice | Fim de conversa anterior, IA ofereceu opções | ✅ OK |
|
||||
| 6698 | Express AL | Alice | Preços corretos (seg-qua R$100/R$120), hidro → Prime correto | ✅ OK |
|
||||
| 6692 | PrimeAL | Guilherme - Prospect | Pergunta sobre jantar/NF — human assumiu corretamente | ✅ Legítima |
|
||||
| 6688 | PrimeAL | Guilherme - Prospect | Nota fiscal + walk-in — human assumiu | ✅ Legítima |
|
||||
| 6679 | Express AL | Andreia | Cliente do IG, disse "esquece" antes da IA responder — legítima | ✅ Legítima |
|
||||
| 6676 | Express AL | 🍀 | IA: Express não tem hidro → Prime. Correto | ✅ OK |
|
||||
| 6675 | Express AL | Anaju | IA: Express não tem hidro → Prime. Human completou | ✅ OK |
|
||||
| 6673 | Express AL | Henrique | Mensagem vazia, human assumiu | ✅ Legítima |
|
||||
| 6655 | PrimeAL | SCI3F27 | Nota fiscal de estadia anterior — human assumiu | ✅ Legítima |
|
||||
| 6650 | PrimeAL | Lucas Fernandes | IA coletou nome+CPF, foi pra "Um momento", Pix não saiu, human enviou link manual | 🔶 Borderline |
|
||||
| 6648 | PrimeVL | Rodrigo | Teste (Rodrigo) | ✅ Teste |
|
||||
| 6647 | Express AL | Henrique | **Preços errados** — ver Padrão 2 | ❌ Bug |
|
||||
| 6632 | PrimeAL | Johnathan | Grupo de 31 pessoas — human corretamente assumiu | ✅ Legítima |
|
||||
| 6620 | PrimeVL | ❤️ | Diária cotada, human assumiu | ✅ OK |
|
||||
| 6616 | PrimeAL | Henrique Willock | Pix não gerado automaticamente após CPF, human enviou manual | 🔶 Borderline |
|
||||
| 6615 | PrimeAL | Aline | Pedido de diarista (RH) | ✅ Legítima |
|
||||
| 6614 | PrimeAL | Bruna Sthefany | Candidata a emprego (RH) | ✅ Legítima |
|
||||
| 6557 | PrimeAL | Paula Gois | Preços corretos, human completou detalhes de hidro | ✅ OK |
|
||||
| 6547 | PrimeAL | Rodrigo | Teste | ✅ Teste |
|
||||
| 6543 | PrimeAL | Rodrigo | Teste | ✅ Teste |
|
||||
| 6542 | PrimeAL | Wesley | Handoff imediato (~20h, automação Bianca) — possível janela programada | ✅ Legítima (automação) |
|
||||
| 6541 | PrimeAL | Lucione | Handoff imediato (~19h56, automação Bianca) | ✅ Legítima (automação) |
|
||||
| 6538 | Express AL | André personal | **Promo expirada** — ver Padrão 1 | ❌ Bug |
|
||||
| 6530 | Express AL | Klaudiana | Busca de reserva por nome — human correto | ✅ Legítima |
|
||||
| 6524 | Express AL | Lauriana | Problema com nota fiscal — human | ✅ Legítima |
|
||||
| 6522 | Express AL | Cristiany | IA disse "não tenho endereço certinho" — human enviou Maps | 🔶 Borderline |
|
||||
| 6501 | PrimeAL | Hugo | Promo confirmada válida pelo human — IA não disse nada errado | ✅ OK |
|
||||
| 6500 | Express AL | Kevin | Preços corretos de pernoite | ✅ OK |
|
||||
| 6478 | PrimeVL | Thais | Reclamação operacional (chuveiro frio) | ✅ Legítima |
|
||||
| 6458 | PrimeAL | Bahia 2.1 | Nota fiscal — human | ✅ Legítima |
|
||||
| 6449 | PrimeVL | Nícolas Vicente | IA coletou dados, "Um momento", Pix não gerado, human orientou a pagar na recepção | 🔶 Borderline |
|
||||
|
||||
---
|
||||
|
||||
## 🔍 Padrões identificados
|
||||
|
||||
### Padrão 1: Promo R$79,90 informada como expirada quando ainda está ativa
|
||||
**Ocorrências:** 3 conversas (6538, 6646, 6734 — todas Express AL, inbox 5)
|
||||
**Qual regra violou:** Informação incorreta ao cliente (violação implícita da confiabilidade da IA)
|
||||
**Comportamento errado:** Captain responde "Essa promoção de R$ 79,90 era válida até 31/03/2026, então não está mais ativa" / "A promoção que tinha venceu em 31/03/2026."
|
||||
**Deveria ser:** Informar que a promo está ativa (nas condições que o Rodrigo definir abaixo)
|
||||
**Escopo do fix:** (c) só Express AL (`jasmine_express__daniela_reservas.md`) — as 3 ocorrências são todas no inbox 5. O PrimeAL também parece ter uma promo (6501), mas a IA não cometeu o erro lá.
|
||||
|
||||
**Evidências diretas das receptionistas:**
|
||||
- Conv 6734 (Tiago): Captain disse expirou → Human (MIRIAN): "PRA HOJE AINDA ESTÁ VALENDO"
|
||||
- Conv 6538 (André): Captain disse expirou → Human (GEOVANIA): "SIM ESTA VALENDO" + "ESSA PROMOÇÂO ELA E NUMA SUITE STANDARD SEM O CAFE DA MANHA E ATE AS 08:00"
|
||||
- Conv 6646 (Guardião2): Captain disse expirou → sem confirmação humana (cliente saiu)
|
||||
|
||||
**Condições da promo (baseado na fala da GEOVANIA em 6538):**
|
||||
- Suíte: Standard
|
||||
- Sem café da manhã
|
||||
- Saída até 08:00
|
||||
- Valor: R$ 79,90
|
||||
|
||||
**💡 Fix sugerido** — adicionar em `jasmine_express__daniela_reservas.md` após o header `## 💰 TABELA DE PREÇOS`:
|
||||
|
||||
```markdown
|
||||
> **🎯 PROMOÇÃO ATIVA — Pernoite Standard sem café:** R$ 79,90 (saída até 08:00h).
|
||||
> Válida atualmente. Se cliente perguntar sobre "essa promoção" ou "promoção de R$79,90", confirme que está ativa.
|
||||
> Na hora de gerar o Pix, use `total_amount: 79.90`, `suite: "Standard"`.
|
||||
```
|
||||
|
||||
- [ ] Aprovar
|
||||
- [ ] Rejeitar (motivo: _______)
|
||||
|
||||
---
|
||||
|
||||
### Padrão 2: Preços errados no Express AL — dia de semana trocado + valor inventado
|
||||
**Ocorrências:** 1 conversa (6647, Express AL, inbox 5, quarta-feira 16:41)
|
||||
**Qual regra violou:** Regra #3 (IA calcula valor correto da tabela) + Regra implícita de não inventar valores
|
||||
**Comportamento errado (conv 6647, Wed May 6 às 16:41):**
|
||||
```
|
||||
Standard: 2h R$ 50 · 3h R$ 65 · 4h R$ 80
|
||||
Master: 2h R$ 60 · 3h R$ 75 · 5h R$ 85
|
||||
Pernoite com café hoje: Standard R$ 120 · Master R$ 140
|
||||
```
|
||||
**Problema identificado:**
|
||||
- Preços cotados são da tabela **qui-dom**, mas é **quarta-feira** (deveria ser seg-qua)
|
||||
- "Standard 3h R$ 65" não existe em nenhuma tabela (seg-qua = R$50, qui-dom = R$60)
|
||||
- "Master 5h R$ 85" não existe — não há opção de 5h, somente 2h/3h/4h/pernoite/diária
|
||||
|
||||
**Correto para seg-qua (comparar com conv 6646 às 16:32 do mesmo dia, mesma unidade):**
|
||||
```
|
||||
Standard: 2h R$ 40 · 3h R$ 50 · 4h R$ 60 · pernoite R$ 100
|
||||
Master: 2h R$ 50 · 3h R$ 60 · 4h R$ 70 · pernoite R$ 120
|
||||
```
|
||||
|
||||
**Deveria ser:** Usar tabela seg-qua (valores acima) — o Captain deve verificar o dia atual antes de citar preços.
|
||||
|
||||
**Escopo do fix:** (c) só Express AL — o erro está em `jasmine_express__daniela_reservas.md`. A instrução "pergunte/confirme antes se é seg-qua ou qui-dom" já existe (linha 33), mas parece não ser suficiente. A IA pode estar consultando o dia errado ou o contexto de data não está sendo passado corretamente.
|
||||
|
||||
**💡 Fix sugerido** — reforçar instrução na seção `## 💰 TABELA DE PREÇOS` adicionando ao início:
|
||||
|
||||
```markdown
|
||||
> ⚠️ **CRÍTICO:** Antes de citar QUALQUER preço, identifique o dia da semana atual pelo contexto do sistema.
|
||||
> - Segunda, terça ou quarta → **use tabela Seg-Qua**
|
||||
> - Quinta, sexta, sábado ou domingo → **use tabela Qui-Dom**
|
||||
> Se a data não estiver clara no contexto, PERGUNTE: "Você quer reservar pra qual dia? (me diz a data que eu calculo o valor certinho)"
|
||||
> NUNCA invente um valor que não esteja numa das duas tabelas abaixo.
|
||||
```
|
||||
|
||||
- [ ] Aprovar
|
||||
- [ ] Rejeitar (motivo: _______)
|
||||
|
||||
---
|
||||
|
||||
## ❓ Perguntas pra o Rodrigo responder
|
||||
|
||||
### Pergunta 1: Promo R$79,90 — confirma condições e validade?
|
||||
**Conversas:** 6538, 6646, 6734
|
||||
**Contexto:** A GEOVANIA confirmou que a promo está ativa no Express AL: "Standard sem café até 08:00 por R$79,90". Mas o Captain tem a data de expiração 31/03/2026 em seu contexto (provavelmente via `faq_lookup`).
|
||||
**O que preciso saber:** A promo ainda está ativa? Quais são as condições exatas? Tem data de encerramento nova?
|
||||
|
||||
**💡 Minha sugestão:**
|
||||
- Promo ativa: Standard sem café, saída até 08:00, R$79,90
|
||||
- Sem data de encerramento definida (indeterminada)
|
||||
- Atualizar o prompt do Express com nota sobre a promo (já no fix do Padrão 1 acima)
|
||||
|
||||
**Sua escolha:**
|
||||
- [ ] Usar a sugestão acima (promo ativa, sem data de encerramento)
|
||||
- [ ] Usar outra (escreva abaixo)
|
||||
|
||||
**Sua resposta alternativa:** _[preencha só se rejeitou]_
|
||||
|
||||
---
|
||||
|
||||
### Pergunta 2: Problema recorrente de Pix não gerado automaticamente
|
||||
**Conversas:** 6616, 6650, 6449 (borderline — human interveio cedo), comparado com 6726 (funcionou)
|
||||
**Contexto:** Em ~3 conversas dos últimos dias, após o cliente fornecer nome+CPF, o Captain diz "Um momento — vou verificar" mas o Pix não é gerado automaticamente. O human precisa enviar a chave Pix manualmente depois. Em 6726, o Pix foi gerado com sucesso.
|
||||
**O que preciso saber:** Isso é um problema técnico (tool `generate_pix` falhando intermitentemente) ou a IA está indo pro "Um momento" quando não deveria? Devo investigar mais, ou você já sabe a causa?
|
||||
|
||||
**💡 Minha sugestão:**
|
||||
Parece que o human está intervindo muito rápido (dentro de 2-3 minutos), cancelando o processamento da tool. Pode ser útil adicionar instrução ao prompt para o Captain tentar `generate_pix` diretamente sem ir pro "Um momento" quando todos os dados estão presentes. Mas se for falha na tool (erro técnico), é backend — não prompt.
|
||||
|
||||
**Sua escolha:**
|
||||
- [ ] É falha técnica, verificar logs do sidekiq
|
||||
- [ ] Adicionar instrução no prompt para tentar direto (sem "Um momento")
|
||||
- [ ] Outro (escreva abaixo)
|
||||
|
||||
**Sua resposta alternativa:** _[preencha só se rejeitou]_
|
||||
|
||||
---
|
||||
|
||||
## 📝 Diffs completos (antes/depois)
|
||||
|
||||
### Arquivo: `db/seed_prompts/_modelos/scenarios/jasmine_express__daniela_reservas.md`
|
||||
|
||||
#### Fix Padrão 1 — Promo R$79,90 (dependente de aprovação do Rodrigo)
|
||||
|
||||
**ANTES** (linha 166 do arquivo atual):
|
||||
```
|
||||
## 💰 TABELA DE PREÇOS (use direto, não chame faq pra isso)
|
||||
|
||||
**Segunda a Quarta:**
|
||||
```
|
||||
|
||||
**DEPOIS:**
|
||||
```
|
||||
## 💰 TABELA DE PREÇOS (use direto, não chame faq pra isso)
|
||||
|
||||
> **🎯 PROMOÇÃO ATIVA — Pernoite Standard sem café:** R$ 79,90 (saída até 08:00h).
|
||||
> Válida atualmente (sem data de encerramento). Se cliente perguntar sobre "essa promoção" ou "promoção de R$79,90", confirme que está ativa.
|
||||
> Na hora de gerar o Pix, use `total_amount: 79.90`, `suite: "Standard"`.
|
||||
|
||||
**Segunda a Quarta:**
|
||||
```
|
||||
|
||||
#### Fix Padrão 2 — Reforço de verificação do dia da semana
|
||||
|
||||
**ANTES** (logo antes da tabela "Segunda a Quarta"):
|
||||
```
|
||||
## 💰 TABELA DE PREÇOS (use direto, não chame faq pra isso)
|
||||
```
|
||||
|
||||
**DEPOIS** (adicionando logo abaixo do header):
|
||||
```
|
||||
## 💰 TABELA DE PREÇOS (use direto, não chame faq pra isso)
|
||||
|
||||
> ⚠️ **CRÍTICO:** Antes de citar QUALQUER preço, identifique o dia da semana pelo contexto do sistema.
|
||||
> Segunda/terça/quarta → **tabela Seg-Qua** | Quinta/sexta/sábado/domingo → **tabela Qui-Dom**
|
||||
> Se a data não estiver no contexto, PERGUNTE antes de cotar.
|
||||
> NUNCA invente um valor que não esteja numa das duas tabelas abaixo.
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## ✅ Checklist de aprovação
|
||||
|
||||
Após revisar, responda com comentário `@aplicar` e os itens abaixo:
|
||||
|
||||
- [ ] Padrão 1 (Promo R$79,90) — Aprovado/Rejeitado
|
||||
- [ ] Padrão 2 (Preços errados) — Aprovado/Rejeitado
|
||||
- [ ] Pergunta 1 — Respondida (condições da promo)
|
||||
- [ ] Pergunta 2 — Respondida (problema de Pix não gerado)
|
||||
|
||||
---
|
||||
|
||||
*Review gerado automaticamente pelo Captain Reviewer em 2026-05-07.*
|
||||
*Branch: `review/2026-05-07` | Arquivo: `docs/captain/reviews/2026-05-07.md`*
|
||||
Loading…
Reference in New Issue
Block a user