12 KiB
Captain Review — 2026-05-07
Período: últimas 72h (2026-05-04 a 2026-05-07) Analisado: 4 assistants (Qnn01, PrimeAL, PrimeVL, Express AL) Conversas retornadas pela query: 40 Conversas problemáticas (bugs de prompt): 4 bugs confirmados / 2 padrões distintos Conversas legítimas: 36
📊 Conversas analisadas
| Conv | Hotel | Contato | Problema | Legítima? |
|---|---|---|---|---|
| 6734 | Express AL | Tiago | IA disse promo R$79,90 expirou, recepc. confirmou que está ativa | ❌ Bug |
| 6538 | Express AL | André personal | IA disse promo R$79,90 expirou, recepc. contradisse diretamente | ❌ Bug |
| 6646 | Express AL | Guardião2 | IA disse promo R$79,90 expirou (sem confirmação humana) | ❌ Bug |
| 6647 | Express AL | Henrique | IA cotou preços qui-dom numa quarta-feira (Wed) + inventou R$65 para Standard 3h | ❌ Bug |
| 6728 | Express AL | Lud Garciiaa | Reclamação operacional (TV/AC) — human assumiu | ✅ Legítima |
| 6729 | PrimeAL | Isadora Fernanda | Cliente pediu reenvio do Pix, IA disse "Um momento" e nada saiu | 🔶 Borderline |
| 6726 | PrimeAL | Pedro Lucas | Fluxo completo com sucesso, reserva+Pix gerados automaticamente | ✅ OK |
| 6733 | PrimeAL | Pedro Lucas | Localização não fornecida, conversa encerrou por inatividade | ✅ Legítima (human poderia ter respondido) |
| 6731 | PrimeAL | Gustavão | Informação sobre "1001 Noites não-Prime em Águas Lindas" — unidade inexistente | ✅ Legítima (pergunta sem resposta na rede) |
| 6721 | PrimeAL | Gustavão | Mesma pergunta sobre 1001 Noites não-Prime AL | ✅ Legítima |
| 6725 | Express AL | Leo Araújo | Human assumiu imediatamente — sem tempo pra IA ajudar | ✅ Legítima |
| 6724 | Express AL | Alice | Fim de conversa anterior, IA ofereceu opções | ✅ OK |
| 6698 | Express AL | Alice | Preços corretos (seg-qua R$100/R$120), hidro → Prime correto | ✅ OK |
| 6692 | PrimeAL | Guilherme - Prospect | Pergunta sobre jantar/NF — human assumiu corretamente | ✅ Legítima |
| 6688 | PrimeAL | Guilherme - Prospect | Nota fiscal + walk-in — human assumiu | ✅ Legítima |
| 6679 | Express AL | Andreia | Cliente do IG, disse "esquece" antes da IA responder — legítima | ✅ Legítima |
| 6676 | Express AL | 🍀 | IA: Express não tem hidro → Prime. Correto | ✅ OK |
| 6675 | Express AL | Anaju | IA: Express não tem hidro → Prime. Human completou | ✅ OK |
| 6673 | Express AL | Henrique | Mensagem vazia, human assumiu | ✅ Legítima |
| 6655 | PrimeAL | SCI3F27 | Nota fiscal de estadia anterior — human assumiu | ✅ Legítima |
| 6650 | PrimeAL | Lucas Fernandes | IA coletou nome+CPF, foi pra "Um momento", Pix não saiu, human enviou link manual | 🔶 Borderline |
| 6648 | PrimeVL | Rodrigo | Teste (Rodrigo) | ✅ Teste |
| 6647 | Express AL | Henrique | Preços errados — ver Padrão 2 | ❌ Bug |
| 6632 | PrimeAL | Johnathan | Grupo de 31 pessoas — human corretamente assumiu | ✅ Legítima |
| 6620 | PrimeVL | ❤️ | Diária cotada, human assumiu | ✅ OK |
| 6616 | PrimeAL | Henrique Willock | Pix não gerado automaticamente após CPF, human enviou manual | 🔶 Borderline |
| 6615 | PrimeAL | Aline | Pedido de diarista (RH) | ✅ Legítima |
| 6614 | PrimeAL | Bruna Sthefany | Candidata a emprego (RH) | ✅ Legítima |
| 6557 | PrimeAL | Paula Gois | Preços corretos, human completou detalhes de hidro | ✅ OK |
| 6547 | PrimeAL | Rodrigo | Teste | ✅ Teste |
| 6543 | PrimeAL | Rodrigo | Teste | ✅ Teste |
| 6542 | PrimeAL | Wesley | Handoff imediato (~20h, automação Bianca) — possível janela programada | ✅ Legítima (automação) |
| 6541 | PrimeAL | Lucione | Handoff imediato (~19h56, automação Bianca) | ✅ Legítima (automação) |
| 6538 | Express AL | André personal | Promo expirada — ver Padrão 1 | ❌ Bug |
| 6530 | Express AL | Klaudiana | Busca de reserva por nome — human correto | ✅ Legítima |
| 6524 | Express AL | Lauriana | Problema com nota fiscal — human | ✅ Legítima |
| 6522 | Express AL | Cristiany | IA disse "não tenho endereço certinho" — human enviou Maps | 🔶 Borderline |
| 6501 | PrimeAL | Hugo | Promo confirmada válida pelo human — IA não disse nada errado | ✅ OK |
| 6500 | Express AL | Kevin | Preços corretos de pernoite | ✅ OK |
| 6478 | PrimeVL | Thais | Reclamação operacional (chuveiro frio) | ✅ Legítima |
| 6458 | PrimeAL | Bahia 2.1 | Nota fiscal — human | ✅ Legítima |
| 6449 | PrimeVL | Nícolas Vicente | IA coletou dados, "Um momento", Pix não gerado, human orientou a pagar na recepção | 🔶 Borderline |
🔍 Padrões identificados
Padrão 1: Promo R$79,90 informada como expirada quando ainda está ativa
Ocorrências: 3 conversas (6538, 6646, 6734 — todas Express AL, inbox 5)
Qual regra violou: Informação incorreta ao cliente (violação implícita da confiabilidade da IA)
Comportamento errado: Captain responde "Essa promoção de R$ 79,90 era válida até 31/03/2026, então não está mais ativa" / "A promoção que tinha venceu em 31/03/2026."
Deveria ser: Informar que a promo está ativa (nas condições que o Rodrigo definir abaixo)
Escopo do fix: (c) só Express AL (jasmine_express__daniela_reservas.md) — as 3 ocorrências são todas no inbox 5. O PrimeAL também parece ter uma promo (6501), mas a IA não cometeu o erro lá.
Evidências diretas das receptionistas:
- Conv 6734 (Tiago): Captain disse expirou → Human (MIRIAN): "PRA HOJE AINDA ESTÁ VALENDO"
- Conv 6538 (André): Captain disse expirou → Human (GEOVANIA): "SIM ESTA VALENDO" + "ESSA PROMOÇÂO ELA E NUMA SUITE STANDARD SEM O CAFE DA MANHA E ATE AS 08:00"
- Conv 6646 (Guardião2): Captain disse expirou → sem confirmação humana (cliente saiu)
Condições da promo (baseado na fala da GEOVANIA em 6538):
- Suíte: Standard
- Sem café da manhã
- Saída até 08:00
- Valor: R$ 79,90
💡 Fix sugerido — adicionar em jasmine_express__daniela_reservas.md após o header ## 💰 TABELA DE PREÇOS:
> **🎯 PROMOÇÃO ATIVA — Pernoite Standard sem café:** R$ 79,90 (saída até 08:00h).
> Válida atualmente. Se cliente perguntar sobre "essa promoção" ou "promoção de R$79,90", confirme que está ativa.
> Na hora de gerar o Pix, use `total_amount: 79.90`, `suite: "Standard"`.
- Aprovar
- Rejeitar (motivo: _______)
Padrão 2: Preços errados no Express AL — dia de semana trocado + valor inventado
Ocorrências: 1 conversa (6647, Express AL, inbox 5, quarta-feira 16:41) Qual regra violou: Regra #3 (IA calcula valor correto da tabela) + Regra implícita de não inventar valores Comportamento errado (conv 6647, Wed May 6 às 16:41):
Standard: 2h R$ 50 · 3h R$ 65 · 4h R$ 80
Master: 2h R$ 60 · 3h R$ 75 · 5h R$ 85
Pernoite com café hoje: Standard R$ 120 · Master R$ 140
Problema identificado:
- Preços cotados são da tabela qui-dom, mas é quarta-feira (deveria ser seg-qua)
- "Standard 3h R$ 65" não existe em nenhuma tabela (seg-qua = R$50, qui-dom = R$60)
- "Master 5h R$ 85" não existe — não há opção de 5h, somente 2h/3h/4h/pernoite/diária
Correto para seg-qua (comparar com conv 6646 às 16:32 do mesmo dia, mesma unidade):
Standard: 2h R$ 40 · 3h R$ 50 · 4h R$ 60 · pernoite R$ 100
Master: 2h R$ 50 · 3h R$ 60 · 4h R$ 70 · pernoite R$ 120
Deveria ser: Usar tabela seg-qua (valores acima) — o Captain deve verificar o dia atual antes de citar preços.
Escopo do fix: (c) só Express AL — o erro está em jasmine_express__daniela_reservas.md. A instrução "pergunte/confirme antes se é seg-qua ou qui-dom" já existe (linha 33), mas parece não ser suficiente. A IA pode estar consultando o dia errado ou o contexto de data não está sendo passado corretamente.
💡 Fix sugerido — reforçar instrução na seção ## 💰 TABELA DE PREÇOS adicionando ao início:
> ⚠️ **CRÍTICO:** Antes de citar QUALQUER preço, identifique o dia da semana atual pelo contexto do sistema.
> - Segunda, terça ou quarta → **use tabela Seg-Qua**
> - Quinta, sexta, sábado ou domingo → **use tabela Qui-Dom**
> Se a data não estiver clara no contexto, PERGUNTE: "Você quer reservar pra qual dia? (me diz a data que eu calculo o valor certinho)"
> NUNCA invente um valor que não esteja numa das duas tabelas abaixo.
- Aprovar
- Rejeitar (motivo: _______)
❓ Perguntas pra o Rodrigo responder
Pergunta 1: Promo R$79,90 — confirma condições e validade?
Conversas: 6538, 6646, 6734
Contexto: A GEOVANIA confirmou que a promo está ativa no Express AL: "Standard sem café até 08:00 por R$79,90". Mas o Captain tem a data de expiração 31/03/2026 em seu contexto (provavelmente via faq_lookup).
O que preciso saber: A promo ainda está ativa? Quais são as condições exatas? Tem data de encerramento nova?
💡 Minha sugestão:
- Promo ativa: Standard sem café, saída até 08:00, R$79,90
- Sem data de encerramento definida (indeterminada)
- Atualizar o prompt do Express com nota sobre a promo (já no fix do Padrão 1 acima)
Sua escolha:
- Usar a sugestão acima (promo ativa, sem data de encerramento)
- Usar outra (escreva abaixo)
Sua resposta alternativa: [preencha só se rejeitou]
Pergunta 2: Problema recorrente de Pix não gerado automaticamente
Conversas: 6616, 6650, 6449 (borderline — human interveio cedo), comparado com 6726 (funcionou)
Contexto: Em ~3 conversas dos últimos dias, após o cliente fornecer nome+CPF, o Captain diz "Um momento — vou verificar" mas o Pix não é gerado automaticamente. O human precisa enviar a chave Pix manualmente depois. Em 6726, o Pix foi gerado com sucesso.
O que preciso saber: Isso é um problema técnico (tool generate_pix falhando intermitentemente) ou a IA está indo pro "Um momento" quando não deveria? Devo investigar mais, ou você já sabe a causa?
💡 Minha sugestão:
Parece que o human está intervindo muito rápido (dentro de 2-3 minutos), cancelando o processamento da tool. Pode ser útil adicionar instrução ao prompt para o Captain tentar generate_pix diretamente sem ir pro "Um momento" quando todos os dados estão presentes. Mas se for falha na tool (erro técnico), é backend — não prompt.
Sua escolha:
- É falha técnica, verificar logs do sidekiq
- Adicionar instrução no prompt para tentar direto (sem "Um momento")
- Outro (escreva abaixo)
Sua resposta alternativa: [preencha só se rejeitou]
📝 Diffs completos (antes/depois)
Arquivo: db/seed_prompts/_modelos/scenarios/jasmine_express__daniela_reservas.md
Fix Padrão 1 — Promo R$79,90 (dependente de aprovação do Rodrigo)
ANTES (linha 166 do arquivo atual):
## 💰 TABELA DE PREÇOS (use direto, não chame faq pra isso)
**Segunda a Quarta:**
DEPOIS:
## 💰 TABELA DE PREÇOS (use direto, não chame faq pra isso)
> **🎯 PROMOÇÃO ATIVA — Pernoite Standard sem café:** R$ 79,90 (saída até 08:00h).
> Válida atualmente (sem data de encerramento). Se cliente perguntar sobre "essa promoção" ou "promoção de R$79,90", confirme que está ativa.
> Na hora de gerar o Pix, use `total_amount: 79.90`, `suite: "Standard"`.
**Segunda a Quarta:**
Fix Padrão 2 — Reforço de verificação do dia da semana
ANTES (logo antes da tabela "Segunda a Quarta"):
## 💰 TABELA DE PREÇOS (use direto, não chame faq pra isso)
DEPOIS (adicionando logo abaixo do header):
## 💰 TABELA DE PREÇOS (use direto, não chame faq pra isso)
> ⚠️ **CRÍTICO:** Antes de citar QUALQUER preço, identifique o dia da semana pelo contexto do sistema.
> Segunda/terça/quarta → **tabela Seg-Qua** | Quinta/sexta/sábado/domingo → **tabela Qui-Dom**
> Se a data não estiver no contexto, PERGUNTE antes de cotar.
> NUNCA invente um valor que não esteja numa das duas tabelas abaixo.
✅ Checklist de aprovação
Após revisar, responda com comentário @aplicar e os itens abaixo:
- Padrão 1 (Promo R$79,90) — Aprovado/Rejeitado
- Padrão 2 (Preços errados) — Aprovado/Rejeitado
- Pergunta 1 — Respondida (condições da promo)
- Pergunta 2 — Respondida (problema de Pix não gerado)
Review gerado automaticamente pelo Captain Reviewer em 2026-05-07.
Branch: review/2026-05-07 | Arquivo: docs/captain/reviews/2026-05-07.md