Como testar seu assistente de inteligência artificial na Vambe?

Testar uma inteligência artificial individual

Esta opção serve quando você quer avaliar apenas um assistente específico, isolado do restante do funil.

Como fazer?

Você deve acessar o assistente

Testar o assistente

Uma vez dentro do assistente, você verá no canto superior direito um botão chamado Testar.

Ao clicar:

• Você poderá enviar mensagens de teste diretamente para esse assistente.

• Simulará conversas como se esse assistente estivesse atendendo um cliente real, mas apenas dentro dessa etapa.

Considerações importantes

• Este teste serve somente para assistentes isolados.

• Se o seu funil usa várias inteligências artificiais, este teste NÃO mostra como os clientes fluem entre as etapas.

• É ideal para revisar erros pontuais, lógica interna ou blocos específicos, assim como para validar que os guard rails do assistente funcionam conforme o esperado.

Testar todo o funil completo (Playground)

Este é o teste mais representativo do mundo real. Simula um cliente entrando pela primeira vez no seu funil e avançando etapa por etapa.

Como acessar

O que você pode testar aqui?

• O fluxo completo do cliente.

• Como todas as inteligências artificiais interagem entre si.

• Se as funções (mudança de etapa, agendamentos, buscas, etiquetas etc.) estão operando corretamente.

• O que acontece quando o cliente cumpre certas condições dentro do processo.

• A eficácia dos guard rails configurados para prevenir respostas indesejadas ou alucinações.

É o teste ideal quando:

• Você está revisando um funil novo.

• Você fez mudanças recentes em etapas a seguir ou casos possíveis.

• Você precisa validar a experiência completa do usuário, incluindo o comportamento dos guard rails.

Testar com IA (simulação automatizada)

Esta opção permite gerar testes automáticos, nos quais vários perfis simulados interagem com seu funil ao mesmo tempo. É uma forma avançada de teste que ajuda a identificar erros que poderiam passar despercebidos em testes manuais.

Como acessar

Como executar um teste

1

Clique em Criar novo teste.

2

Selecione o funil que você quer testar.

3

Escolha os perfis simulados.

• O Vambe gera alguns perfis automaticamente.

• Você pode editar perfis ou criar outros completamente novos.

4

Clique em Avançar para iniciar as simulações.

O que este sistema faz?

• Simula várias pessoas falando com o seu funil.

• Testa diferentes rotas, casos possíveis e variações.

• Percorre todo o fluxo buscando inconsistências e possíveis alucinações que os guard rails deveriam evitar.

Resultados

Uma vez finalizado o teste, você receberá:

• Respostas geradas pelos assistentes diante de cada situação.

• Alertas de comportamento inesperado.

• Sugestões de melhorias em etapas a seguir, casos possíveis, informações faltantes ou ajustes nos guard rails para prevenir alucinações.

IA VS IA em Massa: Comparação e otimização em escala

Esta funcionalidade é a ferramenta mais avançada para garantir a máxima qualidade e precisão dos seus assistentes de IA. Permite comparar e otimizar diferentes modelos e configurações em massa, superando as limitações dos testes manuais unitários. Com IA VS IA em Massa, você pode colocar suas inteligências artificiais frente a frente para identificar a versão com melhor desempenho.

Com a implementação de novos guard rails para os assistentes de IA, esta ferramenta ganha ainda mais relevância para a avaliação das métricas de alucinações. Embora a adição de mais guard rails possa, paradoxalmente, fazer com que as métricas de alucinações "pareçam" piorar inicialmente ao cobrir um espectro mais amplo de incidentes, na verdade está se alcançando uma melhor detecção e prevenção de respostas indesejadas.

Como funciona?

1. Configure suas versões de IA: Defina as diferentes configurações ou modelos de assistente que você deseja testar, incluindo variações em seus guard rails.

2. Execute a comparação: O Vambe colocará seus assistentes frente a frente em milhares de interações simultâneas.

3. Analise os resultados: Acesse novas interfaces no Dashboard do Vambe, projetadas para visualizar claramente qual versão da IA está "vencendo" e por quê, com base em métricas de sucesso predefinidas. Você poderá identificar padrões, pontos fortes e fracos de cada configuração e avaliar como os guard rails influenciam na redução das alucinações e na cobertura de incidentes.

Benefícios principais para seus assistentes

• Maior Qualidade e Precisão: Ao comparar centenas de interações, você garante que o cliente receba a resposta mais exata e refinada, minimizando alucinações graças a guard rails robustos e uma definição de incidentes mais completa.

• Implementações mais rápidas: Reduza drasticamente os tempos de validação de novas funcionalidades de IA, passando de dias para minutos e entregando valor ao cliente muito mais rápido, com a confiança de que os guard rails estão protegendo o comportamento da IA.

• Consistência Garantida: Detecte possíveis falhas antes que cheguem à produção, garantindo um serviço mais estável e confiável e entendendo o impacto real dos guard rails na prevenção de alucinações.

Quando usar IA VS IA em Massa?

• Ao desenvolver novas funcionalidades ou estratégias para seus assistentes, especialmente quando são implementados ou ajustados guard rails.

• Para validar mudanças nos prompts ou na lógica interna da IA, e seu efeito nas métricas de alucinações.

• Na busca constante da máxima eficiência e desempenho dos seus modelos de IA, aproveitando a visibilidade oferecida pelos guard rails sobre o comportamento da IA.

Testar com código QR

Esta opção permite levar a experiência de teste diretamente para o seu dispositivo móvel, simulando a interação real de um cliente por meio do WhatsApp.

Como fazer?

1. Vá para a seção de Funil no menu lateral esquerdo.

2. Clique no ícone de código QR que aparece na parte superior direita da tela.

3. Será aberta uma janela pop-up com um código QR exclusivo para esse funil.

   
4. Escaneie o código com a câmera do seu telefone ou compartilhe-o por meio do link gerado.

5. Importante: Ao escaneá-lo, abrirá um chat do WhatsApp com uma mensagem predefinida. Você deve enviar essa mensagem exata para iniciar a simulação do funil.

Considerações importantes

• Este método serve única e exclusivamente se o funil ainda não tiver um canal oficial (como um número de API do WhatsApp) conectado.

• Permite que até 20 contatos diferentes testem o fluxo simultaneamente para validar a experiência do usuário.

• É a forma mais fiel de ver como as mensagens, botões e tempos de resposta são exibidos na interface real do WhatsApp, e para observar o comportamento do assistente sob os guard rails configurados em um ambiente de comunicação real.