Análise da telha

Este guia explica como ler o novo painel do ChatCase Analytics e entender as principais métricas disponíveis para conversas, agentes de IA e desempenho da Base de Conhecimento.

O novo painel Analytics ajuda você a monitorar como seu projeto está se saindo em um só lugar. Você pode revisar a atividade de conversação, entender quanto trabalho é feito por agentes de IA ou humanos, verificar o consumo e latência do token de IA e avaliar como sua Base de Conhecimento está respondendo às perguntas do usuário.

## # Como o painel está organizado

O painel de análise é dividido em quatro abas principais:

Visão geral

Fornece um resumo de alto nível de conversas, mensagens, uso de IA, latência do modelo e desempenho da Base de Conhecimento.

Conversas

Mostra análises detalhadas sobre volume de conversação, distribuição de mensagens e satisfação do cliente.

Agentes de IA

Ajuda a monitorar a atividade do AI Agent, consumo de token, latência do modelo, gatilhos webhook e uso de ferramentas.

Conhecimento

Mostra como suas Bases de Conhecimento são usadas, com que frequência respondem e como as consultas são processadas rapidamente.

# # Usando filtros

Dados de análise podem ser filtrados dependendo da aba que você está vendo. Os filtros ajudam você a concentrar a análise em um período específico, departamento, canal, agente de IA, modelo ou base de conhecimento.

Period: selecione o intervalo de tempo usado para calcular cartas e gráficos.

**Departamento:** filtrar análise de conversa por departamento quando disponível.

Canal: analisar dados para um canal específico quando disponível.

**Agente:** foco AI Agent ou Knowledge Base dados em um AI Agent específico.

**Modelo:** analisar o consumo ou latência de tokens para um modelo específico de IA.

KB: filtrar análise de conhecimento por uma Base de Conhecimento específica.

Quando você muda um filtro, as cartas e gráficos relacionados atualizam com base nos critérios selecionados.

Página Visão geral

A aba Visão geral é o ponto de partida do painel de análise. Ele dá um resumo rápido dos mais importantes indicadores operacionais, IA e Base de Conhecimento.

Conversas totais

Mostra quantas conversas aconteceram durante o período selecionado. Use este cartão para entender rapidamente o volume geral da conversa.

Mensagens totais

Mostra o número total de mensagens trocadas durante o período selecionado. Isso ajuda você a entender o nível de atividade além do número de conversas.

# # Duração média

Mostra a duração média das conversas. Isto é útil para entender se as conversas são geralmente curtas, longas ou se tornam mais complexas.

Consumido AI Tokens

Mostra a quantidade de tokens de IA consumidos e indica quantos modelos de IA foram usados. Isso ajuda você a monitorar o uso de IA e o consumo de modelos.

Modelos de Latência Média

Mostra a latência média das chamadas do modelo de IA. Use isso para entender a rapidez com que as respostas de IA são geradas.

Taxa de resposta KB

Mostra quantas vezes a Base de Conhecimentos fornece uma resposta. Ele também separa as consultas respondidas e sem resposta, ajudando você a entender quão bem sua Base de Conhecimento está cobrindo as perguntas do usuário.

# # # KB Consulta Latência

Mostra a latência média das consultas da Base de Conhecimento. Isso ajuda você a monitorar o desempenho de recuperação e a velocidade de resposta da Base de Conhecimento.

# Gráficos disponíveis na Visão Geral

A aba Visão geral também inclui gráficos visuais que ajudam você a entender como as conversas, o uso de IA, as chamadas de modelo e a atividade Base de Conhecimento mudam ao longo do tempo. Cada gráfico inclui botões de navegação rápidos, tais como ** Ir para Conversas** ou ** Ir para IA & Conhecimento**, para que você possa passar da visão sumária para a seção de análise detalhada. A maioria dos gráficos também inclui controles de visualização que permitem alternar entre diferentes formatos de visualização, como Line, Area, Bar ou Pie, dependendo do gráfico.

Conversas ao longo do tempo

Mostra como as conversas evoluíram durante o período selecionado. Este gráfico ajuda você a identificar picos, quedas e tendências na atividade de conversação. Você pode usar o botão Vá para Conversas para abrir a análise detalhada de Conversas, e você pode alternar a visualização de gráficos entre formatos como linha, área ou barra.

Consumo de Token ao longo do tempo

Mostra como o uso do token de IA mudou durante o período selecionado. Este gráfico ajuda você a entender quando o consumo de IA aumentou ou diminuiu e pode ser útil para monitorar padrões de uso ao longo do tempo. Você pode usar o botão Vá para IA & Knowledge para abrir a análise detalhada de IA e Conhecimento, e você pode alternar a visualização entre as visualizações de linha, área ou barra.

LLM Chama ao longo do tempo

Mostra o número de chamadas LLM feitas durante o período selecionado. Este gráfico ajuda você a entender quando os modelos de IA foram chamados mais frequentemente e como a atividade de IA mudou ao longo do tempo. Você pode usar o botão Vá para IA & Knowledge para continuar a análise na seção detalhada de análise de IA, e você pode alternar entre as visualizações de gráficos disponíveis, como barra ou linha.

# # # # Distribuição do modelo

Mostra como o uso de IA é distribuído pelos diferentes modelos LLM usados no período selecionado. Isso ajuda você a entender quais modelos estão consumindo a maior parte da atividade. O gráfico inclui um atalho Ir para IA & Knowledge, um seletor Top 10 para focar nos modelos mais relevantes, e controles de visualização, como torta ou barra.

#### KB Consultas ao longo do tempo

Mostra como as consultas da Base de Conhecimento foram alteradas durante o período selecionado. Este gráfico ajuda você a entender quando usuários ou agentes de IA confiaram mais na Base de Conhecimento. Você pode usar o botão Ir para IA & Knowledge para abrir a análise detalhada do conhecimento, e você pode alternar o gráfico entre as visões de linha, área ou barra.

### #Latency da consulta KB ao longo do tempo

Mostra como a latência da consulta Knowledge Base mudou durante o período selecionado. Este gráfico ajuda você a monitorar o desempenho de recuperação e identificar possíveis picos de latência. Você pode usar o botão Vá para IA & Knowledge para continuar a análise na seção de Conhecimento detalhado, e você pode alternar a visualização entre linhas, áreas ou barras.

Página de conversas

A aba Conversas ajuda você a analisar como as conversas são criadas, tratadas e avaliadas. Está dividido em três sub-tabas: Geral, Mensagens e Satisfação.

Geral

Esta seção foca no volume de conversa e quem cuidou das conversas.

• Total Conversations: mostra o número total de conversas criadas no período selecionado.
• Handled by Agent: mostra quantas conversas foram tratadas pelo AI Agent, incluindo a porcentagem de conversas totais.
• Handled by Human: mostra quantas conversas foram tratadas por operadores humanos, incluindo a porcentagem de conversas totais.
• ** Duração média:** mostra a duração média por conversação.
• ** Conversas ao longo do tempo:** mostra volume de conversa ao longo do tempo, dividido pelo envolvimento do AI Agent.

Use esta seção para entender quanto trabalho está sendo gerenciado pelos AI Agents e como o volume de conversação muda ao longo do tempo.

Mensagens

Esta secção foca o volume da mensagem e a origem da mensagem.

• Total Mensagens: mostra o número total de mensagens trocadas no período selecionado.
• De Usuários: mostra quantas mensagens foram enviadas pelos usuários.
• De Humanos: mostra quantas mensagens foram enviadas por operadores humanos.
• ** De AI Agent:** mostra quantas mensagens foram enviadas por AI Agents.
• Delivered: mostra quantas mensagens chegaram à caixa de entrada com sucesso.
• Retorno Recibos: mostra reconhecimentos do lado do cliente para mensagens.
• Mensagens ao longo do tempo: mostra o volume da mensagem ao longo do tempo, dividido pelo tipo de remetente: usuário, humano e IA Agent.

Use esta seção para comparar atividade do usuário, atividade do operador humano e atividade do agente de IA.

Satisfação

Esta seção foca em feedback do cliente e qualidade de classificação.

• CSAT Score: mostra a pontuação de satisfação do cliente, com base na porcentagem de classificações iguais ou superiores a quatro estrelas.
• ** Classificação média:** mostra a classificação média recebida, calculada em cinco.
• Conversas Classificadas: mostra quantas conversas receberam uma classificação durante o período selecionado.
• ** Classificação Positiva:** mostra quantas avaliações foram positivas, com base em respostas de quatro estrelas e cinco estrelas.
• CSAT Trend Over Time: mostra como a pontuação da CSAT e a classificação média mudaram ao longo do tempo.

Use esta seção para monitorar a satisfação do cliente e entender se as avaliações estão melhorando ou diminuindo ao longo do tempo.

Página dos agentes AI

A aba AI Agents dá visibilidade sobre como os AI Agents estão sendo usados, quanto consomem, quão rápido respondem e se estão executando ações através de ferramentas.

Geral

O General sub-tab fornece uma visão de alto nível da atividade do AI Agent, execução do webhook, entrega e uso da ação durante o período selecionado.

No topo da seção, você pode usar os filtros **Period** e **Agent** para estreitar os dados por intervalo de tempo ou por um agente específico de IA.

** Webhook Triggers **

Mostra quantos gatilhos webhook foram executados durante o período selecionado. Este cartão também indica o quanto da atividade foi assíncrona, ajudando você a entender como as chamadas webhook externas estão sendo usadas por seus fluxos de trabalho do AI Agent.

Agentes únicos

Mostra quantos agentes de IA diferentes estavam ativos durante o período selecionado. Isso é útil quando seu projeto inclui vários agentes de IA e você quer entender quantos deles estão realmente envolvidos em conversas ou execução de fluxo de trabalho.

**Sync Triggers **

Mostra execuções webhook síncronas. Estas são execuções webhook que são tratadas diretamente como parte do fluxo de trabalho, onde o processo espera pela resposta antes de continuar.

Async Triggers

Mostra execuções webhook assíncronas. Estas são execuções webhook que podem ser executadas em segundo plano sem bloquear o resto do fluxo de trabalho.

** Distribuição do agente **

Mostra como as intenções ou interações são distribuídas entre agentes de IA. Isso ajuda você a entender quais agentes de IA estão lidando com a maior atividade. O gráfico inclui controles como Top 10, Horizontal Bar e Pie, para que você possa focar nos agentes mais relevantes e escolher a visualização que é mais fácil de ler.

** Entregas humanas **

Mostra transferências de agentes de IA para agentes humanos. Isto ajuda- o a compreender com que frequência as conversas são aumentadas da automação para um operador humano.

** Distribuição do tipo de ação**

Mostra como as ações são distribuídas por tipo de diretiva e AI Agent. Isso ajuda você a entender quais ações de fluxo de trabalho são executadas mais frequentemente, como respostas, condições, execução de tarefas, ações de código, solicitações da web ou outras diretivas configuradas.

** Duração da ação **

Mostra o tempo médio de execução para cada ação ou tipo de diretiva, agrupados por AI Agent e tipo de ação. Isso ajuda você a identificar quais ações levam mais tempo para executar e pode ser útil ao otimizar o desempenho do fluxo de trabalho.

**Engajamento do agente ao longo do tempo**

Mostra interações de conversa por agente de IA durante o período selecionado. Este gráfico ajuda você a entender como a atividade do AI Agent muda ao longo do tempo e quais agentes são mais ativos em dias específicos. Você pode alternar entre Linha e Bar vistas.

**Execuções do tipo de ação ao longo do tempo **

Mostra quantas vezes cada tipo de ação foi executado durante o período selecionado. Isso ajuda você a monitorar a atividade do fluxo de trabalho e identificar quais diretrizes são usadas com mais frequência ao longo do tempo.

**Agente do Agente Handover**

Mostra transferências de conversação entre agentes de IA durante o período selecionado. Isso é útil quando seu fluxo de trabalho inclui vários agentes especializados de IA e conversas podem passar de um agente para outro. A seção também inclui uma tabela com o agente de origem, agente de destino e número de handovers, para que você possa entender os caminhos exatos de handoff.

** Webhook Triggers Sync vs Async**

Mostra atividade de gatilho webhook ao longo do tempo, dividido entre execuções síncronas e assíncronas. Isso ajuda você a entender como as chamadas externas para o terminal webhook do ChatCase são distribuídas pelo modo de execução. A seção também inclui uma tabela Webhook Triggers by Agent, onde você pode ver gatilhos totais, sincronizados e assync webhook para cada AI Agent.

Use esta seção para entender quais agentes de IA são ativos, como eles interagem com os usuários, quantas vezes eles acionam ações, quão rapidamente essas ações executam e como as conversas se movem entre agentes de IA ou operadores humanos.

Consumo de Token

Esta seção foca no uso de IA e consumo de token.

• Modelo filtro: permite analisar o consumo de token para um modelo específico de IA.
• Total AI Tokens: mostra o número total de tokens de IA consumidos e quantos modelos estavam envolvidos.
• Prompt Tokens: mostra o consumo de token de entrada, significando os tokens usados para prompts e contexto enviados para o modelo.
• Completion Tokens: mostra o consumo de token de saída, significando os tokens gerados pelo modelo em respostas.
• Total AI Calls: mostra quantas chamadas modelo de IA foram feitas, com referência à latência média.

**Token Consumption Over Time:** mostra o uso do token ao longo do tempo, dividido em tokens totais, prompt e completações.

** Distribuição do modelo:** mostra como o uso do token é distribuído através dos modelos LLM usados no período selecionado.

**Token Use by Model:** mostra prompt e tokens de conclusão para cada modelo. Isso ajuda você a comparar o quanto cada modelo contribui para o consumo global de IA.

**Token Consumption by Source:** mostra onde tokens são gastos, como RAG, chat ou outras fontes relacionadas com IA. Isso ajuda você a entender quais partes do fluxo de trabalho de IA geram o maior uso de token.

**Agent Token Ranking:** mostra os principais agentes de IA por consumo de token, dividido entre prompt e tokens de conclusão.

**Agent Token Consumo ao longo do tempo:** mostra como o uso de token muda ao longo do tempo para cada agente de IA. Isso ajuda a identificar quais agentes consomem mais tokens durante o período selecionado.

** Chamadas e Erros do Modelo de AI:** mostra o número de chamadas LLM e erros relacionados ao longo do tempo. Isso ajuda a monitorar o uso do modelo e detectar possíveis problemas na execução de IA.

Use esta seção para monitorar o uso de IA, identificar picos de token e comparar como os modelos estão sendo usados.

Latency

Esta seção foca no desempenho de IA e na velocidade de resposta.

* **Model Avg Latency:** mostra a latência média das respostas do modelo de IA. * **Total Model Calls:** mostra o número total de chamadas feitas para modelos de IA. * **Model Error Rate:** mostra a porcentagem de chamadas de modelo que retornaram erros. * **Tool Avg Latency:** mostra a latência média das execuções de ferramentas conectadas aos fluxos de trabalho do AI Agent. * **Latency Over Time:** mostra como o tempo médio de resposta LLM muda ao longo do período selecionado. * **Avg Latency by Model:** mostra latência agrupada por modelo, útil para comparar desempenho entre modelos. * **Modelo filtro:** permite isolar dados de latência para um modelo específico.

Use esta seção para verificar se as respostas de IA são rápidas o suficiente e se um modelo específico é mais lento ou retornando erros.

Ferramentas

Esta seção foca na execução de ferramentas, incluindo invocações de ferramentas internas ou MCP.

• Total Tool Calls: mostra quantas chamadas de ferramentas foram feitas e a taxa de sucesso relacionada.
• ** Chamadas bem sucedidas:** mostra quantas invocações de ferramentas completaram com sucesso.
• ** Chamadas falhadas:** mostra quantas invocações de ferramentas retornaram um erro.
• Avg Latency: mostra o tempo médio de execução por invocação de ferramenta.
• Tools Usado: mostra quantas ferramentas distintas foram usadas durante o período selecionado.
• AI Tool Calls Over Time: mostra o volume de invocações de ferramentas internas ou MCP ao longo do tempo.

Use esta seção para entender quando agentes de IA estão executando ações, com que frequência ferramentas são usadas e se as chamadas de ferramentas são bem sucedidas.

Página do conhecimento

A aba Conhecimento ajuda você a avaliar como suas Bases de Conhecimento são usadas pelos AI Agents e quão bem suportam respostas.

Geral

Esta seção fornece uma visão de alto nível do uso da Base de Conhecimento e resposta ao desempenho.

• KBs Active: mostra quantas Bases de Conhecimento foram consultadas durante o período selecionado.
• Total KB Queries: mostra o número total de consultas da Base de Conhecimentos nas Bases de Conhecimento selecionadas.
• Avg Chunks / Consulta: mostra o número médio de blocos recuperados para cada consulta.
• Reranking Rate: mostra quantas consultas usadas reranking.
• Indexing Success Rate: mostra a taxa de sucesso das operações de indexação da Base de Conhecimento e se houve falhas de indexação.
• KB Taxa de Resposta: mostra com que frequência a Base de Conhecimento retornou uma resposta, incluindo consultas respondidas e sem resposta.

**Queries per Knowledge Base:** mostra consultas respondidas e sem resposta discriminadas por Knowledge Base.

** Perguntas por KB ao longo do tempo**: Consultas totais, respondidas e sem resposta por base de conhecimento

Use esta seção para entender se suas Bases de Conhecimento estão sendo consultadas, se respondem com sucesso e quais podem precisar de melhorias.

# # # Latency KB

Esta secção centra-se no volume e velocidade de resposta da consulta Knowledge Base.

• KB Avg Latency: mostra o tempo médio de resposta para consultas da Base de Conhecimento.
• Total KB Queries: mostra quantas consultas Base de Conhecimento foram feitas no período selecionado.

**KB Consultas ao longo do tempo:** mostra consultas de Base de Conhecimento total e reclassificada ao longo do tempo.

**KB Consultar latência ao longo do tempo:** mostra como o tempo de resposta da Base de Conhecimento muda ao longo do tempo.

** Filtro KB:** permite que você analise dados de latência e consulta para uma Base de Conhecimento específica.

Use esta seção para monitorar o desempenho de recuperação e identificar possíveis picos de latência.

Guardrails & Alucinação (** Em breve**)

Esta seção é dedicada a métricas futuras em torno de gatilhos de guartrail e detecção de alucinações.

Uma vez disponível, esta seção ajudará as equipes a monitorar como os guardrails são ativados e como a detecção de alucinações se comporta nos fluxos de trabalho do AI Agent.

# O que este painel te ajuda a entender

O novo painel Analytics dá às equipes uma maneira mais completa de monitorar as operações com IA. Em vez de olhar apenas para o volume de conversa, agora você pode conectar atividade de conversação com uso do Agente de IA, desempenho do modelo, execução de ferramentas e comportamento da Base de Conhecimento.

Isso torna mais fácil entender o que está funcionando, onde os usuários estão recebendo respostas, onde os humanos ainda são necessários, e onde seu Agente de IA ou Base de Conhecimento pode precisar de melhorias.

Esperamos que você achou este tutorial útil.

Para saber mais sobre o ChatCase e como construir agentes de IA para suporte, vendas e fluxos de trabalho internos, visite www.chatcase.com.

Para mais assistência, pode entrar em contato-nos emredacted@example.invalid.