Analytics

Módulo responsável por lidar com o gerenciamento das interações entre o Agente e o usuário, permitindo acompanhar o custo por pergunta e o custo total em períodos específicos, facilitando a gestão do orçamento e permitindo ajustes estratégicos no uso dos recursos de IA para manter a operação eficiente e dentro do planejamento financeiro.

Criar uma conta no Toolzz Analytics

Para criar uma conta o usuário deve entrar em https://analytics.toolzz.ai/ e clicar em “Criar Conta“ na tela de Login. Após, o usuário deverá completar os seguintes campos no formulário.

1. Nome: Campo para inserir nome da conta
2. Email: Campo para inserir qual e-mail será vinculado a conta
3. Senha: Campo para inserir a senha para criação da conta

Ao inserir o e-mail, garantir que não deve existir nenhuma conta já vinculada

Após criar uma conta o usuário já consegue entrar na tela de Login e inserir e-mail e senha criados

Redefinição de Senha

Caso o usuário esqueça a senha da conta, na tela de login, deve clicar em “Esqueceu a Senha“. Após isso, será levado para tela “Redefina sua Senha“ que conterá um campo para que insira o e-mail que está vinculado à conta.

Usuário só receberá um email de redefinição de senha se uma conta com este email existir e tiver cadastrado.

Criar um Projeto

Para criar um projeto no Toolzz Analytics é bem simples! Basta seguir os seguintes passos:

1. Entrar na ferramenta
2. Realizar o Login
3. No menu lateral esquerdo em baixo clicar em “+ Novo“
4. Inserir o nome do projeto (Exemplo: meu-projeto-llm)
5. Clicar em criar

É recomendado que o nome do projeto seja parecido ou o mesmo do Agente, facilitando encontrar o projeto

Painel Principal

No Analytics, o painel é uma sessão que permite uma visão ampla sobre todas as informações dentro do projeto criado. É por meio do painel que ficam exibidos os gráficos e dados para controle da ferramenta como um todo

Além visualizar essas informações, o gerente do projeto pode requisitar a criação de um gráfico.

Ao fazer a requisição de gráfico, deve ser enviado quais dados ou métricas adicionais deverá aparecer no painel do usuário.

Elementos exibidos no Painel

Elemento	Descrição
Traços	Total de interações rastreadas no sistema, como chamadas ou logs processados pelo modelo. Cada interação pode estar vinculada a um usuário ou evento específico.
Custos de modelos	Custo total acumulado pelo uso do modelo, baseado nos tokens processados. Geralmente expresso em dólares (USD).
Tokens	Quantidade total de tokens processados, representando unidades de texto nas interações, como palavras ou fragmentos.
Pontuações	Métrica de avaliação da qualidade das respostas do modelo, podendo ser gerada automaticamente ou preenchida manualmente.
Latências de traços	Tempo médio e percentis (50º, 90º, 95º, 99º) para o processamento de cada traço, refletindo a velocidade do sistema ao lidar com interações.
Latências de gerações	Tempo necessário para que o modelo gere respostas, com análise de percentis para avaliar o desempenho.
Latências de modelos	Tempo médio de resposta global do modelo, segmentado por percentis para medir sua eficiência.
Consumo por usuário	Análise detalhada do custo individual de tokens e do número de traços por usuário, permitindo mensurar o impacto de cada interação.

Sessão de Rastreamento Analytics

A sessão de rastreamento é onde ficam localizados os principais blocos para obter informações e detalhes sobre cada resposta enviada pelo LLM

Descrição de Cada Bloco

Traços

Um traço representa uma única chamada de função/API. Traços contêm observações das interações entre IA e usuário.

Gerações

Uma geração captura uma única chamada LLM. É um tipo de observação que pode ser aninhada em um rastreamento.

Pontuações

Uma geração captura uma única chamada LLM. É um tipo de observação que pode ser aninhada em um rastreamento.

Sessão de Usuários Analytics

Na sessão de usuários é possível encontrar dados de atributo em Analytics à um usuário adicionando um userId aos seus traços. O usuário é capaz de analisar as seguintes informações:

• ID do Usuário: Identificação única para cada usuário que interagiu com o sistema.
• Primeiro Evento: Data e hora em que o usuário realizou a sua primeira interação com o sistema.
• Último Evento: Data e hora da última interação do usuário.
• Eventos Totais: Número total de interações ou ações realizadas pelo usuário no sistema.
• Tokens Totais: Refere-se ao total de tokens (palavras ou partes de palavras) processados durante as interações.
• Custo Total: Custo acumulado associado ao uso do sistema por aquele usuário.
• Última Pontuação: Indica a última pontuação gerada na interação com o LLM

Sessão de Dataset Analytics

Na sessão de Datasets que são uma coleção de entradas (e saídas esperadas) de uma aplicação LLM. O usuário poderá usar para testar novas versões antes de serem implantadas em produção. Nesta sessão o usuário pode analisar os seguintes itens.

• Nome: Nome dado ao criar o dataset.
• Descrição: Um breve resumo que explica o propósito, conteúdo ou objetivo do dataset.
• Itens: Número total de registros, amostras ou entradas armazenados no dataset.
• Execução: Quantidade de vezes que o dataset foi utilizado em processos, como treinamento ou inferências em modelos de IA.
• Criado em: Data e hora de criação do dataset.
• Última execução: Data e hora da última vez em que o dataset foi utilizado.
• Metadata: Informações adicionais ou atributos técnicos do dataset, como estrutura, formato, origem, ou outros metadados relevantes para análise ou processamento.

Chaves de Acesso

Dentro do Toolzz AI é aceito integração com a ferramenta Toolzz Analytics por meio de credenciais. Para conectar as credenciais Analytics, o usuário deve:

1. Entrar no credenciais
2. Clicar em “+ Nova Credencial“
3. Selecionar a categoria “Analytics“
4. Preencher o formulário da credencial
5. Credencial conectada com sucesso!

Para conectar uma credencial é necessário preencher um formulário, que possui os seguintes campos:

• Nome da Credencial: Campo para inserir o nome da credencial
• Public Key: Campo para inserir a chave pública do projeto no Toolzz Analytics
• Secret Key: Campo para inserir a chave secreta do projeto no Toolzz Analytics

Como buscar as chaves de acesso Analytics

Já dentro da conta, para buscar os dados necessários para conectar a credencial o usuário deve seguir os seguintes passos:

1. Clicar em “Configurações“ no a baixo do menu lateral
2. Seguir até “Chaves da API“
3. Clicar em “Criar novas chave de API“
4. Copiar os campos Chave Secreta (sk) e Chave Pública (pk)
5. Colar as chaves nos seus devidos campos da credencial.
6. Credencial Analytics conectada com sucesso!

A chave secreta só pode ser vista uma vez porém o usuário pode sempre gerar uma nova.