> ## Documentation Index
> Fetch the complete documentation index at: https://docs.toolzz.dev/llms.txt
> Use this file to discover all available pages before exploring further.
# Analytics
> Módulo responsável por lidar com o gerenciamento das interações entre o Agente e o usuário, permitindo acompanhar o custo por pergunta e o custo total em períodos específicos, facilitando a gestão do orçamento e permitindo ajustes estratégicos no uso dos recursos de IA para manter a operação eficiente e dentro do planejamento financeiro.
## Criar uma conta no Toolzz Analytics
Para criar uma conta o usuário deve entrar em [https://analytics.toolzz.ai/](https://analytics.toolzz.ai/) e clicar em “Criar Conta“ na tela de Login. Após, o usuário deverá completar os seguintes campos no formulário.
1. **Nome:** Campo para inserir nome da conta
2. **Email:** Campo para inserir qual e-mail será vinculado a conta
3. **Senha:** Campo para inserir a senha para criação da conta
Ao inserir o e-mail, garantir que não deve existir nenhuma conta já vinculada
Após criar uma conta o usuário já consegue entrar na tela de Login e inserir e-mail e senha criados
## Redefinição de Senha
Caso o usuário esqueça a senha da conta, na tela de login, deve clicar em “Esqueceu a Senha“. Após isso, será levado para tela “Redefina sua Senha“ que conterá um campo para que insira o e-mail que está vinculado à conta.
Usuário só receberá um email de redefinição de senha se uma conta com este email existir e tiver cadastrado.
## Criar um Projeto
Para criar um projeto no Toolzz Analytics é bem simples! Basta seguir os seguintes passos:
1. Entrar na ferramenta
2. Realizar o Login
3. No menu lateral esquerdo em baixo clicar em “+ Novo“
4. Inserir o nome do projeto (Exemplo: meu-projeto-llm)
5. Clicar em criar
É recomendado que o nome do projeto seja parecido ou o mesmo do Agente, facilitando encontrar o projeto
## Painel Principal
No Analytics, o painel é uma sessão que permite uma visão ampla sobre todas as informações dentro do projeto criado. É por meio do painel que ficam exibidos os gráficos e dados para controle da ferramenta como um todo
Além visualizar essas informações, o gerente do projeto pode requisitar a criação de um gráfico.
Ao fazer a requisição de gráfico, deve ser enviado quais dados ou métricas adicionais deverá aparecer no painel do usuário.
### Elementos exibidos no Painel
| Elemento | Descrição |
| ------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| **Traços** | Total de interações rastreadas no sistema, como chamadas ou logs processados pelo modelo. Cada interação pode estar vinculada a um usuário ou evento específico. |
| **Custos de modelos** | Custo total acumulado pelo uso do modelo, baseado nos tokens processados. Geralmente expresso em dólares (USD). |
| **Tokens** | Quantidade total de tokens processados, representando unidades de texto nas interações, como palavras ou fragmentos. |
| **Pontuações** | Métrica de avaliação da qualidade das respostas do modelo, podendo ser gerada automaticamente ou preenchida manualmente. |
| **Latências de traços** | Tempo médio e percentis (50º, 90º, 95º, 99º) para o processamento de cada traço, refletindo a velocidade do sistema ao lidar com interações. |
| **Latências de gerações** | Tempo necessário para que o modelo gere respostas, com análise de percentis para avaliar o desempenho. |
| **Latências de modelos** | Tempo médio de resposta global do modelo, segmentado por percentis para medir sua eficiência. |
| **Consumo por usuário** | Análise detalhada do custo individual de tokens e do número de traços por usuário, permitindo mensurar o impacto de cada interação. |
## Sessão de Rastreamento Analytics
A sessão de rastreamento é onde ficam localizados os principais blocos para obter informações e detalhes sobre cada resposta enviada pelo LLM
#### Descrição de Cada Bloco
Um traço representa uma única chamada de função/API. Traços contêm observações das interações entre IA e usuário.
Uma geração captura uma única chamada LLM. É um tipo de observação que pode ser aninhada em um rastreamento.
Uma geração captura uma única chamada LLM. É um tipo de observação que pode ser aninhada em um rastreamento.
## Sessão de Usuários Analytics
Na sessão de usuários é possível encontrar dados de atributo em Analytics à um usuário adicionando um userId aos seus traços. O usuário é capaz de analisar as seguintes informações:
* **ID do Usuário:** Identificação única para cada usuário que interagiu com o sistema.
* **Primeiro Evento:** Data e hora em que o usuário realizou a sua primeira interação com o sistema.
* **Último Evento:** Data e hora da última interação do usuário.
* **Eventos Totais:** Número total de interações ou ações realizadas pelo usuário no sistema.
* **Tokens Totais:** Refere-se ao total de tokens (palavras ou partes de palavras) processados durante as interações.
* **Custo Total:** Custo acumulado associado ao uso do sistema por aquele usuário.
* **Última Pontuação:** Indica a última pontuação gerada na interação com o LLM
## Sessão de Dataset Analytics
Na sessão de Datasets que são uma coleção de entradas (e saídas esperadas) de uma aplicação LLM. O usuário poderá usar para testar novas versões antes de serem implantadas em produção. Nesta sessão o usuário pode analisar os seguintes itens.
* **Nome:** Nome dado ao criar o dataset.
* **Descrição:** Um breve resumo que explica o propósito, conteúdo ou objetivo do dataset.
* **Itens:** Número total de registros, amostras ou entradas armazenados no dataset.
* **Execução:** Quantidade de vezes que o dataset foi utilizado em processos, como treinamento ou inferências em modelos de IA.
* **Criado em:** Data e hora de criação do dataset.
* **Última execução:** Data e hora da última vez em que o dataset foi utilizado.
* **Metadata:** Informações adicionais ou atributos técnicos do dataset, como estrutura, formato, origem, ou outros metadados relevantes para análise ou processamento.
## Chaves de Acesso
Dentro do Toolzz AI é aceito integração com a ferramenta Toolzz Analytics por meio de credenciais. Para conectar as credenciais Analytics, o usuário deve:
1. Entrar no credenciais
2. Clicar em “+ Nova Credencial“
3. Selecionar a categoria “Analytics“
4. Preencher o formulário da credencial
5. Credencial conectada com sucesso!
Para conectar uma credencial é necessário preencher um formulário, que possui os seguintes campos:
* **Nome da Credencial:** Campo para inserir o nome da credencial
* **Public Key:** Campo para inserir a chave pública do projeto no Toolzz Analytics
* **Secret Key:** Campo para inserir a chave secreta do projeto no Toolzz Analytics
### Como buscar as chaves de acesso Analytics
Já dentro da conta, para buscar os dados necessários para conectar a credencial o usuário deve seguir os seguintes passos:
1. Clicar em “Configurações“ no a baixo do menu lateral
2. Seguir até “Chaves da API“
3. Clicar em “Criar novas chave de API“
4. Copiar os campos Chave Secreta (sk) e Chave Pública (pk)
5. Colar as chaves nos seus devidos campos da credencial.
6. Credencial Analytics conectada com sucesso!
A chave secreta só pode ser vista uma vez porém o usuário pode sempre gerar uma nova.