Sinapse — Control Plane

Carregando status dos modelos…

🩺 Monitoramento dos modelos auto (30s)

Smoke real em cada upstream (chat/embed/visão). Vermelho = FORA. Última checagem: —.

Modelo	Canal	Provider	Endpoint	Status	Latência	Detalhe
—

📊 Uso por produto · tenant · canal mês

Produto	Tenant	Canal	Chamadas	Tokens (in/out)	Latência média	Fallbacks	Custo (US$)

🛰 Requisições recentes

ordenado por data (mais recente primeiro)

Quando	Produto	Tenant	Canal	Provider/Modelo	Latência	Tokens	Cache	Válido	Fallback	Prompt

⚗ Eval & A/B — candidato × atual (gate de promoção)

Compara um modelo candidato (ex.: mais barato/rápido/novo) com o atual de produção rodando os MESMOS casos de avaliação e medindo se a saída valida no schema e a latência. Serve como gate de promoção: só troque o modelo de produção se o candidato empatar/superar o atual — evita degradar a qualidade ao adotar um modelo novo. Não altera produção; só recomenda.

Candidato

Atual (produção)

Caso	Candidato (válido / latência)	Atual (válido / latência)

▶ Executar agente

Agente Contexto (JSON)

—

▶ Chat (baixo nível)

Produto sovereign sovereign=on exige upstream BR (hoje só RunPod fora do BR → erro proposital)

Prompt

—

Diagnóstico de servidores e modelos

Smoke real por canal (não confia no /models — alguns proxies RunPod dão 403). Rode após trocar pods/URLs para validar alcance, auth, modelo servido e dimensão do embed.

Modelo	Canal	Upstream	Modelo upstream	BR	Status	ms
clique em "Rodar diagnóstico"

GPU / Autoscaler

Pods ativos: — Custo estimado: —/h

Canal	Estado	Modo	Atual/Alvo	Pods	Próx. mudança	Tráfego (clientes)	Custo/h	Ações
carregando…

Como os clientes usam as GPUs

Os produtos (Acervo, Tramita) não falam com o RunPod — eles chamam o Sinapse por canal (ex.: visão) em NEXUS_URL. O autoscaler sobe/desce os pods e publica os pods saudáveis no pool de roteamento do canal; o Sinapse balanceia (round-robin) e faz failover entre eles. Resultado: nada muda no cliente — ele só vê o canal lógico (vision-ocr), e por baixo o tráfego vai para 1..N pods conforme a janela.

⚠️ Fora da janela (0 pods) o pool fica vazio e o canal cai no base_url fixo do registry (que pode estar fora). Se o canal precisa atender 24×7, deixe min ≥ 1 ou mantenha um upstream fixo de fallback. A janela é ideal para cargas que só ocorrem em horário comercial.

Configurar canal

Canal

Modelos lógicos atendidos por estes pods

marque os nomes lógicos (do registro de LLMs) que estes pods servem — ao escalar, TODOS são reapontados juntos

Modo

stop_mode

mín. pods

máx. pods (teto de custo)

custo/h por pod (US$)

GPU (RunPod) — recarregar

Network volume (pesos do modelo) — com volume = cold start ~1–2 min. O volume é preso a uma região (ela é setada ao escolher) e tem custo de storage mesmo parado.

Região (data center)

API key do vLLM (o --api-key do pod) — o Sinapse usa p/ autenticar nas chamadas Por padrão todos os canais usam a env NEXUS_VLLM — deixe vazio. Para sobrepor, use env:NOME (lê de outra variável, sem gravar no disco) ou cole um sk-… literal (cifrado em repouso).

Janela (modo agendado) — dias e horário; fora dela desce ao mínimo

início

fim

pods na janela

timezone

Avançado: template do pod + janelas em JSON

Template do pod (JSON) — espelha os campos do RunPod preencher exemplo (vLLM Qwen2.5-VL)

image_name = Container image · docker_args = Container start command (modelo + flags) · ports = Expose HTTP ports (use /http; o Sinapse fala OpenAI-compat na 8000) · a --api-key do comando deve ser a mesma do campo "API key do vLLM" acima.

Janelas (JSON) — sobrescreve o editor visual se preenchido
ex.: [{"days":[1,2,3,4,5],"start":"09:00","end":"18:00","tz":"America/Sao_Paulo","pods":3}]

Imagem com pesos embutidos (recomendado p/ multi-pod / qualquer região) o Sinapse gera a receita; você builda/pusha num registry e usa o resultado em image_name (sem volume).

habilitado (opt-in)

Eventos de escala

quando	canal	ação	motivo
—

◇ Editar agente

Catálogo central servido aos produtos. Salvar cria uma nova versão (overlay persistido no volume) e registra na auditoria. A maior versão por chave vence.

Agente

model_hint system_prompt user_template (use {{documents}}, {{case_id}}…) json_schema (JSON; vazio = sem schema)

◇ Auditoria de edições

Log append-only — quem, quando e qual versão. Snapshot completo guardado no servidor (rollback).

Quando	Autor	Agente	Versão	Ação
—

⤳ Reapontar modelo lógico (gateway estável)

A URL do pod muda a cada start — reaponte o nome lógico sem o produto saber.

Modelo lógico Novo base_url upstream_model (opcional)

—

🏢 Tenants (dimensão p/ relatórios)

tenant_id	slug	Nome	Produto

Resolve UID → nome no console/usage/relatórios. NÃO entra no Prometheus (cardinalidade).

ℹ Sobre

Control plane compartilhado. Providers: stub (offline) · ollama · openai_compat (RunPod). Roteamento por canal com fallback em cadeia, escalonamento por confiança e soberania (GPU no Brasil p/ sigilo criminal).

—

◇ Modelos / LLMs

Cadastre e edite os endpoints (RunPod, Z.ai, Ollama). Salvar grava um overlay sobre os defaults de env (volume), com a chave cifrada em repouso, e aplica sem reiniciar o serviço. Toda mudança é auditada.

Nome lógico	Provider	Modelo	Chave	BR

◇ Editar modelo

Nome lógico (ex.: chat-xl, chat-runpod, embed) Provider upstream_model base_url (openai_compat termina em /v1) api_key (deixe em branco p/ manter a atual)

tier

max_tokens (vazio = padrão)

br_sovereign (GPU no Brasil) disable_thinking (GLM/raciocínio)

—

🧭 Assistente de upstream (com sugestão)

Configura os canais de uma vez a partir de um cenário. A sugestão marca o que é decisão de produto (espaço vetorial, soberania) vs. o que é trocável (chat/visão).

Cenário base_url (chat/visão) api_key

chat-7b (deployment/modelo)

chat-32b

chat-xl (vazio = não configura)

vision-ocr

br_sovereign (Azure: só se o deployment for regional Brazil South — não Global/DataZone)

embeddings — endpoint bge-m3 (opcional; vazio = mantém o atual)

modelo do embed

api_key do embed

—

🔌 Conexões (recursos externos)

Cadastre credenciais tipadas — Azure OpenAI (endpoint + deployments), Azure AI Search (RAG dos produtos), endpoints OpenAI-compat, Ollama. Segredo cifrado em repouso, mudanças auditadas. Envs AZURE_OPENAI_* / AZURE_SEARCH_* aparecem como conexões somente-leitura (env). “Aplicar” configura os canais de chat/visão; o canal embed nunca é tocado por aqui (contrato bge-m3/1024).

Nome	Tipo	Endpoint	Chave	Origem

◇ Nova / editar conexão

Nome

Tipo

endpoint

api_key (vazio = mantém a atual)

deployment (padrão)

deployment_small (chat-7b)

deployment_large (chat-32b)

deployment_xl (chat-xl)

deployment_vision (vision-ocr)

br_sovereign (Azure: só deployment regional Brazil South)

—

👥 Usuários do console

Perfis: admin (edita config e usuários) e leitura (vê traces/observabilidade). Senhas com PBKDF2; sessão por token assinado.

Usuário	Nome	Perfil	Ativo

◇ Novo / editar usuário

Usuário (login) Nome Perfil Senha (em branco ao editar = mantém) ativo

Sinapse · Control Plane de IA

🔐 Acessar o Sinapse

🩺 Monitoramento dos modelos auto (30s)

⬡ Registro de modelos (gateway estável)

◇ Agentes versionados

📊 Uso por produto · tenant · canal mês

🛰 Requisições recentes

⚗ Eval & A/B — candidato × atual (gate de promoção)

▶ Executar agente

▶ Chat (baixo nível)

Diagnóstico de servidores e modelos

GPU / Autoscaler

Como os clientes usam as GPUs

Configurar canal

Eventos de escala

◇ Editar agente

◇ Auditoria de edições

⤳ Reapontar modelo lógico (gateway estável)

🏢 Tenants (dimensão p/ relatórios)

ℹ Sobre

◇ Modelos / LLMs

◇ Editar modelo

🧭 Assistente de upstream (com sugestão)

🔌 Conexões (recursos externos)

◇ Nova / editar conexão

👥 Usuários do console

◇ Novo / editar usuário

🔐 Acessar o Sinapse

🩺 Monitoramento dos modelos auto (30s) atualizar

⬡ Registro de modelos (gateway estável)

◇ Agentes versionados

📊 Uso por produto · tenant · canal mês filtrar

🛰 Requisições recentes atualizar

⚗ Eval & A/B — candidato × atual (gate de promoção)

▶ Executar agente

▶ Chat (baixo nível)

Diagnóstico de servidores e modelos

GPU / Autoscaler atualizar

Como os clientes usam as GPUs

Configurar canal

Eventos de escala

◇ Editar agente

◇ Auditoria de edições

⤳ Reapontar modelo lógico (gateway estável)

🏢 Tenants (dimensão p/ relatórios) atualizar

ℹ Sobre

◇ Modelos / LLMs

◇ Editar modelo

🧭 Assistente de upstream (com sugestão)

🔌 Conexões (recursos externos)

◇ Nova / editar conexão

👥 Usuários do console

◇ Novo / editar usuário

🩺 Monitoramento dos modelos auto (30s)

📊 Uso por produto · tenant · canal mês

🛰 Requisições recentes

GPU / Autoscaler

🏢 Tenants (dimensão p/ relatórios)