Sobre Observabilidade

​

Quem configura o quê?

​

Lado do cliente

• Processors: batching, limites de memória, filtragem, ofuscação, sampling, etc.
• Exporters: por exemplo, roteamento duplo para Prometheus
• Secrets de autenticação de API key

​

Lado da Lerian

• Central Collector
• Prometheus
• Loki
• Tempo
• Grafana

​

Como os dados fluem

• Prometheus para métricas
• Loki para logs
• Tempo para traces

​

Componentes do stack

​

Client Collector

​

Central Collector

​

Prometheus

​

Loki

​

Tempo

​

Grafana

​

Embedded Collector

otel-collector-lerian:
  enabled:true

​

Editando o Client Collector

1. Editar components/infra/grafana/otelcol-config.yaml.
2. Adicionar ou ajustar os blocos de processors ou exporters.
3. Reiniciar o stack:
   Copiar

   Perguntar à IA

   make down
   make up
   

​

Processors do Client Collector

• O que é: Agrupa múltiplos sinais de telemetria (métricas, logs ou traces) em lotes antes de enviá-los para a próxima etapa.
• Por que é importante: Melhora a eficiência de compressão, reduz requisições de rede e melhora a performance geral do pipeline.
• Configuração:

processors:
  batch: {}

• O que é: Monitora o uso de memória do collector e descarta dados se ele se aproximar de um limite definido.
• Por que é importante: Previne que o collector seja OOMKilled pelo Kubernetes.
• Configuração:

processors:
  memory_limiter:
    check_interval: 1s
    limit_percentage: 75
    spike_limit_percentage: 15

• O que é: Gera métricas diretamente dos dados de trace.
• Por que é importante: Produz métricas “RED” (Rate, Errors, Duration) automaticamente.
• Configuração:

processors:
  spanmetrics:
    metrics_exporter: prometheus
    dimensions:
      - name: http.method
      - name: http.status_code
      - name: service.name
      - name: client.id

• O que é: Remove atributos sensíveis de span usando regex.
• Por que é importante: Mantém identificadores mas remove headers, bodies ou outros dados sensíveis da requisição.
• Configuração:

processors:
  transform/remove_sensitive_attributes:
    trace_statements:
      - context: span
        statements:
          - delete_matching_keys(attributes, "^app\\.request\\.(?!request_id$).*")

• O que é: Uma estratégia de sampling aplicada após os spans serem recebidos.
• Por que é importante: Mantém apenas traces de alto valor (erros, clientes específicos) e reduz custos de armazenamento.
• Configuração:

processors:
  tail_sampling:
    policies:
      - name: keep_firmino_traces_policy
      - name: http_server_errors_policy
      - name: drop_all_other_traces_policy

• O que é: Filtra métricas de nível de node.
• Por que é importante: Reduz ruído e foca em telemetria de nível de aplicação.
• Configuração:

processors:
  filter/drop_node_metrics:
    metrics:
      exclude:
        match_type: regexp
        metric_names:
          - ^k8s\\.node\\..*$

• O que é: Mantém apenas métricas de midaz e midaz-plugins.
• Por que é importante: Elimina workloads Kubernetes irrelevantes.
• Configuração:

processors:
  filter/include_midaz_namespaces:
    metrics:
      include:
        match_type: regexp
        resource_attributes:
          - key: k8s.namespace.name
            value: '^(midaz|midaz-plugins)$'

• O que é: Adiciona metadados do Kubernetes à telemetria.
• Por que é importante: Permite contexto mais rico nas consultas do Grafana.
• Configuração:

processors:
  k8sattributes:
    auth_type: "serviceAccount"
    passthrough: false
    extract:
      metadata:
        - k8s.pod.name
        - k8s.deployment.name
        - k8s.namespace.name
        - k8s.node.name

• O que é: Insere ou atualiza client.id na telemetria.
• Por que é importante: Crítico para multi-tenancy.
• Configuração:

processors:
  resource/add_client_id:
    attributes:
      - key: client.id
        value: "Firmino"
        action: upsert

• O que é: Remove o conteúdo do body do log.
• Por que é importante: Previne que dados sensíveis ou PII persistam nos logs.
• Configuração:

processors:
  transform/remove_log_body:
    log_statements:
      - context: log
        statements:
          - set(body, "")

• O que é: Ofusca atributos selecionados.
• Por que é importante: Protege valores sensíveis (como legalDocument ou accountAlias) antes que os dados deixem seu cluster.
• Configuração (otelcol-config.yaml):

processors:
  transform/obfuscate_attributes:
    trace_statements:
      - context: span
        statements:
          - replace_pattern(attributes["legalDocument"], ".*", "***")
          - replace_pattern(attributes["accountAlias"], ".*", "***")
    log_statements:
      - context: log
        statements:
          - replace_pattern(attributes["legalDocument"], ".*", "***")
          - replace_pattern(attributes["accountAlias"], ".*", "***")

• Personalizando os campos:
  • Padrões: legalDocument, accountAlias
  • Adicione ou remova campos conforme necessário
  • Reinicialização necessária: make down && make up

​

Resumo

​

Protegendo dados sensíveis

• Client Collector (você configura): Roda no seu cluster. Aplique processors como transform/remove_sensitive_attributes, transform/remove_log_body e transform/obfuscate_attributes.
• Central Collector (gerenciado pela Lerian): Recebe apenas os streams de telemetria filtrados e sanitizados e os roteia para Prometheus, Loki e Tempo.

​

Fluxo de telemetria

1. A aplicação inicia e detecta a configuração do OpenTelemetry.
2. A telemetria é exportada para o Client Collector local.
3. O Client Collector enriquece os dados com metadados do Kubernetes e seu client_id.
4. Os processors enriquecem, filtram e transformam os dados.
5. Os dados são encaminhados para o Central Collector.
6. O Central Collector processa e roteia os dados:
   • Métricas → Prometheus
   • Logs → Loki
   • Traces → Tempo
7. O Grafana permite que você consulte tudo, correlacionando entre sinais.

sum(rate(http_server_duration_seconds_count{
  k8s_pod_name=~"checkout-.*",
  client_id="client-name"
}[5m]))

​

Autenticando requisições do collector

​

Como configurar

1. Crie o Kubernetes Secret para armazenar seu token de API:

kubectl create secret generic otel-api-key \
  --from-literal=OTEL_API_KEY='YOUR_TOKEN_HERE' \
  -n midaz

2. Referencie o secret no seu arquivo de values do Helm para injetá-lo como variável de ambiente:

extraEnvs:
  - name: OTEL_API_KEY
    valueFrom:
      secretKeyRef:
        name: otel-api-key
        key: OTEL_API_KEY

3. A telemetria é enviada com segurança para o endpoint de telemetria da Lerian via HTTPS, com a API key incluída nos headers.

<https://telemetry.lerian.io:443>

​

Criptografia de dados em trânsito

• A comunicação entre o Client Collector e o Central Collector é totalmente criptografada.
• Os dados em trânsito são protegidos contra interceptação, adulteração ou acesso não autorizado.
• Mesmo se o tráfego de rede for inspecionado, o conteúdo permanece ilegível sem as chaves criptográficas adequadas.

​

Roteamento duplo

​

Exemplo

exporters:
  otlphttp/server:
    endpoint: "<https://telemetry.lerian.io:443>"
    headers:
      x-api-key: "${OTEL_API_KEY}"
  prometheus/local:
    endpoint: prometheus-server-example:8889

​

Glossário