Pular para o conteúdo principal
O Discovery automatiza a detecção e extração de fontes de dados através do Fetcher. Em vez de carregar arquivos manualmente, o Discovery se conecta a sistemas externos, identifica os dados disponíveis e extrai transações diretamente no Matcher.

O que o Discovery resolve


O upload manual de arquivos gera atrito em cada etapa. As equipes exportam arquivos, os transferem, monitoram falhas e reenviam quando algo dá errado. Esse processo é demorado, propenso a erros e se quebra quando o volume de dados cresce. O Discovery substitui o pipeline manual. Ele se conecta a sistemas externos através do Fetcher, detecta fontes de dados disponíveis automaticamente e traz transações para o Matcher sob demanda. Quando uma nova fonte de dados aparece — uma nova conexão bancária, um novo processador de pagamentos — o Discovery a encontra sem reconfiguração.

Como o Discovery funciona


O Discovery opera através do Fetcher, o serviço de ingestão de dados da Lerian. O Fetcher gerencia as conexões com sistemas externos: bancos de dados, APIs, armazenamentos de arquivos e plataformas bancárias. O Discovery expõe essas conexões ao Matcher e coordena o processo de extração. O fluxo de trabalho tem sete passos:
  1. Verificar status — Confirmar que o Fetcher está conectado e o Discovery está disponível.
  2. Explorar conexões — Ver todas as fontes de dados que o Fetcher tem acesso.
  3. Inspecionar uma conexão — Revisar o schema para entender quais campos estão disponíveis.
  4. Testar uma conexão — Validar a conexão antes de iniciar uma extração.
  5. Criar uma extração — Solicitar que o Matcher obtenha dados de uma fonte específica.
  6. Monitorar progresso — Acompanhar o status da extração enquanto os dados fluem.
  7. Atualizar conexões — Reescanear quando novas fontes de dados são adicionadas.

Fluxo de trabalho do Discovery


Verificar status do Discovery

Verifique se o Fetcher está conectado e o Discovery está operacional antes de começar.
curl -X GET "https://api.matcher.example.com/v1/discovery/status" \
  -H "Authorization: Bearer $TOKEN"
Referência API: Obter status do Discovery

Explorar conexões

Liste todas as fontes de dados disponíveis através do Fetcher.
curl -X GET "https://api.matcher.example.com/v1/discovery/connections" \
  -H "Authorization: Bearer $TOKEN"
A resposta lista cada conexão com seu nome, tipo (banco de dados, API, armazenamento de arquivos) e status atual.
Referência API: Listar conexões

Inspecionar uma conexão

Revise o schema de uma conexão específica para entender quais campos de dados estão disponíveis antes de extrair.
curl -X GET "https://api.matcher.example.com/v1/discovery/connections/{connectionId}/schema" \
  -H "Authorization: Bearer $TOKEN"
Use a inspeção de schema para confirmar que os campos necessários — IDs de transação, valores, datas, referências — existem antes de configurar os mapeamentos de campos.
Referência API: Obter schema da conexão

Testar uma conexão

Valide que o Matcher consegue alcançar e ler de uma conexão antes de criar uma extração.
curl -X POST "https://api.matcher.example.com/v1/discovery/connections/{connectionId}/test" \
  -H "Authorization: Bearer $TOKEN"
Um teste bem-sucedido confirma conectividade e acesso de leitura. Sempre teste antes de criar uma extração — especialmente para conexões novas ou modificadas recentemente.
Referência API: Testar conexão

Criar uma extração

Solicite que o Matcher obtenha dados de transações de uma conexão específica no contexto atual.
curl -X POST "https://api.matcher.example.com/v1/discovery/connections/{connectionId}/extractions" \
  -H "Authorization: Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "contextId": "ctx_abc123",
    "dateRange": {
      "from": "2024-01-01",
      "to": "2024-01-31"
    }
  }'
A resposta retorna um ID de extração. Use-o para monitorar o progresso.
Referência API: Criar extração

Monitorar progresso da extração

Acompanhe o status de uma extração ativa. Para conjuntos de dados grandes, use o endpoint de polling para verificar o progresso incrementalmente.
# Obter status atual
curl -X GET "https://api.matcher.example.com/v1/discovery/extractions/{extractionId}" \
  -H "Authorization: Bearer $TOKEN"

# Consultar atualizações
curl -X POST "https://api.matcher.example.com/v1/discovery/extractions/{extractionId}/poll" \
  -H "Authorization: Bearer $TOKEN"
O status da extração transiciona de pendingrunningcompleted (ou failed). A resposta inclui a contagem de registros extraídos e quaisquer erros encontrados.

Atualizar conexões disponíveis

Quando novas fontes de dados são adicionadas ao Fetcher, acione uma atualização para que o Discovery as detecte.
curl -X POST "https://api.matcher.example.com/v1/discovery/refresh" \
  -H "Authorization: Bearer $TOKEN"
Referência API: Atualizar conexões

Melhores práticas


Uma extração que falha no meio da execução é mais difícil de recuperar do que um teste que falha. Teste cada conexão antes de criar uma extração — especialmente ao conectar a uma fonte nova ou após uma rotação de credenciais.
Os nomes dos campos variam entre sistemas. Um banco pode chamar a data da transação de value_date enquanto seu ledger usa posting_date. Verifique o schema antes de configurar mapeamentos de campos para evitar discrepâncias silenciosas.
Extrações grandes levam tempo. Não assuma que foram concluídas — consulte o status da extração e confirme a contagem de registros antes de iniciar uma execução de conciliação. Iniciar uma execução com dados incompletos gera exceções incorretas.
O Discovery não escaneia novas conexões automaticamente. Quando um novo processador de pagamentos é adicionado ou um novo banco de dados é incorporado ao Fetcher, acione uma atualização. Caso contrário, o Discovery não mostrará a nova fonte.
Use parâmetros de intervalo de datas para extrair apenas os dados relevantes para o período de conciliação atual. Extrair dados sem delimitar aumenta o tempo de processamento e pode trazer registros que pertencem a contextos já encerrados.

Próximos passos


Fontes externas

Configure as fontes de dados externas às quais o Discovery se conecta.

Mapeamento de campos

Mapeie campos dos dados extraídos para o modelo de transações do Matcher.

Referência API do Discovery

Referência completa da API para os endpoints do Discovery.