Documentos, reconhecimento óptico de caracteres, interpretação semântica, normalização, validação e integração
Tempo de estudo sugerido: 42 minutos • Nível iniciante • Conteúdo reescrito a partir dos objetivos do Microsoft Learn
Por João Ricardo Dutra••Conteúdo autoral completo
1. Extração de informações e seus cenários
Soluções de extração de informações com IA transformam conteúdo não estruturado em campos organizados. Documentos e imagens são o foco deste capítulo, mas reconhecimento de fala e técnicas multimodais também podem recuperar dados de áudio e vídeo.
O espectro vai de um aplicativo que lê nome, cargo, e-mail e telefone em uma foto de cartão de visita até automações complexas que analisam documentos financeiros, jurídicos, médicos e logísticos. A saída estruturada pode alimentar bancos de dados, e fluxos de trabalho.
A mesma disciplina de extração atende mídias e processos de negócio muito diferentes.
Informações comuns em quatro famílias de documentos.
Domínio
Documento
Campos que podem ser extraídos
Financeiro
Fatura
Fornecedor, endereço, contato, número, datas, condições de pagamento, itens, quantidades, preços, totais, impostos e isenções.
Financeiro
Recibo e extrato
Comerciante, local, ID da transação, compras, descontos, forma de pagamento, troco, pontos; contas, saldos, histórico, receita, despesas, margens, conformidade e auditoria.
Demografia, prontuário, seguro, diagnósticos, tratamentos, medicamentos, sinais vitais, agenda, códigos de cobrança e profissionais.
Logística
Frete e pedido de compra
Rastreamento, peso, dimensões, remetente, destinatário, instruções, código de mercadoria, valor, origem, fornecedor, itens, quantidades, agenda e local de entrega.
2. Como a extração combina técnicas de IA
Uma solução completa costuma executar duas grandes tarefas. Primeiro, visão computacional e reconhecimento óptico de caracteres (OCR) localizam e convertem texto visual em dados legíveis por máquina. Depois, aprendizado de máquina ou interpreta o significado e associa cada valor a um campo definido.
Em uma solicitação de reembolso, por exemplo, o sistema pode ler um recibo e retornar fornecedor, data, subtotal, imposto e total. Essa estrutura reduz digitação, acelera a análise e pode iniciar etapas automáticas de aprovação.
OCR responde o que está escrito; a extração de campos determina o significado e o destino de cada valor.
Exemplo de um recibo convertido em campos.
Campo
Valor
Fornecedor
Fourth Coffee
Data
15/08/2024
Subtotal
US$ 6,48
Imposto
US$ 0,49
Total da solicitação
US$ 6,97
3. Escolhendo a abordagem adequada
O documento é a base da arquitetura. Formulários estáveis favorecem templates; muitos formatos e layouts exigem modelos mais flexíveis. Grande volume pede automação e hardware otimizado, enquanto usos críticos podem precisar de validação humana.
Segurança e privacidade: proteger documentos confidenciais, controlar acesso e cumprir regras setoriais de armazenamento e processamento.
Capacidade computacional: deep learning e demandam recursos significativos.
Latência: respostas em tempo real podem limitar a complexidade do modelo.
Escala: serviços de nuvem acomodam melhor cargas variáveis.
Integração: compatibilidade de e formatos de dados deve ser planejada desde o início.
Serviços gerenciados reduzem o esforço de implementação e entregam escala, precisão e integração já testadas. Entre as opções citadas estão e Entendimento de Conteúdo do nas Ferramentas Foundry.
4. OCR: entrada e pré-processamento
OCR converte texto visível em imagens em conteúdo editável e pesquisável. As entradas incluem faturas e recibos digitalizados, fotos de documentos, PDFs formados por imagens, capturas de tela, formulários, notas manuscritas, quadros de vídeo e páginas renderizadas.
A qualidade inicial influencia diretamente o resultado. O pré-processamento remove ruído com filtros Gaussianos, de mediana e operações morfológicas, ou com autoencoders e CNNs de remoção de ruído. O contraste pode ser reforçado por equalização de histograma, limiarização adaptativa, correção gama ou modelos que aprendem o ajuste ideal.
A inclinação é corrigida com transformada de Hough, perfis de projeção, componentes conectados ou CNNs de regressão que estimam o ângulo. A resolução é ajustada por interpolação bicúbica, bilinear ou Lanczos; GANs e redes residuais podem aplicar super-resolução a texto de baixa qualidade.
Entrada, aprimoramento, detecção, reconhecimento e pós-processamento convertem imagem em texto utilizável.
5. Detecção de regiões e ordem de leitura
Depois do aprimoramento, a análise de layout separa texto, imagens, gráficos e espaço em branco. Abordagens clássicas usam componentes conectados, run-length encoding e segmentação por projeção. Redes como U-Net e Mask R-CNN, além de modelos de layout treinados com conjuntos como PubLayNet e arquiteturas como LayoutLM, acrescentam compreensão visual.
Caracteres são agrupados em palavras, linhas e parágrafos por distância, espaço em branco e morfologia, ou por redes de grafos e transformers. A ordem de leitura pode vir de regras geométricas com caixas delimitadoras ou de modelos sequenciais e baseados em grafos.
Regiões como cabeçalhos, corpo, legendas e tabelas também precisam ser classificadas. SVMs usam recursos manuais como fonte, posição e formatação; CNNs e Transformers aprendem essa distinção em documentos rotulados.
6. Reconhecimento de caracteres e contexto
No núcleo do OCR, o sistema extrai características de forma, tamanho, laços, extremidades e interseções. Métodos tradicionais usam momentos estatísticos, descritores de Fourier e recursos estruturais; CNNs aprendem características discriminativas diretamente dos pixels.
A classificação pode comparar templates por correlação, aplicar HMMs, SVMs ou k-vizinhos mais próximos, ou usar perceptrons multicamada, LeNet, ResNet, DenseNet e EfficientNet. A escolha deve cobrir fontes, tamanhos e estilos de escrita.
O contexto corrige ambiguidades com n-gramas, dicionários e distância de Levenshtein, LSTMs, transformers semelhantes a BERT e mecanismos de atenção. A confiança pode vir de modelos Bayesianos, probabilidades softmax ou ensembles que combinam previsões.
7. Saída e pós-processamento do OCR
Os caracteres reconhecidos são reunidos em palavras e sentenças por regras de proximidade e limiares de confiança, RNNs/LSTMs ou transformers com atenção. Parágrafos, quebras e espaçamento podem ser preservados por geometria, redes de grafos, modelos de IA documental e transformers multimodais como LayoutLM.
O resultado também registra coordenadas: transformações matemáticas ligam pixels e posições do documento; índices espaciais como R-trees e quad-trees aceleram consultas; regressão pode prever posições precisas. Por fim, dicionários, vocabulários de domínio, n-gramas, parsers probabilísticos, modelos como GPT/BERT e ensembles verificam ortografia, gramática e erros de reconhecimento.
8. de extração de campos
OCR informa qual texto existe. A extração de campos informa o que cada trecho representa e onde ele pertence nos sistemas corporativos. O recebe texto, caixas delimitadoras, páginas, ordem de leitura, confiança, linhas, parágrafos e demais informações de layout.
Posição é essencial: “12345” pode ser número de fatura, ID de cliente ou telefone conforme o rótulo e a região ao redor. O processamento segue por detecção de candidatos, associação ao esquema, normalização e integração.
A saída do OCR é interpretada, padronizada e entregue ao processo de negócio.
9. Templates, aprendizado de máquina e
Templates usam posições conhecidas, palavras âncora, pares como “Número da fatura:”, expressões regulares e comparação de strings. São rápidos, explicáveis e precisos para layouts estáveis, mas exigem manutenção manual e sofrem com variações de posição ou nomenclatura.
Modelos de aprendizado de máquina aprendem relações em documentos de exemplo. O treinamento pode ser supervisionado com campos rotulados, autossupervisionado em grandes coleções ou multimodal, combinando texto, aparência e posição. Redes neurais de grafos modelam relações espaciais, atenção destaca regiões relevantes e modelos sequência a sequência convertem texto livre em atribuições estruturadas.
LLMs permitem extração orientada por esquema: o prompt contém texto e definição dos campos, e o modelo faz o pareamento semântico. Few-shot learning adapta campos com poucos exemplos, enquanto raciocínio passo a passo pode orientar a identificação.
10. Associação, tabelas, confiança e validação
Valores simples são associados a chaves por agrupamento espacial, ordem de leitura, alinhamento, recuo e posicionamento. Reconhecimento de entidade nomeada identifica datas, valores e nomes; marcação de classe gramatical e análise de dependência ajudam a relacionar rótulos e valores.
Tabelas podem ser localizadas por CNNs especializadas, detecção de objetos ou grafos que representam células. Associação linha-coluna, detecção de cabeçalhos e processamento hierárquico recuperam itens, subtotais e estruturas aninhadas.
A confiança final combina a pontuação do OCR, aderência a padrões e coerência contextual. Regras cruzadas verificam relações, como a soma dos itens corresponder ao total da fatura.
Geometria, linguagem, regras cruzadas e confiança colaboram para formar dados confiáveis.
11. Normalização e integração corporativa
Valores brutos precisam de formatos consistentes. Datas em MM/DD/ ou DD-MM- são detectadas, desambiguadas e convertidas, por exemplo, para ISO. Moedas exigem reconhecimento de símbolo, separador de milhar e decimal; medidas podem precisar de conversão. Texto pode receber padronização de caixa, codificação e expansão de abreviações.
A qualidade é verificada por padrões de telefone e e-mail, limites numéricos e presença de campos obrigatórios. Detecção de outliers, análise de distribuição, comparação histórica e validação entre documentos revelam resultados improváveis.
Na integração, campos são mapeados para colunas e tabelas de bancos, de ou mensagens assíncronas. Renomeação, conversão de tipos e regras condicionais adaptam o esquema. Relatórios registram confiança por campo, qualidade por documento e categorias e causas de falha.
12. Exercício e avaliação
O exercício combina OCR e um modelo de linguagem grande para extrair e interpretar campos de recibos. A captura abaixo é a imagem original da interface, preservada por representar uma tela real.
Captura de tela preservada em PNG; apenas os diagramas conceituais foram redesenhados.
