Extração de informações de documentos, áudio e vídeo no Microsoft Foundry

radio_button_uncheckedshort_text1. Por que extrair informações de conteúdo não estruturado

Faturas, formulários, recibos, contratos, chamadas gravadas e reuniões em vídeo concentram dados úteis, mas o trabalho manual de ler, digitar e conferir cada item é lento e sujeito a erros. A extração assistida por IA converte esse material em dados consistentes, pesquisáveis e prontos para automação.

radio_button_uncheckedshort_text2. Azure Content Understanding in Foundry Tools

Azure Content Understanding in Foundry Tools — apresentado em português pelo Microsoft Learn como Entendimento de Conteúdo do Azure nas Ferramentas Foundry — é uma ferramenta do recurso Microsoft Foundry que usa IA generativa e modelos especializados para entender documentos, imagens, áudio e vídeo. Ela extrai conteúdo, entidades, campos, relações e significado em um formato definido pelo usuário, normalmente JSON.

O fluxo é uniforme: o serviço ingere o arquivo; OCR, reconhecimento de fala, compreensão de linguagem e modelos multimodais analisam o conteúdo; um esquema orienta a extração; e o resultado legível por máquina pode ser armazenado, pesquisado, analisado ou enviado a sistemas posteriores. A documentação atual também descreve segmentação, classificação, pontuações de confiança e fundamentação dos campos na origem.

radio_button_uncheckedshort_text3. OCR, layout e compreensão semântica

O Reconhecimento Óptico de Caracteres (OCR) identifica caracteres em fotos e digitalizações e os converte em texto editável e pesquisável. Análise de layout preserva elementos como parágrafos, seções, tabelas, marcas de seleção, fórmulas e hierarquias. Isso é essencial, mas não resolve sozinho o significado empresarial.

Content Understanding acrescenta interpretação semântica e mapeamento por esquema. Assim, “Invoice No.”, “Invoice #” ou até um número sem rótulo podem alimentar o mesmo campo InvoiceNumber. O resultado deixa de ser uma sequência de palavras e passa a representar conceitos, relações e tipos previsíveis.

radio_button_uncheckedshort_text4. Esquema de fatura e campos aninhados

Um esquema descreve exatamente o que o processo precisa receber. Para uma fatura, campos simples incluem fornecedor, número, data, cliente, endereço, subtotal, imposto, frete e total. A coleção Itens contém objetos aninhados com descrição, preço unitário, quantidade e total da linha.

radio_button_uncheckedshort_text5. Analisadores predefinidos e personalizados

Um analisador é a unidade reutilizável que determina a modalidade, o modo de extração, o esquema de campos, a estrutura de saída e os modelos usados. Um analisador predefinido funciona sem configuração para um cenário conhecido; um analisador personalizado aplica o esquema e as regras da organização.

• prebuilt-invoice entende campos comuns de faturas.
• prebuilt-imageSearch descreve imagens para pesquisa e recuperação.
• prebuilt-audioSearch transcreve áudio, separa falantes e produz informações conversacionais.
• prebuilt-videoSearch combina quadros, trilha de áudio, tempo e resumo.
• A documentação atual também apresenta analisadores-base como prebuilt-document, prebuilt-image, prebuilt-audio e prebuilt-video.

radio_button_uncheckedshort_text6. Validar documentos no portal do Microsoft Foundry

Antes de programar, o portal permite escolher um analisador, usar arquivos de exemplo ou carregar conteúdo próprio e verificar se texto, layout e campos correspondem ao esperado. A interface nova e a clássica podem diferir, porém cumprem o mesmo papel de experimentação.

radio_button_uncheckedshort_text7. Aplicação cliente para documentos com o SDK do Python

Uma aplicação cliente é um programa que autentica no endpoint, envia o conteúdo, acompanha a operação e processa o resultado. O pacote azure-ai-contentunderstanding oferece ContentUnderstandingClient. O endpoint tem a forma https://<recurso>.services.ai.azure.com/ e a credencial pode ser uma chave com AzureKeyCredential ou Microsoft Entra ID quando configurado.

python -m pip install azure-ai-contentunderstanding

import os
from azure.ai.contentunderstanding import ContentUnderstandingClient
from azure.core.credentials import AzureKeyCredential

client = ContentUnderstandingClient(
    endpoint=os.environ['FOUNDRY_ENDPOINT'],
    credential=AzureKeyCredential(os.environ['FOUNDRY_KEY'])
)

poller = client.begin_analyze(
    analyzer_id='prebuilt-invoice',
    inputs=[{'url': os.environ['INVOICE_URL']}]
)
result = poller.result()

for content in result.contents:
    print(getattr(content, 'markdown', None))
    print(getattr(content, 'fields', None))

A resposta inclui status, analyzerId, apiVersion e contents. Campos podem registrar tipo, valor e confiança; markdown preserva conteúdo útil para leitura ou RAG. Mantenha segredos fora do código e valide valores de baixa confiança antes de decisões sensíveis.

radio_button_uncheckedshort_text8. Operação assíncrona e JSON

A análise pode demorar, portanto a API usa uma operação assíncrona. A solicitação inicial devolve um endereço em Operation-Location; o cliente consulta esse endereço até o estado mudar para Succeeded ou Failed. O SDK encapsula esse ciclo no poller retornado por begin_analyze e em result().

1. Enviar arquivo ou URL acessível ao analisador.
2. Guardar o identificador ou Operation-Location.
3. Consultar com intervalos controlados, sem um loop agressivo.
4. Ao concluir, ler contents, markdown, fields e pontuações de confiança.
5. Tratar falhas, limite de tempo e conteúdo incompatível.

radio_button_uncheckedshort_text9. Extração estruturada de áudio

Para áudio, o serviço pode produzir transcrição, diarização de falantes, resumo e campos definidos pelo esquema. Em uma caixa postal, por exemplo, um esquema pode pedir chamador, resumo, ações, telefone de retorno e contato alternativo.

radio_button_uncheckedshort_text10. Extração estruturada de vídeo

Vídeo combina pistas visuais, áudio e tempo. Em uma reunião, um esquema inicial pode pedir local, participantes presenciais, participantes remotos e total. O quadro de exemplo representa uma sala de conferência com uma pessoa presencial e três remotas, totalizando quatro.

Um esquema mais rico para a gravação pode contar presença em intervalos, identificar quem falou e o que disse, resumir a discussão e listar responsáveis e ações. A relação temporal entre quadros, fala e eventos é o diferencial em comparação com analisar uma imagem isolada.

radio_button_uncheckedshort_text11. Cliente para analisadores de áudio e vídeo

O mesmo padrão do cliente de documentos funciona para mídia. Use prebuilt-audioSearch ou prebuilt-videoSearch, forneça uma URL acessível e aguarde o poller. Conforme o analisador e o esquema, contents pode conter transcrição/markdown, campos estruturados, segmentos e metadados temporais.

analyzer_id = 'prebuilt-audioSearch'
inputs = [{'url': 'https://example.org/samples/voicemail.wav'}]

poller = client.begin_analyze(analyzer_id=analyzer_id, inputs=inputs)
result = poller.result()

for content in result.contents:
    print('TRANSCRIÇÃO:', getattr(content, 'markdown', None))
    print('CAMPOS:', getattr(content, 'fields', None))

radio_button_uncheckedshort_text12. Exercício e avaliação comentada

O exercício de aproximadamente 25 minutos usa Azure Content Understanding no Microsoft Foundry para analisar documentos. É necessária uma assinatura do Azure; novas contas podem oferecer créditos gratuitos nos primeiros 30 dias. Compare o conteúdo real com campos e JSON antes de automatizar.

• Iniciar o exercício original do Microsoft Learn

radio_button_uncheckedshort_text13. Resumo e referências oficiais

Content Understanding aplica um fluxo único a documentos, imagens, áudio e vídeo: ingerir, extrair conteúdo, interpretar com IA, mapear para um esquema e devolver dados estruturados. Analisadores predefinidos aceleram cenários comuns; analisadores personalizados dão consistência ao domínio; portal, API REST e SDK do Python atendem da validação à automação em escala.

• Use OCR para recuperar texto e layout; use esquema e semântica para obter significado empresarial.
• Modele coleções aninhadas quando o documento contém grupos repetidos, como itens de fatura.
• Teste no portal e integre somente após verificar campos, JSON e confiança.
• Trate análise como assíncrona e proteja endpoint, chaves, dados pessoais e gravações.

• Visão geral do Azure Content Understanding
• Glossário do Content Understanding
• Referência de analisadores
• Início rápido da API REST
• SDK do Azure Content Understanding para Python