Visão multimodal e geração de imagens e vídeos no Microsoft Foundry

radio_button_uncheckedshort_text1. Visão computacional: interpretar e criar conteúdo visual

Visão computacional é a área da IA que permite interpretar imagens, vídeos e transmissões de câmera. Seus modelos automatizam tarefas demoradas ao localizar objetos, reconhecer padrões, ler texto e compreender cenas. Modelos generativos ampliam essa capacidade: além de enxergar, a aplicação pode produzir imagens e vídeos originais.

radio_button_uncheckedshort_text2. Modelos multimodais e raciocínio visual

Um modelo multimodal trabalha com mais de um tipo de dado, como texto, imagem, áudio ou vídeo. Ao receber imagem e instrução textual no mesmo contexto, ele pode descrever a cena, responder perguntas, interpretar gráficos, ler documentos e explicar capturas de tela. Essa combinação é frequentemente chamada de GPT habilitado para visão ou GPT com visão.

Aplicações usam entendimento visual para melhorar o fluxo do usuário; agentes usam a imagem como evidência para decidir melhor. Exemplos incluem revisar documentos enviados, analisar fotografias de suporte e explicar diagramas em linguagem simples. Uma única experiência multimodal reduz a necessidade de pipelines separados para visão e linguagem.

radio_button_uncheckedshort_text3. Modelos multimodais no Microsoft Foundry

O catálogo do Microsoft Foundry oferece modelos próprios e de parceiros capazes de receber imagens. As famílias GPT-4.1, GPT-4.1-mini e GPT-4.1-nano atendem descrição, perguntas visuais, documentos, capturas, gráficos e diagramas. A família GPT-5 acrescenta raciocínio de contexto amplo, saídas estruturadas e uso de ferramentas para agentes e aplicações empresariais mais complexas.

Também existem ofertas multimodais de parceiros, inclusive modelos de fornecedores como Anthropic. Como catálogo, versões e disponibilidade regional evoluem, confirme no portal qual implantação aceita entrada visual e use sempre o nome atribuído à implantação, não apenas o nome-base do modelo.

• Descrever objetos, texto e relações presentes em uma imagem.
• Responder perguntas sobre fotografias, documentos, interfaces e cenas.
• Extrair significado de gráficos e combinar a leitura visual com instruções no mesmo prompt.
• Entregar respostas naturais ou estruturadas e, nos modelos compatíveis, acionar ferramentas.

radio_button_uncheckedshort_text4. Análise de imagens no Playground

No novo portal do Microsoft Foundry, o Model Playground permite conversar com uma implantação habilitada para visão. Você anexa uma ou mais imagens, escreve a pergunta e observa como o modelo interpreta o conteúdo antes de desenvolver a aplicação. O portal clássico possui uma interface diferente, mas o objetivo de validação é o mesmo.

radio_button_uncheckedshort_text5. Responses API com texto e imagem

Para levar o teste ao código, a OpenAI Responses API no Foundry recebe entradas multimodais nativas. Uma única solicitação contém uma instrução e uma ou mais imagens, que podem ser URLs ou dados codificados em Base64. O modelo processa tudo em conjunto e devolve texto, permitindo que usuários enviem imagens e façam perguntas em tempo real.

Base64 transforma bytes binários em texto ASCII seguro para JSON ou URL de dados. Para imagens grandes, considere custo, limite de contexto e transporte. Proteja chaves em variáveis de ambiente ou autentique com Microsoft Entra ID quando houver suporte.

radio_button_uncheckedshort_text6. Cliente Python para análise visual

Instale o pacote openai, obtenha endpoint e credencial do recurso e informe o nome da implantação. O cliente aponta para o endpoint compatível com OpenAI; responses.create recebe uma mensagem multipartes com input_text e input_image.

pip install openai

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ['FOUNDRY_KEY'],
    base_url=os.environ['FOUNDRY_ENDPOINT']
)

response = client.responses.create(
    model=os.environ['MODEL_NAME'],
    input=[{
        'role': 'user',
        'content': [
            {'type': 'input_text', 'text': 'Descreva a imagem em três tópicos.'},
            {'type': 'input_image', 'image_url': os.environ['IMAGE_URL']}
        ]
    }]
)
print(response.output_text)

radio_button_uncheckedshort_text7. Modelos de geração de imagens

Modelos de análise associam uma imagem ao texto correspondente; modelos de geração fazem o caminho inverso e criam pixels a partir de uma descrição. No Foundry, a família GPT-Image oferece geração de texto para imagem, variações e edição. GPT-Image-1.5 prioriza fidelidade, alinhamento ao prompt, consistência e fluxos empresariais; GPT-Image-1 é uma opção geral amplamente integrada; GPT-Image-1-mini reduz custo e latência em experimentos e alto volume.

O catálogo também pode oferecer modelos de terceiros, como a família FLUX da Black Forest Labs, voltada a imagens fotorealistas e flexibilidade estilística. A escolha depende de qualidade, edição, latência, custo, disponibilidade e requisitos de uso responsável.

radio_button_uncheckedshort_text8. Playground e API para geração de imagens

Depois de implantar o modelo, descreva a imagem no Playground e aguarde a geração. Pela API, a aplicação pode criar imagens novas ou editar existentes. O parâmetro model recebe o nome da implantação configurada no recurso; autenticação pode usar chave ou Microsoft Entra ID.

import base64
import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ['FOUNDRY_KEY'],
    base_url=os.environ['FOUNDRY_ENDPOINT']
)
response = client.responses.create(
    model=os.environ['IMAGE_DEPLOYMENT'],
    input='Ilustração vetorial de um robô segurando uma planta, cores suaves.',
    tools=[{'type': 'image_generation'}]
)
encoded = next(item.result for item in response.output
               if item.type == 'image_generation_call')
with open('imagem-gerada.png', 'wb') as output:
    output.write(base64.b64decode(encoded))

radio_button_uncheckedshort_text9. Geração de vídeo com Sora

Modelos de vídeo transformam instruções e referências visuais em clipes originais. Sora 1 foi o primeiro modelo texto-para-vídeo da OpenAI disponibilizado no Foundry; gera vídeos curtos, aceita imagem orientadora e oferece diferentes resoluções e durações. É útil para storyboards, animações e protótipos criativos.

Sora 2, em versão prévia no material, amplia o fluxo para texto-para-vídeo, imagem-para-vídeo e remix de vídeo. Também adiciona áudio, maior realismo e edição direcionada. Casos incluem marketing, trailers conceituais e mídia educacional. Os modelos Sora possuem proteções de IA Responsável e restrições sobre pessoas reais, personagens protegidos e categorias sensíveis.

radio_button_uncheckedshort_text10. Video Playground e interface REST

No Video Playground, escolha uma implantação, informe o conteúdo da cena e ajuste dimensões e duração. A geração leva alguns minutos e a interface disponibiliza exemplos de código. Sora é a família nativa de saída em vídeo abordada neste módulo; outros modelos multimodais podem entender texto, imagem ou áudio sem necessariamente produzir vídeo.

REST é uma interface HTTP entre programas; um SDK é uma camada mais amigável sobre essas operações. Quando não existe SDK para a linguagem escolhida, curl permite enviar requisições, dados e cabeçalhos diretamente à API.

radio_button_uncheckedshort_text11. Trabalho assíncrono: criar, consultar e baixar

Renderizar vídeo exige muitos recursos e não deve bloquear uma requisição síncrona. O cliente cria um trabalho, guarda o identificador retornado, consulta o estado até completed ou failed e baixa o MP4 apenas depois da conclusão. O material estima normalmente de um a cinco minutos, variando conforme duração, resolução e capacidade.

• Pré-requisitos: recurso Foundry/Azure OpenAI em região compatível e uma implantação Sora.
• Autenticação: chave de API ou Microsoft Entra ID.
• Endpoints distintos iniciam o trabalho, consultam o estado e entregam o conteúdo final.

curl -X POST "$FOUNDRY_ENDPOINT/videos"   -H "Content-Type: application/json"   -H "api-key: $AZURE_OPENAI_API_KEY"   -d '{"model":"sora-2","prompt":"Chuva em uma janela neon","size":"1280x720","seconds":"8"}'

curl -X GET "$FOUNDRY_ENDPOINT/videos/{video_id}"   -H "api-key: $AZURE_OPENAI_API_KEY"

curl -L "$FOUNDRY_ENDPOINT/videos/{video_id}/content?variant=video"   -H "api-key: $AZURE_OPENAI_API_KEY" --output resultado.mp4

radio_button_uncheckedshort_text12. Exercício e verificação de conhecimento

O exercício de aproximadamente 30 minutos usa modelos generativos no Microsoft Foundry para trabalhar com dados visuais. É necessária uma assinatura do Azure; novas contas podem ter créditos gratuitos por 30 dias. O laboratório percorre análise de imagens e experiências de geração visual.

• Iniciar o exercício original do Microsoft Learn

radio_button_uncheckedshort_text13. Resumo e referências oficiais

Modelos multimodais ligam visão e linguagem para analisar documentos, fotografias, telas e gráficos. A família GPT-Image cria e edita imagens; Sora cria e transforma vídeos por um fluxo assíncrono. Playground, Responses API, APIs de imagem e REST permitem validar e integrar essas capacidades em assistentes visuais, acessibilidade, agentes e experiências criativas.

• Use texto e imagem juntos quando a resposta depender de contexto visual.
• Passe sempre o nome da implantação e mantenha credenciais fora do código.
• Escolha o modelo pela modalidade de saída: entendimento, imagem ou vídeo.
• Valide qualidade, direitos de uso, filtros de conteúdo, custo, latência e disponibilidade regional.

• Início rápido de análise de imagens
• Modelos de chat habilitados para visão
• Geração de imagens no Azure OpenAI
• Geração de vídeo com Sora