Tempo de estudo sugerido: 38 minutos • Nível iniciante • Conteúdo reescrito a partir dos objetivos do Microsoft Learn
Por João Ricardo Dutra••Conteúdo autoral completo
1. Introdução à visão computacional
computacional é uma área central da inteligência artificial dedicada a permitir que aplicações processem informação visual. Um veículo autônomo precisa detectar tráfego e pedestres; um caixa inteligente identifica produtos; uma campainha com câmera reconhece pessoas. Todos dependem da análise de imagens.
O computador não possui olhos biológicos, mas processa pixels vindos de fotos, vídeos ou transmissões ao vivo. A partir desses valores, o software pode reproduzir partes da percepção humana, extrair significado e agir.
O material original oferece vídeo e texto com imagens. Como a versão escrita apresenta mais detalhes, ela também pode complementar o estudo em vídeo.
2. Classificação de imagens
Classificação de imagens é uma das técnicas mais antigas da área. Um modelo treinado com grande quantidade de exemplos rotulados examina os recursos visuais de uma nova imagem e prevê um rótulo para seu assunto principal.
Em um mercado, frutas e legumes colocados sobre uma balança podem ser fotografados e classificados como maçã, laranja, banana e assim por diante. Para funcionar, o treinamento precisa de muitas imagens acompanhadas do nome correto. O aplicativo combina a classe prevista com o peso para cobrar o valor adequado.
As tarefas evoluem de um único rótulo para localização, classificação por pixel e interpretação semântica.
3. Detecção de objetos e segmentação semântica
Se o caixa precisa localizar vários itens simultaneamente, a tarefa passa a ser detecção de objetos. O modelo avalia diversas regiões e informa tanto a classe de cada objeto quanto sua posição por coordenadas de uma caixa delimitadora retangular.
Segmentação semântica oferece localização mais precisa. Em vez de apenas desenhar retângulos, o modelo classifica cada pixel segundo o objeto ao qual pertence. O resultado é uma máscara detalhada que acompanha a forma dos itens.
Diferenças entre três tarefas fundamentais.
Tarefa
Saída
Pergunta respondida
Classificação
Um rótulo e normalmente uma probabilidade.
Qual é o assunto principal?
Detecção de objetos
Classes e caixas delimitadoras com coordenadas.
Quais objetos existem e onde estão?
Segmentação semântica
Uma classe atribuída a cada pixel.
Qual região exata pertence a cada categoria?
4. Análise contextual de imagens
Modelos multimodais recentes aprendem relações entre objetos visuais e o texto que os descreve. Assim, podem interpretar semanticamente uma cena, reconhecer objetos e atividades, gerar legendas e sugerir etiquetas relevantes.
Uma fotografia pode deixar de ser apenas “maçã” e receber uma descrição como “uma pessoa comendo uma maçã”. A diferença está no contexto: o modelo relaciona pessoa, alimento e ação para produzir uma frase adequada.
5. Imagens como matrizes de pixels
Para o computador, uma imagem é uma matriz numérica. Em uma imagem 7 × 7 em escala de cinza, cada posição representa um pixel; 0 corresponde ao preto, 255 ao branco e os valores intermediários às tonalidades de cinza. As sete linhas e sete colunas definem a resolução.
Essa representação possui duas dimensões, x e y, e um único canal. Imagens coloridas normalmente usam três matrizes, ou canais, para vermelho, verde e azul (RGB). Cada pixel combina os três valores.
No exemplo colorido, o fundo roxo usa vermelho 150, verde 0 e azul 255. O quadrado amarelo central usa vermelho 255, verde 255 e azul 0.
Resolução define linhas e colunas; canais combinam intensidades de vermelho, verde e azul.
6. Filtros e convolução
Filtros alteram pixels para criar efeitos ou revelar características. Eles são definidos por pequenas matrizes de pesos chamadas kernels. Um kernel 3 × 3 é posicionado sobre uma região da imagem; cada pixel é multiplicado pelo peso correspondente e os resultados são somados para produzir um valor da nova matriz.
Kernel de Laplace
-1 -1 -1
-1 8 -1
-1 -1 -1
No primeiro do exemplo, oito produtos envolvem zeros e o último contém 255: a soma ponderada resulta em -255. Ao mover o kernel um pixel para a direita, dois valores 255 participam e o resultado passa a -510. Esses números são adicionados sequencialmente à nova matriz.
A convolução continua por toda a imagem. Valores abaixo de 0 ou acima de 255 são ajustados ao intervalo válido; como a borda externa não recebe o kernel completo, aplica-se padding, normalmente zero. O resultado é outra imagem.
O filtro percorre a imagem e destaca transições abruptas entre pixels.
O kernel apresentado é um filtro de Laplace, útil para realçar contornos. Outros kernels borram, tornam a imagem mais nítida, invertem cores ou produzem diversos efeitos. Como o kernel é convolvido sobre os pixels, o processo é chamado filtragem convolucional.
7. Redes neurais convolucionais
Efeitos visuais são úteis em editores, mas visão computacional normalmente busca significado. Redes neurais convolucionais, ou CNNs, aprendem filtros capazes de extrair mapas numéricos de características e usar esses valores para prever rótulos.
Em um classificador de frutas, os pesos dos kernels começam aleatórios. Durante o treinamento, as previsões são comparadas aos rótulos conhecidos; o erro ajusta os filtros e a rede até que eles destaquem os recursos que melhor separam maçã, banana e laranja.
Fornecer imagens rotuladas, por exemplo 0 para maçã, 1 para banana e 2 para laranja.
Aplicar uma ou mais camadas convolucionais para gerar mapas de características; pode reduzir esses mapas e enfatizar padrões relevantes.
Achatar os mapas em um vetor unidimensional.
Enviar o vetor a uma rede neural totalmente conectada.
Usar softmax ou função semelhante para obter uma probabilidade por classe, como [0,2; 0,5; 0,3].
Filtros aprendidos extraem características; a rede conectada converte-as em probabilidades.
Para uma banana, o alvo ideal seria [0,0; 1,0; 0,0]. A diferença entre previsão e alvo gera a perda; pesos da rede e dos kernels são atualizados para reduzi-la. O ciclo se repete por várias épocas até aprender parâmetros adequados. Os pesos são salvos e usados em imagens sem rótulo conhecido.
Arquiteturas reais incluem várias camadas de convolução, redução de mapas, restrição e outras transformações. O diagrama simplificado destaca o princípio: filtros convertem imagens em recursos numéricos e a rede prevê o rótulo.
8. Transformers e modelagem semântica da linguagem
CNNs sustentaram a visão computacional durante anos e também servem de base para detecção, ao combinar extração de características e regiões de interesse. Em NLP, porém, transformers abriram outra abordagem para construir modelos sofisticados.
Transformers processam grandes volumes de texto, transformam em embeddings vetoriais e usam atenção para registrar como cada se relaciona com os demais. As dimensões codificam atributos linguísticos derivados do contexto; termos usados de forma semelhante tendem a apontar em direções próximas.
Esse vocabulário semântico apoia análise de texto, tradução e geração. Modelos reais usam vetores com muitas dimensões e álgebra linear complexa; aqui importa compreender que o encoder representa relações entre entidades.
9. Transformers e patches
O Transformer, ou ViT, aplica a ideia de transformer às imagens. Em vez de textuais, extrai patches de pixels, lineariza seus valores e gera um embedding para cada parte.
A atenção avalia relações contextuais entre patches. Os vetores passam a codificar cor, forma, contraste, textura e outras características visuais. Juntos, formam um mapa multidimensional baseado nas combinações encontradas durante o treinamento.
Características que aparecem em contextos semelhantes recebem direções próximas. Um chapéu e uma cabeça, por exemplo, são frequentemente vistos juntos. O modelo não possui entendimento humano desses objetos, mas infere uma relação entre seus padrões visuais.
O ViT constrói relações contextuais entre regiões da imagem.
10. Modelos multimodais
Um transformer de linguagem cria um vocabulário linguístico; um transformer de visão cria um vocabulário visual. Quando imagens são treinadas junto a descrições, os dois encoders podem ser combinados em um modelo multimodal.
A atenção entre modalidades coloca embeddings de texto e imagem em um espaço vetorial compartilhado. Desse modo, características visuais podem ser associadas a palavras e frases. Ao receber uma imagem inédita, o modelo reconhece padrões, procura relações linguísticas nesse espaço e produz uma descrição complexa, como “uma pessoa em um parque usando chapéu e mochila”.
O espaço compartilhado relaciona texto e recursos visuais para gerar descrições, tags e respostas.
11. Geração de imagens e vídeos
A mesma arquitetura multimodal que responde em linguagem a uma imagem pode sintetizar imagens a partir de prompts. Ao reconhecer quais recursos visuais se relacionam com palavras, o modelo combina esses elementos para representar a descrição desejada.
Muitos geradores atuais usam difusão. O processo começa com pixels aleatórios e remove ruído iterativamente. A cada etapa, o modelo compara o resultado parcial ao prompt e ajusta a estrutura até produzir uma cena coerente. “Um cão carregando um graveto na boca” evolui de ruído para formas vagas e depois para a imagem final.
A remoção iterativa de ruído aproxima a imagem das características semânticas solicitadas.
Vídeo pode usar princípio semelhante, mas precisa considerar comportamento físico e progressão temporal: um cão deve apoiar as patas no chão e os quadros precisam formar uma sequência lógica de movimento.
12. Exercício e avaliação
O exercício utiliza um modelo de visão no Chat Playground para identificar o conteúdo de imagens e descrever o que encontra.
A captura real da interface foi preservada em PNG; os diagramas foram redesenhados em SVG.
