Modelos Multimodais

Modelos que leem imagens, documentos ou vídeo juntamente com texto.

Disponível
38de 69
Fornecedores
6
Faixa de preço
US$ 0,00030 – US$ 0,1021por execução padrão

38 modelos

  • Novo

    Anthropic's April 2026 flagship. 87.6% on SWE-bench Verified, 3x higher image resolution, output self-verification, vision + reasoning.

    reasoningagenticvision

    Modalidades: Texto, Imagem1 mi contexto

    US$ 6,00/1M entrada

    US$ 30,00/1M saída

  • Novo

    Anthropic's balanced mid-tier model from February 2026. Best price/performance for production workloads: 5x cheaper than Opus, near-flagship quality.

    balancedproductionagentic

    Modalidades: Texto, Imagem1 mi contexto

    US$ 3,60/1M entrada

    US$ 18,00/1M saída

  • Gemini 3 Flash

    Google DeepMind

    Novo

    Google's April 2026 fast multimodal model. Combines Gemini 3 Pro's reasoning with Flash-tier latency and price. Default model in the Gemini app.

    balancedmultimodallow-latency

    Modalidades: Texto, Imagem, Vídeo, Áudio1 mi contexto

    US$ 0,60/1M entrada

    US$ 3,60/1M saída

  • Gemini 3.1 Pro

    Google DeepMind

    Novo

    Google DeepMind's February 2026 flagship. 1M-token (1,048,576) context, native multimodal (text/image/audio/video), Deep Think reasoning.

    multimodaldeep-thinklong-context

    Modalidades: Texto, Imagem, Vídeo, Áudio1 mi contexto

    US$ 2,40/1M entrada

    US$ 14,40/1M saída

  • GPT-5.4

    OpenAI

    Novo

    OpenAI's unified flagship combining GPT and o-series reasoning into one model. 1M context, multimodal, top SWE-Bench Pro and OSWorld scores.

    reasoningagenticvision

    Modalidades: Texto, Imagem1,1 mi contexto

    US$ 3,00/1M entrada

    US$ 18,00/1M saída

  • Novo

    OpenAI's efficient mid-tier model. 2x faster than its predecessor, 400k context, approaches GPT-5.4 quality on SWE-Bench Pro at a fraction of the cost.

    balancedcost-efficientvision

    Modalidades: Texto, Imagem400 mil contexto

    US$ 0,90/1M entrada

    US$ 5,40/1M saída

  • BLIP

    Salesforce

    Salesforce BLIP. Vision-language model for image captioning and visual question answering. Given an image it writes a short natural-language caption, or answers a question about the image when one is supplied. A widely used baseline for automatic captioning.

    blipcaptioningvqa

    Modalidades: Texto, Imagem

    ≈ US$ 0,00030/execução

  • pharmapsychotic's CLIP Interrogator. Takes an image and produces a Stable-Diffusion-style text prompt by combining BLIP captioning with CLIP to rank likely subjects, artists, mediums and styles. Commonly used to reverse-engineer a prompt from an existing picture.

    clip-interrogatorcaptioningtagging

    Modalidades: Texto, Imagem

    ≈ US$ 0,0457/execução

  • Monocular depth-estimation model trained on 595k labeled and 62M unlabeled images. Strong zero-shot generalization in indoor and outdoor scenes.

    depthvision-understandingopen-weights

    Modalidades: Texto, Imagem

    ≈ US$ 0,0050/execução

  • Meta Segment Anything 2. Promptable segmentation across images and video with temporal memory. Zero-shot, point/box/mask prompts, fast on a single H100.

    segmentationvision-understandingopen-weights

    Modalidades: Texto, Imagem, Vídeo

    ≈ US$ 0,018/execução

  • Novo

    Anthropic's fastest and cheapest 4.x model. Strong vision and tool use at ultra-low latency, ideal for high-concurrency workloads.

    cost-efficientlow-latencyvision

    Modalidades: Texto, Imagem200 mil contexto

    US$ 1,20/1M entrada

    US$ 6,00/1M saída

  • Novo

    OpenAI's smallest and cheapest GPT-5.4 variant. Built for high-volume classification, extraction and coding subagents at edge-grade latency.

    cost-efficientlow-latencyvision

    Modalidades: Texto, Imagem400 mil contexto

    US$ 0,24/1M entrada

    US$ 1,50/1M saída

  • CogVLM2 19B

    Community

    Tsinghua CogVLM2 19B with Llama-3 8B base plus 11B vision expert. Strong document understanding and visual reasoning, 8k context.

    multimodalvision-understandingtsinghua

    Modalidades: Texto, Imagem8,2 mil contexto

    ≈ US$ 0,0114/execução

  • DeepSeek-VL 7B chat model. Vision-language model with hybrid vision encoder and strong real-world visual question answering performance.

    multimodalvision-understandingopen-weights

    Modalidades: Texto, Imagem4,1 mil contexto

    ≈ US$ 0,0086/execução

  • Naver CLOVA Donut OCR-free document-understanding transformer. End-to-end JSON extraction from forms, receipts and invoices without explicit OCR.

    ocrvision-understandingnaver

    Modalidades: Texto, Imagem

    ≈ US$ 0,0648/execução

  • Dots OCR

    Community

    Rednote Hilab Dots OCR. End-to-end document parsing model with layout, text and reading-order prediction in one transformer.

    ocrvision-understandingopen-source

    Modalidades: Texto, Imagem

    ≈ US$ 0,0132/execução

  • EasyOCR

    Community

    JaidedAI EasyOCR. Simple Python OCR wrapper supporting 80+ languages with deep-learning text detection and recognition.

    ocrvision-understandingmultilingual

    Modalidades: Texto, Imagem

    ≈ US$ 0,0014/execução

  • Microsoft Florence-2 Large. Unified prompt-based vision foundation model for captioning, detection, segmentation and OCR with a single 770M-param backbone.

    multimodalvision-understandingmicrosoft

    Modalidades: Texto, Imagem

    ≈ US$ 0,0012/execução

  • GLPN Depth

    Community

    Global-Local Path Networks depth-estimation model. Combines hierarchical transformer encoder with selective feature fusion for sharp boundaries.

    depthvision-understandingopen-source

    Modalidades: Texto, Imagem

    ≈ US$ 0,0094/execução

  • GOT-OCR 2.0

    Community

    StepFun GOT-OCR 2.0. Unified end-to-end OCR-2.0 model handling text, formulas, charts, sheet music and geometric shapes in one architecture.

    ocrvision-understandingstepfun

    Modalidades: Texto, Imagem

    ≈ US$ 0,0012/execução

  • Grounded-SAM

    Community

    Grounding DINO plus SAM. Open-vocabulary text-prompted detection and segmentation in one pipeline for fully-automatic mask generation.

    segmentationvision-understandingopen-vocabulary

    Modalidades: Texto, Imagem

    ≈ US$ 0,0015/execução

  • Idefics3 8B

    Community

    Hugging Face Idefics3 8B. Llama-3 based open-source vision-language model with strong document QA and chart-understanding performance.

    multimodalvision-understandingopen-weights

    Modalidades: Texto, Imagem8,2 mil contexto

    ≈ US$ 0,0012/execução

  • Meta Llama 3.2 11B Vision served via Ollama on Replicate. Open-weights multimodal model for image captioning, document and chart reading, and visual question answering.

    metallamavision-understanding

    Modalidades: Texto, Imagem

    ≈ US$ 0,0039/execução

  • Meta Llama 3.2 90B Vision. Largest open-weights Llama vision model. Strong visual reasoning, chart, OCR and document understanding.

    multimodalvision-understandingmeta

    Modalidades: Texto, Imagem131,1 mil contexto

    ≈ US$ 0,0070/execução

  • LLaVA 1.6 (LLaVA-NeXT) with a Vicuna-13B language backbone. Open vision-language chat model that describes images, answers questions, reads charts and reasons about scenes. Version 1.6 adds higher input resolution and better OCR and reasoning than LLaVA 1.5.

    llavacaptioningvqa

    Modalidades: Texto, Imagem4,1 mil contexto

    ≈ US$ 0,1021/execução

  • Lotus-G

    Community

    Lotus generative depth model. Treats depth as a generation task using a diffusion model, producing higher-fidelity depth on textured surfaces.

    depthvision-understandingdiffusion

    Modalidades: Texto, Imagem

    ≈ US$ 0,0408/execução

  • Marigold

    Community

    ETH Zurich Marigold. Diffusion-based monocular depth-estimation model fine-tuned from Stable Diffusion with strong fine-detail recovery.

    depthvision-understandingdiffusion

    Modalidades: Texto, Imagem

    ≈ US$ 0,0936/execução

  • Meta Mask2Former universal image-segmentation transformer. Single architecture for panoptic, instance and semantic segmentation tasks.

    segmentationvision-understandingtransformer

    Modalidades: Texto, Imagem

    ≈ US$ 0,0276/execução

  • MiDaS v3.1

    Community

    Intel MiDaS v3.1 relative depth-estimation model. Robust zero-shot single-image depth across diverse domains and resolutions.

    depthvision-understandingintel

    Modalidades: Texto, Imagem

    ≈ US$ 0,00030/execução

  • MiniCPM-V 2.6

    Community

    OpenBMB MiniCPM-V 2.6. 8B vision-language model with strong single-image, multi-image and video understanding plus OCR capabilities.

    multimodalvision-understandingopen-weights

    Modalidades: Texto, Imagem, Vídeo32,8 mil contexto

    ≈ US$ 0,0015/execução

  • Molmo 7B

    Community

    Allen AI Molmo 7B-D on Replicate. Open vision-language model trained on the PixMo data, notable for pointing at and locating objects in images, not just describing them.

    allenaimolmovision-understanding

    Modalidades: Texto, Imagem

    ≈ US$ 0,0505/execução

  • Moondream2

    Community

    Moondream2 small vision-language model on Replicate. About 1.9B params, designed to run on edge devices, handles captioning, visual QA and short OCR-style reads at very low cost.

    moondreamvision-understandingopen-source

    Modalidades: Texto, Imagem

    ≈ US$ 0,0020/execução

  • olmOCR

    Community

    Allen AI olmOCR. Open-source 7B vision-language model fine-tuned for high-fidelity document parsing including math, code and tables.

    ocrvision-understandingallenai

    Modalidades: Texto, Imagem

    ≈ US$ 0,0205/execução

  • OpenPose

    Community

    CMU OpenPose multi-person 2D pose estimator. Real-time keypoint detection for body, hand, face and foot using Part Affinity Fields.

    posevision-understandingcmu

    Modalidades: Texto, Imagem, Vídeo

    ≈ US$ 0,0012/execução

  • PaddleOCR v3

    Community

    Baidu PaddleOCR v3 PP-OCR pipeline. Lightweight detector plus recognizer optimized for production use with 80+ language support.

    ocrvision-understandingbaidu

    Modalidades: Texto, Imagem

    ≈ US$ 0,0216/execução

  • Alibaba Qwen2-VL 7B served on Replicate. Open-weights vision-language model that chats about images and video, with dynamic resolution and strong OCR and document QA for its size.

    qwenalibabavision-understanding

    Modalidades: Texto, Imagem, Vídeo

    ≈ US$ 0,0024/execução

  • Segformer B5

    Community

    NVIDIA SegFormer-B5 semantic segmentation. Hierarchical transformer encoder with lightweight MLP decoder, strong ADE20k and Cityscapes results.

    segmentationvision-understandingnvidia

    Modalidades: Texto, Imagem

    ≈ US$ 0,00030/execução

  • ZoeDepth

    Community

    Intel ZoeDepth metric depth-estimation model. Combines relative-depth pretraining with metric fine-tuning for absolute distance in real units.

    depthvision-understandingintel

    Modalidades: Texto, Imagem

    ≈ US$ 0,00060/execução

29 modelos indisponíveis no momento

As páginas permanecem online, mas os modelos não podem ser executados no momento.

Modelos multimodais para vision, OCR e document understanding

Os modelos multimodais aceitam texto mais imagens (por vezes mais áudio ou vídeo) e produzem output em texto. Recorre-se a um quando o input contém imagens e o output é informação estruturada: extrair uma fatura, descrever um gráfico, transcrever uma nota manuscrita, responder a perguntas sobre um screenshot de UI.

Preços, compensações e armadilhas

O pricing é por token como nos LLMs normais, com uma particularidade: cada imagem é contada como um número fixo de tokens — tipicamente 250-1.500 tokens conforme a resolução e o modo de detalhe. Uma imagem padrão de 1024×1024 custa aproximadamente o mesmo que um input de texto de 1.000 palavras. O modo high-detail (preservando texto fino e elementos pequenos de UI) custa 2-4× mais. Planeie orçamentos em conformidade — uma carga que processa milhares de scans de recibos por dia sobe depressa a tarifas flagship; multiplique o preço por token da página do modelo pelo seu número de tokens de imagem.

O compromisso é exatidão de OCR, qualidade de raciocínio e custo. Os flagships (GPT-5 Vision, Claude 4.6, Gemini 2.5) leem layouts complexos e raciocinam sobre o conteúdo de gráficos com grande fiabilidade. Modelos especializados OCR-first (Qwen 2.5 VL, Pixtral, InternVL) por vezes superam na extração pura de texto a uma fração do custo. Para pipelines puras de documento-para-JSON, um modelo especializado com um JSON schema estrito ganha quase sempre. Para cargas de documento-e-raciocínio ('extrai esta fatura E diz-me se as contas do IVA estão certas'), ganham os flagships.

Atenção aos limites de resolução: a maior parte dos modelos reduz imagens muito grandes antes de processar, o que pode destruir texto fino em screenshots e em documentos densos. Pré-processe — corte documentos altos em imagens single-page, faça upscale de scans de baixa resolução antes de enviar — para preservar a legibilidade. Atenção também a alucinações em regiões difíceis de ler; os modelos multimodais tendem a inventar com confiança texto onde a fonte é ilegível.

As top picks acima cobrem o flagship mais exato, o cavalo de batalha mais barato, o que suporta resolução mais alta e a opção de streaming mais rápida.

Tarefas típicas

  • Extração de faturas e recibos
  • OCR e estruturação de documentos
  • Análise de screenshots de UI
  • Leitura de gráficos e diagramas
  • Anotação de imagens médicas e científicas
  • Visual QA para acessibilidade

Perguntas frequentes

Que modelo multimodal lê melhor documentos?

O GPT-5 Vision e o Claude 4.6 lideram em layouts complexos, gráficos e manuscrito. Para OCR puro em documentos limpos, o Qwen 2.5 VL e o Pixtral costumam igualar a qualidade flagship a um décimo do custo. Corra uma amostra dos seus documentos em cada um antes de se comprometer.

Como é calculado o preço das imagens?

Cada imagem é convertida num número fixo de tokens — tipicamente 250-1.500 tokens consoante a resolução e o modo de detalhe. Por isso, uma imagem 1024×1024 custa aproximadamente o mesmo que ~1.000 tokens de texto. Documentos multipágina multiplicam linearmente; verifique cada cartão de modelo para as tarifas exatas de image-token.

Que formatos de imagem são aceites?

JPEG, PNG, WebP e GIF (primeiro frame) são universais. Alguns modelos aceitam também PDF diretamente (uma imagem por página). O tamanho máximo do ficheiro é tipicamente 20 MB; dimensões máximas 8K num dos lados. Redimensione ficheiros maiores antes para evitar downscaling silencioso.

Consegue ler manuscrito?

Os flagships lidam com manuscrito claro de forma fiável e com a maior parte da escrita cursiva nas línguas principais. A qualidade cai em escrita muito estilizada, tinta esbatida e estenografia complexa. Para cargas de manuscrito de alto volume, faça fine-tuning numa amostra do seu domínio ou combine com um pré-processador OCR especializado.

Percebe gráficos e diagramas?

Sim — a leitura de gráficos é um dos use-cases mais fortes. Os flagships extraem pontos de dados de gráficos de barras, lineares e circulares; raciocinam sobre escalas de eixos e identificam tendências. Para figuras científicas densas, peça output estruturado (CSV ou JSON) em vez de descrição narrativa.

Como lida com scans de baixa qualidade?

A qualidade degrada-se bruscamente abaixo de 150 DPI ou acima de 30% de ruído. Pré-processe com deskewing, normalização de contraste e denoising leve. Para scans muito fracos, faça primeiro correr um upscaler (de /models/image) para restaurar a legibilidade antes de enviar.

Posso enviar várias imagens num só request?

Sim — a maior parte dos flagships aceita 10-20 imagens num único prompt. Útil para comparar screenshots, processar documentos multipágina numa só passagem ou analisar sequências de frames. O número total de tokens (incluindo todos os image-tokens) tem de caber dentro da janela de contexto.

É suportado vídeo frame a frame?

Alguns modelos multimodais (Gemini 2.5 Pro, Qwen 2.5 VL) aceitam vídeo diretamente e amostram frames internamente. Noutros, extraia os frames (a cada 1-2 segundos é típico) e envie-os como prompt multi-imagem. Para análise de vídeo em tempo real, veja modelos dedicados de video understanding.

Criar com uma API

Todos os modelos disponíveis através de uma API compatível com OpenAI. Créditos pré-pagos em USD, sem assinatura.