Modelli multimodali

Modelli che leggono immagini, documenti o video insieme al testo.

Disponibili
38di 69
Provider
6
Fascia di prezzo
0,00030 USD – 0,1021 USDper esecuzione predefinita

38 modelli

  • Nuovo

    Anthropic's April 2026 flagship. 87.6% on SWE-bench Verified, 3x higher image resolution, output self-verification, vision + reasoning.

    reasoningagenticvision

    Modalità: Testo, Immagine1 Mln contesto

    6,00 USD/1M in

    30,00 USD/1M out

  • Nuovo

    Anthropic's balanced mid-tier model from February 2026. Best price/performance for production workloads: 5x cheaper than Opus, near-flagship quality.

    balancedproductionagentic

    Modalità: Testo, Immagine1 Mln contesto

    3,60 USD/1M in

    18,00 USD/1M out

  • Gemini 3 Flash

    Google DeepMind

    Nuovo

    Google's April 2026 fast multimodal model. Combines Gemini 3 Pro's reasoning with Flash-tier latency and price. Default model in the Gemini app.

    balancedmultimodallow-latency

    Modalità: Testo, Immagine, Video, Audio1 Mln contesto

    0,60 USD/1M in

    3,60 USD/1M out

  • Gemini 3.1 Pro

    Google DeepMind

    Nuovo

    Google DeepMind's February 2026 flagship. 1M-token (1,048,576) context, native multimodal (text/image/audio/video), Deep Think reasoning.

    multimodaldeep-thinklong-context

    Modalità: Testo, Immagine, Video, Audio1 Mln contesto

    2,40 USD/1M in

    14,40 USD/1M out

  • GPT-5.4

    OpenAI

    Nuovo

    OpenAI's unified flagship combining GPT and o-series reasoning into one model. 1M context, multimodal, top SWE-Bench Pro and OSWorld scores.

    reasoningagenticvision

    Modalità: Testo, Immagine1,1 Mln contesto

    3,00 USD/1M in

    18,00 USD/1M out

  • Nuovo

    OpenAI's efficient mid-tier model. 2x faster than its predecessor, 400k context, approaches GPT-5.4 quality on SWE-Bench Pro at a fraction of the cost.

    balancedcost-efficientvision

    Modalità: Testo, Immagine400K contesto

    0,90 USD/1M in

    5,40 USD/1M out

  • BLIP

    Salesforce

    Salesforce BLIP. Vision-language model for image captioning and visual question answering. Given an image it writes a short natural-language caption, or answers a question about the image when one is supplied. A widely used baseline for automatic captioning.

    blipcaptioningvqa

    Modalità: Testo, Immagine

    ≈ 0,00030 USD/esecuzione

  • pharmapsychotic's CLIP Interrogator. Takes an image and produces a Stable-Diffusion-style text prompt by combining BLIP captioning with CLIP to rank likely subjects, artists, mediums and styles. Commonly used to reverse-engineer a prompt from an existing picture.

    clip-interrogatorcaptioningtagging

    Modalità: Testo, Immagine

    ≈ 0,0457 USD/esecuzione

  • Monocular depth-estimation model trained on 595k labeled and 62M unlabeled images. Strong zero-shot generalization in indoor and outdoor scenes.

    depthvision-understandingopen-weights

    Modalità: Testo, Immagine

    ≈ 0,0050 USD/esecuzione

  • Meta Segment Anything 2. Promptable segmentation across images and video with temporal memory. Zero-shot, point/box/mask prompts, fast on a single H100.

    segmentationvision-understandingopen-weights

    Modalità: Testo, Immagine, Video

    ≈ 0,018 USD/esecuzione

  • Nuovo

    Anthropic's fastest and cheapest 4.x model. Strong vision and tool use at ultra-low latency, ideal for high-concurrency workloads.

    cost-efficientlow-latencyvision

    Modalità: Testo, Immagine200K contesto

    1,20 USD/1M in

    6,00 USD/1M out

  • Nuovo

    OpenAI's smallest and cheapest GPT-5.4 variant. Built for high-volume classification, extraction and coding subagents at edge-grade latency.

    cost-efficientlow-latencyvision

    Modalità: Testo, Immagine400K contesto

    0,24 USD/1M in

    1,50 USD/1M out

  • CogVLM2 19B

    Community

    Tsinghua CogVLM2 19B with Llama-3 8B base plus 11B vision expert. Strong document understanding and visual reasoning, 8k context.

    multimodalvision-understandingtsinghua

    Modalità: Testo, Immagine8,2K contesto

    ≈ 0,0114 USD/esecuzione

  • DeepSeek-VL 7B chat model. Vision-language model with hybrid vision encoder and strong real-world visual question answering performance.

    multimodalvision-understandingopen-weights

    Modalità: Testo, Immagine4,1K contesto

    ≈ 0,0086 USD/esecuzione

  • Naver CLOVA Donut OCR-free document-understanding transformer. End-to-end JSON extraction from forms, receipts and invoices without explicit OCR.

    ocrvision-understandingnaver

    Modalità: Testo, Immagine

    ≈ 0,0648 USD/esecuzione

  • Dots OCR

    Community

    Rednote Hilab Dots OCR. End-to-end document parsing model with layout, text and reading-order prediction in one transformer.

    ocrvision-understandingopen-source

    Modalità: Testo, Immagine

    ≈ 0,0132 USD/esecuzione

  • EasyOCR

    Community

    JaidedAI EasyOCR. Simple Python OCR wrapper supporting 80+ languages with deep-learning text detection and recognition.

    ocrvision-understandingmultilingual

    Modalità: Testo, Immagine

    ≈ 0,0014 USD/esecuzione

  • Microsoft Florence-2 Large. Unified prompt-based vision foundation model for captioning, detection, segmentation and OCR with a single 770M-param backbone.

    multimodalvision-understandingmicrosoft

    Modalità: Testo, Immagine

    ≈ 0,0012 USD/esecuzione

  • GLPN Depth

    Community

    Global-Local Path Networks depth-estimation model. Combines hierarchical transformer encoder with selective feature fusion for sharp boundaries.

    depthvision-understandingopen-source

    Modalità: Testo, Immagine

    ≈ 0,0094 USD/esecuzione

  • GOT-OCR 2.0

    Community

    StepFun GOT-OCR 2.0. Unified end-to-end OCR-2.0 model handling text, formulas, charts, sheet music and geometric shapes in one architecture.

    ocrvision-understandingstepfun

    Modalità: Testo, Immagine

    ≈ 0,0012 USD/esecuzione

  • Grounded-SAM

    Community

    Grounding DINO plus SAM. Open-vocabulary text-prompted detection and segmentation in one pipeline for fully-automatic mask generation.

    segmentationvision-understandingopen-vocabulary

    Modalità: Testo, Immagine

    ≈ 0,0015 USD/esecuzione

  • Idefics3 8B

    Community

    Hugging Face Idefics3 8B. Llama-3 based open-source vision-language model with strong document QA and chart-understanding performance.

    multimodalvision-understandingopen-weights

    Modalità: Testo, Immagine8,2K contesto

    ≈ 0,0012 USD/esecuzione

  • Meta Llama 3.2 11B Vision served via Ollama on Replicate. Open-weights multimodal model for image captioning, document and chart reading, and visual question answering.

    metallamavision-understanding

    Modalità: Testo, Immagine

    ≈ 0,0039 USD/esecuzione

  • Meta Llama 3.2 90B Vision. Largest open-weights Llama vision model. Strong visual reasoning, chart, OCR and document understanding.

    multimodalvision-understandingmeta

    Modalità: Testo, Immagine131,1K contesto

    ≈ 0,0070 USD/esecuzione

  • LLaVA 1.6 (LLaVA-NeXT) with a Vicuna-13B language backbone. Open vision-language chat model that describes images, answers questions, reads charts and reasons about scenes. Version 1.6 adds higher input resolution and better OCR and reasoning than LLaVA 1.5.

    llavacaptioningvqa

    Modalità: Testo, Immagine4,1K contesto

    ≈ 0,1021 USD/esecuzione

  • Lotus-G

    Community

    Lotus generative depth model. Treats depth as a generation task using a diffusion model, producing higher-fidelity depth on textured surfaces.

    depthvision-understandingdiffusion

    Modalità: Testo, Immagine

    ≈ 0,0408 USD/esecuzione

  • Marigold

    Community

    ETH Zurich Marigold. Diffusion-based monocular depth-estimation model fine-tuned from Stable Diffusion with strong fine-detail recovery.

    depthvision-understandingdiffusion

    Modalità: Testo, Immagine

    ≈ 0,0936 USD/esecuzione

  • Meta Mask2Former universal image-segmentation transformer. Single architecture for panoptic, instance and semantic segmentation tasks.

    segmentationvision-understandingtransformer

    Modalità: Testo, Immagine

    ≈ 0,0276 USD/esecuzione

  • MiDaS v3.1

    Community

    Intel MiDaS v3.1 relative depth-estimation model. Robust zero-shot single-image depth across diverse domains and resolutions.

    depthvision-understandingintel

    Modalità: Testo, Immagine

    ≈ 0,00030 USD/esecuzione

  • MiniCPM-V 2.6

    Community

    OpenBMB MiniCPM-V 2.6. 8B vision-language model with strong single-image, multi-image and video understanding plus OCR capabilities.

    multimodalvision-understandingopen-weights

    Modalità: Testo, Immagine, Video32,8K contesto

    ≈ 0,0015 USD/esecuzione

  • Molmo 7B

    Community

    Allen AI Molmo 7B-D on Replicate. Open vision-language model trained on the PixMo data, notable for pointing at and locating objects in images, not just describing them.

    allenaimolmovision-understanding

    Modalità: Testo, Immagine

    ≈ 0,0505 USD/esecuzione

  • Moondream2

    Community

    Moondream2 small vision-language model on Replicate. About 1.9B params, designed to run on edge devices, handles captioning, visual QA and short OCR-style reads at very low cost.

    moondreamvision-understandingopen-source

    Modalità: Testo, Immagine

    ≈ 0,0020 USD/esecuzione

  • olmOCR

    Community

    Allen AI olmOCR. Open-source 7B vision-language model fine-tuned for high-fidelity document parsing including math, code and tables.

    ocrvision-understandingallenai

    Modalità: Testo, Immagine

    ≈ 0,0205 USD/esecuzione

  • OpenPose

    Community

    CMU OpenPose multi-person 2D pose estimator. Real-time keypoint detection for body, hand, face and foot using Part Affinity Fields.

    posevision-understandingcmu

    Modalità: Testo, Immagine, Video

    ≈ 0,0012 USD/esecuzione

  • PaddleOCR v3

    Community

    Baidu PaddleOCR v3 PP-OCR pipeline. Lightweight detector plus recognizer optimized for production use with 80+ language support.

    ocrvision-understandingbaidu

    Modalità: Testo, Immagine

    ≈ 0,0216 USD/esecuzione

  • Alibaba Qwen2-VL 7B served on Replicate. Open-weights vision-language model that chats about images and video, with dynamic resolution and strong OCR and document QA for its size.

    qwenalibabavision-understanding

    Modalità: Testo, Immagine, Video

    ≈ 0,0024 USD/esecuzione

  • Segformer B5

    Community

    NVIDIA SegFormer-B5 semantic segmentation. Hierarchical transformer encoder with lightweight MLP decoder, strong ADE20k and Cityscapes results.

    segmentationvision-understandingnvidia

    Modalità: Testo, Immagine

    ≈ 0,00030 USD/esecuzione

  • ZoeDepth

    Community

    Intel ZoeDepth metric depth-estimation model. Combines relative-depth pretraining with metric fine-tuning for absolute distance in real units.

    depthvision-understandingintel

    Modalità: Testo, Immagine

    ≈ 0,00060 USD/esecuzione

29 modelli attualmente non disponibili

Le loro pagine rimangono online, ma non possono essere eseguiti al momento.

Modelli multimodali per vision, OCR e document understanding

I modelli multimodali accettano testo più immagini (a volte più audio o video) e producono output testuale. Si ricorre a uno di questi quando l'input contiene immagini e l'output è informazione strutturata: estrarre una fattura, descrivere un grafico, trascrivere una nota scritta a mano, rispondere a domande su uno screenshot di UI.

Prezzi, compromessi e insidie

Il pricing è per token come negli LLM normali, con un dettaglio: ogni immagine viene conteggiata come un numero fisso di token — tipicamente 250-1.500 token a seconda della risoluzione e della modalità detail. Un'immagine 1024×1024 standard costa più o meno come un input di 1.000 parole di testo. La modalità ad alto dettaglio (preserva testo fine e piccoli elementi UI) costa 2-4× di più. Pianificate i budget di conseguenza — un carico di lavoro che processa migliaia di scansioni di ricevute al giorno cresce in fretta a tariffe flagship; moltiplicate il prezzo per token della pagina modello per il vostro numero di token immagine.

Il compromesso è accuratezza OCR, qualità di ragionamento e costo. I flagship (GPT-5 Vision, Claude 4.6, Gemini 2.5) leggono layout complessi e ragionano sui contenuti dei grafici in modo molto affidabile. I modelli specializzati OCR-first (Qwen 2.5 VL, Pixtral, InternVL) a volte superano sull'estrazione di puro testo a una frazione del costo. Per pipeline pure documento-to-JSON, un modello specializzato con uno schema JSON stretto di solito vince. Per carichi documento-e-ragionamento ('estrai questa fattura E dimmi se i calcoli IVA sono corretti'), vincono i flagship.

Attenzione ai limiti di risoluzione: la maggior parte dei modelli ridimensiona le immagini molto grandi prima di processarle, e questo può distruggere il testo fine negli screenshot e nei documenti densi. Pre-processate — affettate i documenti alti in immagini single-page, fate upscale delle scansioni a bassa risoluzione prima di inviarle — per preservare la leggibilità. Attenzione anche alle allucinazioni sulle regioni difficili da leggere; i modelli multimodali tendono a inventare confidentemente testo dove la fonte è illeggibile.

Le top picks qui sopra coprono il flagship più accurato, il workhorse più economico, quello che supporta la risoluzione più alta e l'opzione di streaming più veloce.

Attività tipiche

  • Estrazione di fatture e ricevute
  • OCR e strutturazione di documenti
  • Analisi di screenshot di UI
  • Lettura di grafici e diagrammi
  • Annotazione di immagini mediche e scientifiche
  • Visual QA per l'accessibilità

Domande frequenti

Quale modello multimodale legge meglio i documenti?

GPT-5 Vision e Claude 4.6 guidano su layout complessi, grafici e scritte a mano. Per OCR puro su documenti puliti, Qwen 2.5 VL e Pixtral spesso eguagliano la qualità flagship a un decimo del costo. Eseguite un campione dei vostri documenti su ciascuno prima di impegnarvi.

Come si calcola il pricing per le immagini?

Ogni immagine viene convertita in un numero fisso di token — tipicamente 250-1.500 token a seconda di risoluzione e modalità detail. Quindi un'immagine 1024×1024 costa più o meno come ~1.000 token di testo. I documenti multi-pagina si moltiplicano linearmente; controllate ogni model card per le tariffe esatte degli image-token.

Quali formati immagine sono accettati?

JPEG, PNG, WebP e GIF (primo frame) sono universali. Alcuni modelli accettano anche PDF direttamente (un'immagine per pagina). La dimensione massima del file è tipicamente 20 MB; le dimensioni massime 8K per lato. Pre-ridimensionate i file più grandi per evitare downscaling silenzioso.

Riesce a leggere la scrittura a mano?

I flagship gestiscono bene la scrittura a mano chiara e la maggior parte dei corsivi nelle lingue principali. La qualità cala su scrittura molto stilizzata, inchiostro sbiadito e stenografia complessa. Per carichi di scrittura a mano ad alto volume, fate fine-tuning su un campione del vostro dominio o accoppiate con un pre-processore OCR specializzato.

Riesce a capire grafici e diagrammi?

Sì — la lettura di grafici è uno degli use-case più forti. I flagship estraggono punti dai grafici a barre, lineari e a torta; ragionano sulle scale degli assi e identificano trend. Per figure scientifiche dense, chiedete output strutturato (CSV o JSON) invece di una descrizione narrativa.

Come gestisce le scansioni di bassa qualità?

La qualità peggiora bruscamente sotto i 150 DPI o sopra il 30% di rumore. Pre-processate con deskewing, normalizzazione del contrasto e denoising leggero. Per scansioni molto povere, fate prima girare un upscaler (da /models/image) per ripristinare la leggibilità prima di inviare.

Posso inviare più immagini in una richiesta?

Sì — la maggior parte dei flagship accetta 10-20 immagini in un singolo prompt. Utile per confrontare screenshot, processare documenti multi-pagina in un solo passaggio o analizzare sequenze di frame. Il conteggio totale dei token (inclusi tutti gli image-token) deve entrare nella finestra di contesto.

Il supporto video frame-by-frame è disponibile?

Alcuni modelli multimodali (Gemini 2.5 Pro, Qwen 2.5 VL) accettano video direttamente e campionano i frame internamente. Per altri, estraete voi i frame (ogni 1-2 secondi è tipico) e inviateli come prompt multi-immagine. Per l'analisi video in tempo reale, guardate ai modelli dedicati di video understanding.

Inizia con un'API

Tutti i modelli disponibili tramite un'API compatibile con OpenAI. Crediti prepagati in USD, nessun abbonamento.