Modèles multimodaux

Modèles qui lisent des images, des documents ou des vidéos aux côtés du texte.

Disponible
38sur 69
Fournisseurs
6
Gamme de prix
0,00030 $US – 0,1021 $USpar exécution par défaut

38 modèles

  • Nouveau

    Anthropic's April 2026 flagship. 87.6% on SWE-bench Verified, 3x higher image resolution, output self-verification, vision + reasoning.

    reasoningagenticvision

    Modalités: Texte, Image1 M contexte

    6,00 $US/1M entrée

    30,00 $US/1M sortie

  • Nouveau

    Anthropic's balanced mid-tier model from February 2026. Best price/performance for production workloads: 5x cheaper than Opus, near-flagship quality.

    balancedproductionagentic

    Modalités: Texte, Image1 M contexte

    3,60 $US/1M entrée

    18,00 $US/1M sortie

  • Gemini 3 Flash

    Google DeepMind

    Nouveau

    Google's April 2026 fast multimodal model. Combines Gemini 3 Pro's reasoning with Flash-tier latency and price. Default model in the Gemini app.

    balancedmultimodallow-latency

    Modalités: Texte, Image, Vidéo, Audio1 M contexte

    0,60 $US/1M entrée

    3,60 $US/1M sortie

  • Gemini 3.1 Pro

    Google DeepMind

    Nouveau

    Google DeepMind's February 2026 flagship. 1M-token (1,048,576) context, native multimodal (text/image/audio/video), Deep Think reasoning.

    multimodaldeep-thinklong-context

    Modalités: Texte, Image, Vidéo, Audio1 M contexte

    2,40 $US/1M entrée

    14,40 $US/1M sortie

  • GPT-5.4

    OpenAI

    Nouveau

    OpenAI's unified flagship combining GPT and o-series reasoning into one model. 1M context, multimodal, top SWE-Bench Pro and OSWorld scores.

    reasoningagenticvision

    Modalités: Texte, Image1,1 M contexte

    3,00 $US/1M entrée

    18,00 $US/1M sortie

  • Nouveau

    OpenAI's efficient mid-tier model. 2x faster than its predecessor, 400k context, approaches GPT-5.4 quality on SWE-Bench Pro at a fraction of the cost.

    balancedcost-efficientvision

    Modalités: Texte, Image400 k contexte

    0,90 $US/1M entrée

    5,40 $US/1M sortie

  • BLIP

    Salesforce

    Salesforce BLIP. Vision-language model for image captioning and visual question answering. Given an image it writes a short natural-language caption, or answers a question about the image when one is supplied. A widely used baseline for automatic captioning.

    blipcaptioningvqa

    Modalités: Texte, Image

    ≈ 0,00030 $US/exécution

  • pharmapsychotic's CLIP Interrogator. Takes an image and produces a Stable-Diffusion-style text prompt by combining BLIP captioning with CLIP to rank likely subjects, artists, mediums and styles. Commonly used to reverse-engineer a prompt from an existing picture.

    clip-interrogatorcaptioningtagging

    Modalités: Texte, Image

    ≈ 0,0457 $US/exécution

  • Monocular depth-estimation model trained on 595k labeled and 62M unlabeled images. Strong zero-shot generalization in indoor and outdoor scenes.

    depthvision-understandingopen-weights

    Modalités: Texte, Image

    ≈ 0,0050 $US/exécution

  • Meta Segment Anything 2. Promptable segmentation across images and video with temporal memory. Zero-shot, point/box/mask prompts, fast on a single H100.

    segmentationvision-understandingopen-weights

    Modalités: Texte, Image, Vidéo

    ≈ 0,018 $US/exécution

  • Nouveau

    Anthropic's fastest and cheapest 4.x model. Strong vision and tool use at ultra-low latency, ideal for high-concurrency workloads.

    cost-efficientlow-latencyvision

    Modalités: Texte, Image200 k contexte

    1,20 $US/1M entrée

    6,00 $US/1M sortie

  • Nouveau

    OpenAI's smallest and cheapest GPT-5.4 variant. Built for high-volume classification, extraction and coding subagents at edge-grade latency.

    cost-efficientlow-latencyvision

    Modalités: Texte, Image400 k contexte

    0,24 $US/1M entrée

    1,50 $US/1M sortie

  • CogVLM2 19B

    Community

    Tsinghua CogVLM2 19B with Llama-3 8B base plus 11B vision expert. Strong document understanding and visual reasoning, 8k context.

    multimodalvision-understandingtsinghua

    Modalités: Texte, Image8,2 k contexte

    ≈ 0,0114 $US/exécution

  • DeepSeek-VL 7B chat model. Vision-language model with hybrid vision encoder and strong real-world visual question answering performance.

    multimodalvision-understandingopen-weights

    Modalités: Texte, Image4,1 k contexte

    ≈ 0,0086 $US/exécution

  • Naver CLOVA Donut OCR-free document-understanding transformer. End-to-end JSON extraction from forms, receipts and invoices without explicit OCR.

    ocrvision-understandingnaver

    Modalités: Texte, Image

    ≈ 0,0648 $US/exécution

  • Dots OCR

    Community

    Rednote Hilab Dots OCR. End-to-end document parsing model with layout, text and reading-order prediction in one transformer.

    ocrvision-understandingopen-source

    Modalités: Texte, Image

    ≈ 0,0132 $US/exécution

  • EasyOCR

    Community

    JaidedAI EasyOCR. Simple Python OCR wrapper supporting 80+ languages with deep-learning text detection and recognition.

    ocrvision-understandingmultilingual

    Modalités: Texte, Image

    ≈ 0,0014 $US/exécution

  • Microsoft Florence-2 Large. Unified prompt-based vision foundation model for captioning, detection, segmentation and OCR with a single 770M-param backbone.

    multimodalvision-understandingmicrosoft

    Modalités: Texte, Image

    ≈ 0,0012 $US/exécution

  • GLPN Depth

    Community

    Global-Local Path Networks depth-estimation model. Combines hierarchical transformer encoder with selective feature fusion for sharp boundaries.

    depthvision-understandingopen-source

    Modalités: Texte, Image

    ≈ 0,0094 $US/exécution

  • GOT-OCR 2.0

    Community

    StepFun GOT-OCR 2.0. Unified end-to-end OCR-2.0 model handling text, formulas, charts, sheet music and geometric shapes in one architecture.

    ocrvision-understandingstepfun

    Modalités: Texte, Image

    ≈ 0,0012 $US/exécution

  • Grounded-SAM

    Community

    Grounding DINO plus SAM. Open-vocabulary text-prompted detection and segmentation in one pipeline for fully-automatic mask generation.

    segmentationvision-understandingopen-vocabulary

    Modalités: Texte, Image

    ≈ 0,0015 $US/exécution

  • Idefics3 8B

    Community

    Hugging Face Idefics3 8B. Llama-3 based open-source vision-language model with strong document QA and chart-understanding performance.

    multimodalvision-understandingopen-weights

    Modalités: Texte, Image8,2 k contexte

    ≈ 0,0012 $US/exécution

  • Meta Llama 3.2 11B Vision served via Ollama on Replicate. Open-weights multimodal model for image captioning, document and chart reading, and visual question answering.

    metallamavision-understanding

    Modalités: Texte, Image

    ≈ 0,0039 $US/exécution

  • Meta Llama 3.2 90B Vision. Largest open-weights Llama vision model. Strong visual reasoning, chart, OCR and document understanding.

    multimodalvision-understandingmeta

    Modalités: Texte, Image131,1 k contexte

    ≈ 0,0070 $US/exécution

  • LLaVA 1.6 (LLaVA-NeXT) with a Vicuna-13B language backbone. Open vision-language chat model that describes images, answers questions, reads charts and reasons about scenes. Version 1.6 adds higher input resolution and better OCR and reasoning than LLaVA 1.5.

    llavacaptioningvqa

    Modalités: Texte, Image4,1 k contexte

    ≈ 0,1021 $US/exécution

  • Lotus-G

    Community

    Lotus generative depth model. Treats depth as a generation task using a diffusion model, producing higher-fidelity depth on textured surfaces.

    depthvision-understandingdiffusion

    Modalités: Texte, Image

    ≈ 0,0408 $US/exécution

  • Marigold

    Community

    ETH Zurich Marigold. Diffusion-based monocular depth-estimation model fine-tuned from Stable Diffusion with strong fine-detail recovery.

    depthvision-understandingdiffusion

    Modalités: Texte, Image

    ≈ 0,0936 $US/exécution

  • Meta Mask2Former universal image-segmentation transformer. Single architecture for panoptic, instance and semantic segmentation tasks.

    segmentationvision-understandingtransformer

    Modalités: Texte, Image

    ≈ 0,0276 $US/exécution

  • MiDaS v3.1

    Community

    Intel MiDaS v3.1 relative depth-estimation model. Robust zero-shot single-image depth across diverse domains and resolutions.

    depthvision-understandingintel

    Modalités: Texte, Image

    ≈ 0,00030 $US/exécution

  • MiniCPM-V 2.6

    Community

    OpenBMB MiniCPM-V 2.6. 8B vision-language model with strong single-image, multi-image and video understanding plus OCR capabilities.

    multimodalvision-understandingopen-weights

    Modalités: Texte, Image, Vidéo32,8 k contexte

    ≈ 0,0015 $US/exécution

  • Molmo 7B

    Community

    Allen AI Molmo 7B-D on Replicate. Open vision-language model trained on the PixMo data, notable for pointing at and locating objects in images, not just describing them.

    allenaimolmovision-understanding

    Modalités: Texte, Image

    ≈ 0,0505 $US/exécution

  • Moondream2

    Community

    Moondream2 small vision-language model on Replicate. About 1.9B params, designed to run on edge devices, handles captioning, visual QA and short OCR-style reads at very low cost.

    moondreamvision-understandingopen-source

    Modalités: Texte, Image

    ≈ 0,0020 $US/exécution

  • olmOCR

    Community

    Allen AI olmOCR. Open-source 7B vision-language model fine-tuned for high-fidelity document parsing including math, code and tables.

    ocrvision-understandingallenai

    Modalités: Texte, Image

    ≈ 0,0205 $US/exécution

  • OpenPose

    Community

    CMU OpenPose multi-person 2D pose estimator. Real-time keypoint detection for body, hand, face and foot using Part Affinity Fields.

    posevision-understandingcmu

    Modalités: Texte, Image, Vidéo

    ≈ 0,0012 $US/exécution

  • PaddleOCR v3

    Community

    Baidu PaddleOCR v3 PP-OCR pipeline. Lightweight detector plus recognizer optimized for production use with 80+ language support.

    ocrvision-understandingbaidu

    Modalités: Texte, Image

    ≈ 0,0216 $US/exécution

  • Alibaba Qwen2-VL 7B served on Replicate. Open-weights vision-language model that chats about images and video, with dynamic resolution and strong OCR and document QA for its size.

    qwenalibabavision-understanding

    Modalités: Texte, Image, Vidéo

    ≈ 0,0024 $US/exécution

  • Segformer B5

    Community

    NVIDIA SegFormer-B5 semantic segmentation. Hierarchical transformer encoder with lightweight MLP decoder, strong ADE20k and Cityscapes results.

    segmentationvision-understandingnvidia

    Modalités: Texte, Image

    ≈ 0,00030 $US/exécution

  • ZoeDepth

    Community

    Intel ZoeDepth metric depth-estimation model. Combines relative-depth pretraining with metric fine-tuning for absolute distance in real units.

    depthvision-understandingintel

    Modalités: Texte, Image

    ≈ 0,00060 $US/exécution

29 modèles actuellement indisponibles

Leurs pages restent en ligne, mais les modèles ne peuvent pas être exécutés pour le moment.

Modèles multimodaux pour vision, OCR et compréhension de documents

Les modèles multimodaux acceptent du texte plus des images (parfois plus de l'audio ou de la vidéo) et produisent du texte en sortie. On y a recours quand l'entrée contient des images et que la sortie est une information structurée : extraire une facture, décrire un graphique, transcrire une note manuscrite, répondre à des questions sur une capture d'écran d'UI.

Tarification, compromis et pièges

La tarification est au token comme les LLM classiques, avec une particularité : chaque image est comptée comme un nombre fixe de tokens — typiquement 250 à 1 500 tokens selon la résolution et le mode détail. Une image standard 1024×1024 coûte à peu près la même chose qu'un input texte de 1 000 mots. Le mode haute définition (préservant le texte fin et les petits éléments d'UI) coûte 2 à 4× plus. Planifiez les budgets en conséquence — une charge qui traite des milliers de scans de reçus par jour grimpe vite aux tarifs phares ; multipliez le prix au token de la page modèle par votre nombre de tokens image.

Le compromis est précision OCR, qualité de raisonnement et coût. Les phares (GPT-5 Vision, Claude 4.6, Gemini 2.5) lisent des mises en page complexes et raisonnent sur le contenu des graphiques très fidèlement. Les modèles OCR-first spécialisés (Qwen 2.5 VL, Pixtral, InternVL) surpassent parfois sur l'extraction texte pure à une fraction du coût. Pour les pipelines document-vers-JSON purs, un modèle spécialisé avec un schéma JSON strict gagne généralement. Pour les charges document-et-raisonnement (« extrait cette facture ET dis-moi si le calcul de TVA est juste »), les phares gagnent.

Attention aux limites de résolution : la plupart des modèles redimensionnent les très grandes images avant traitement, ce qui peut détruire le texte fin dans les captures d'écran et les documents denses. Pré-traitez — découpez les documents hauts en images mono-page, upscalez les scans basse résolution avant envoi — pour préserver la lisibilité. Attention aussi aux hallucinations sur les zones difficiles à lire ; les modèles multimodaux tendent à inventer avec assurance du texte là où la source est illisible.

Les top picks ci-dessus couvrent le phare le plus précis, le cheval de trait le moins cher, le support de plus haute résolution et l'option streaming la plus rapide.

Tâches typiques

  • Extraction de factures et reçus
  • OCR et structuration de documents
  • Analyse de captures d'écran d'UI
  • Lecture de graphiques
  • Annotation d'images médicales et scientifiques
  • QA visuel pour l'accessibilité

Questions fréquemment posées

Quel modèle multimodal lit le mieux les documents ?

GPT-5 Vision et Claude 4.6 mènent sur les mises en page complexes, les graphiques et l'écriture manuscrite. Pour l'OCR pur sur documents propres, Qwen 2.5 VL et Pixtral égalent souvent la qualité phare à un dixième du coût. Lancez un échantillon de vos propres documents sur chacun avant de vous engager.

Comment la tarification est-elle calculée pour les images ?

Chaque image est convertie en un nombre fixe de tokens — typiquement 250 à 1 500 tokens selon la résolution et le mode détail. Donc une image 1024×1024 coûte la même chose qu'environ 1 000 tokens de texte. Les documents multipages multiplient linéairement ; consultez chaque fiche modèle pour les tarifs image-token exacts.

Quels formats d'image sont acceptés ?

JPEG, PNG, WebP et GIF (première frame) sont universels. Certains modèles acceptent aussi PDF directement (une image par page). La taille max de fichier est typiquement de 20 Mo ; les dimensions max sont de 8K par côté. Pré-redimensionnez les fichiers plus grands pour éviter un redimensionnement silencieux.

Peut-il lire l'écriture manuscrite ?

Les phares gèrent fidèlement l'écriture manuscrite claire et la plupart des écritures cursives dans les langues majeures. La qualité chute sur l'écriture très stylisée, l'encre passée et la sténo complexe. Pour les charges manuscrites à fort volume, affinez sur un échantillon de votre domaine ou couplez avec un pré-processeur OCR spécialisé.

Peut-il comprendre des graphiques et des diagrammes ?

Oui — la lecture de graphiques est l'un des cas d'usage les plus forts. Les phares extraient les points de données des graphiques à barres, des graphiques linéaires et des camemberts ; ils raisonnent sur les échelles d'axe et identifient les tendances. Pour les figures scientifiques denses, demandez une sortie structurée (CSV ou JSON) plutôt qu'une description narrative.

Comment gère-t-il les scans de mauvaise qualité ?

La qualité se dégrade fortement sous 150 DPI ou au-dessus de 30 % de bruit. Pré-traitez avec correction d'inclinaison, normalisation de contraste et débruitage léger. Pour les très mauvais scans, lancez d'abord un upscaler (depuis /models/image) pour restaurer la lisibilité avant envoi.

Puis-je envoyer plusieurs images en une seule requête ?

Oui — la plupart des phares acceptent 10 à 20 images dans un même prompt. Utile pour comparer des captures d'écran, traiter des documents multipages en une passe ou analyser des séquences de frames. Le nombre total de tokens (incluant tous les tokens image) doit tenir dans la fenêtre de contexte.

L'analyse vidéo frame par frame est-elle prise en charge ?

Certains modèles multimodaux (Gemini 2.5 Pro, Qwen 2.5 VL) acceptent la vidéo directement et échantillonnent les frames en interne. Pour les autres, extrayez les frames vous-même (toutes les 1 à 2 secondes est typique) et envoyez-les comme prompt multi-image. Pour l'analyse vidéo temps réel, regardez les modèles de compréhension vidéo dédiés.

Commencer avec une API

Tous les modèles disponibles via une API compatible OpenAI. Crédits prépayés en USD, sans abonnement.