Modelos Multimodales

Modelos que leen imágenes, documentos o video junto con texto.

Disponible
38de 69
Proveedores
6
Rango de precio
USD 0.00030 – USD 0.1021por ejecución predeterminada

38 modelos

  • Nuevo

    Anthropic's April 2026 flagship. 87.6% on SWE-bench Verified, 3x higher image resolution, output self-verification, vision + reasoning.

    reasoningagenticvision

    Modalidades: Texto, Imagen1 M contexto

    USD 6.00/1M entrada

    USD 30.00/1M salida

  • Nuevo

    Anthropic's balanced mid-tier model from February 2026. Best price/performance for production workloads: 5x cheaper than Opus, near-flagship quality.

    balancedproductionagentic

    Modalidades: Texto, Imagen1 M contexto

    USD 3.60/1M entrada

    USD 18.00/1M salida

  • Gemini 3 Flash

    Google DeepMind

    Nuevo

    Google's April 2026 fast multimodal model. Combines Gemini 3 Pro's reasoning with Flash-tier latency and price. Default model in the Gemini app.

    balancedmultimodallow-latency

    Modalidades: Texto, Imagen, Video, Audio1 M contexto

    USD 0.60/1M entrada

    USD 3.60/1M salida

  • Gemini 3.1 Pro

    Google DeepMind

    Nuevo

    Google DeepMind's February 2026 flagship. 1M-token (1,048,576) context, native multimodal (text/image/audio/video), Deep Think reasoning.

    multimodaldeep-thinklong-context

    Modalidades: Texto, Imagen, Video, Audio1 M contexto

    USD 2.40/1M entrada

    USD 14.40/1M salida

  • GPT-5.4

    OpenAI

    Nuevo

    OpenAI's unified flagship combining GPT and o-series reasoning into one model. 1M context, multimodal, top SWE-Bench Pro and OSWorld scores.

    reasoningagenticvision

    Modalidades: Texto, Imagen1.1 M contexto

    USD 3.00/1M entrada

    USD 18.00/1M salida

  • Nuevo

    OpenAI's efficient mid-tier model. 2x faster than its predecessor, 400k context, approaches GPT-5.4 quality on SWE-Bench Pro at a fraction of the cost.

    balancedcost-efficientvision

    Modalidades: Texto, Imagen400 k contexto

    USD 0.90/1M entrada

    USD 5.40/1M salida

  • BLIP

    Salesforce

    Salesforce BLIP. Vision-language model for image captioning and visual question answering. Given an image it writes a short natural-language caption, or answers a question about the image when one is supplied. A widely used baseline for automatic captioning.

    blipcaptioningvqa

    Modalidades: Texto, Imagen

    ≈ USD 0.00030/ejecución

  • pharmapsychotic's CLIP Interrogator. Takes an image and produces a Stable-Diffusion-style text prompt by combining BLIP captioning with CLIP to rank likely subjects, artists, mediums and styles. Commonly used to reverse-engineer a prompt from an existing picture.

    clip-interrogatorcaptioningtagging

    Modalidades: Texto, Imagen

    ≈ USD 0.0457/ejecución

  • Monocular depth-estimation model trained on 595k labeled and 62M unlabeled images. Strong zero-shot generalization in indoor and outdoor scenes.

    depthvision-understandingopen-weights

    Modalidades: Texto, Imagen

    ≈ USD 0.0050/ejecución

  • Meta Segment Anything 2. Promptable segmentation across images and video with temporal memory. Zero-shot, point/box/mask prompts, fast on a single H100.

    segmentationvision-understandingopen-weights

    Modalidades: Texto, Imagen, Video

    ≈ USD 0.018/ejecución

  • Nuevo

    Anthropic's fastest and cheapest 4.x model. Strong vision and tool use at ultra-low latency, ideal for high-concurrency workloads.

    cost-efficientlow-latencyvision

    Modalidades: Texto, Imagen200 k contexto

    USD 1.20/1M entrada

    USD 6.00/1M salida

  • Nuevo

    OpenAI's smallest and cheapest GPT-5.4 variant. Built for high-volume classification, extraction and coding subagents at edge-grade latency.

    cost-efficientlow-latencyvision

    Modalidades: Texto, Imagen400 k contexto

    USD 0.24/1M entrada

    USD 1.50/1M salida

  • CogVLM2 19B

    Community

    Tsinghua CogVLM2 19B with Llama-3 8B base plus 11B vision expert. Strong document understanding and visual reasoning, 8k context.

    multimodalvision-understandingtsinghua

    Modalidades: Texto, Imagen8.2 k contexto

    ≈ USD 0.0114/ejecución

  • DeepSeek-VL 7B chat model. Vision-language model with hybrid vision encoder and strong real-world visual question answering performance.

    multimodalvision-understandingopen-weights

    Modalidades: Texto, Imagen4.1 k contexto

    ≈ USD 0.0086/ejecución

  • Naver CLOVA Donut OCR-free document-understanding transformer. End-to-end JSON extraction from forms, receipts and invoices without explicit OCR.

    ocrvision-understandingnaver

    Modalidades: Texto, Imagen

    ≈ USD 0.0648/ejecución

  • Dots OCR

    Community

    Rednote Hilab Dots OCR. End-to-end document parsing model with layout, text and reading-order prediction in one transformer.

    ocrvision-understandingopen-source

    Modalidades: Texto, Imagen

    ≈ USD 0.0132/ejecución

  • EasyOCR

    Community

    JaidedAI EasyOCR. Simple Python OCR wrapper supporting 80+ languages with deep-learning text detection and recognition.

    ocrvision-understandingmultilingual

    Modalidades: Texto, Imagen

    ≈ USD 0.0014/ejecución

  • Microsoft Florence-2 Large. Unified prompt-based vision foundation model for captioning, detection, segmentation and OCR with a single 770M-param backbone.

    multimodalvision-understandingmicrosoft

    Modalidades: Texto, Imagen

    ≈ USD 0.0012/ejecución

  • GLPN Depth

    Community

    Global-Local Path Networks depth-estimation model. Combines hierarchical transformer encoder with selective feature fusion for sharp boundaries.

    depthvision-understandingopen-source

    Modalidades: Texto, Imagen

    ≈ USD 0.0094/ejecución

  • GOT-OCR 2.0

    Community

    StepFun GOT-OCR 2.0. Unified end-to-end OCR-2.0 model handling text, formulas, charts, sheet music and geometric shapes in one architecture.

    ocrvision-understandingstepfun

    Modalidades: Texto, Imagen

    ≈ USD 0.0012/ejecución

  • Grounded-SAM

    Community

    Grounding DINO plus SAM. Open-vocabulary text-prompted detection and segmentation in one pipeline for fully-automatic mask generation.

    segmentationvision-understandingopen-vocabulary

    Modalidades: Texto, Imagen

    ≈ USD 0.0015/ejecución

  • Idefics3 8B

    Community

    Hugging Face Idefics3 8B. Llama-3 based open-source vision-language model with strong document QA and chart-understanding performance.

    multimodalvision-understandingopen-weights

    Modalidades: Texto, Imagen8.2 k contexto

    ≈ USD 0.0012/ejecución

  • Meta Llama 3.2 11B Vision served via Ollama on Replicate. Open-weights multimodal model for image captioning, document and chart reading, and visual question answering.

    metallamavision-understanding

    Modalidades: Texto, Imagen

    ≈ USD 0.0039/ejecución

  • Meta Llama 3.2 90B Vision. Largest open-weights Llama vision model. Strong visual reasoning, chart, OCR and document understanding.

    multimodalvision-understandingmeta

    Modalidades: Texto, Imagen131.1 k contexto

    ≈ USD 0.0070/ejecución

  • LLaVA 1.6 (LLaVA-NeXT) with a Vicuna-13B language backbone. Open vision-language chat model that describes images, answers questions, reads charts and reasons about scenes. Version 1.6 adds higher input resolution and better OCR and reasoning than LLaVA 1.5.

    llavacaptioningvqa

    Modalidades: Texto, Imagen4.1 k contexto

    ≈ USD 0.1021/ejecución

  • Lotus-G

    Community

    Lotus generative depth model. Treats depth as a generation task using a diffusion model, producing higher-fidelity depth on textured surfaces.

    depthvision-understandingdiffusion

    Modalidades: Texto, Imagen

    ≈ USD 0.0408/ejecución

  • Marigold

    Community

    ETH Zurich Marigold. Diffusion-based monocular depth-estimation model fine-tuned from Stable Diffusion with strong fine-detail recovery.

    depthvision-understandingdiffusion

    Modalidades: Texto, Imagen

    ≈ USD 0.0936/ejecución

  • Meta Mask2Former universal image-segmentation transformer. Single architecture for panoptic, instance and semantic segmentation tasks.

    segmentationvision-understandingtransformer

    Modalidades: Texto, Imagen

    ≈ USD 0.0276/ejecución

  • MiDaS v3.1

    Community

    Intel MiDaS v3.1 relative depth-estimation model. Robust zero-shot single-image depth across diverse domains and resolutions.

    depthvision-understandingintel

    Modalidades: Texto, Imagen

    ≈ USD 0.00030/ejecución

  • MiniCPM-V 2.6

    Community

    OpenBMB MiniCPM-V 2.6. 8B vision-language model with strong single-image, multi-image and video understanding plus OCR capabilities.

    multimodalvision-understandingopen-weights

    Modalidades: Texto, Imagen, Video32.8 k contexto

    ≈ USD 0.0015/ejecución

  • Molmo 7B

    Community

    Allen AI Molmo 7B-D on Replicate. Open vision-language model trained on the PixMo data, notable for pointing at and locating objects in images, not just describing them.

    allenaimolmovision-understanding

    Modalidades: Texto, Imagen

    ≈ USD 0.0505/ejecución

  • Moondream2

    Community

    Moondream2 small vision-language model on Replicate. About 1.9B params, designed to run on edge devices, handles captioning, visual QA and short OCR-style reads at very low cost.

    moondreamvision-understandingopen-source

    Modalidades: Texto, Imagen

    ≈ USD 0.0020/ejecución

  • olmOCR

    Community

    Allen AI olmOCR. Open-source 7B vision-language model fine-tuned for high-fidelity document parsing including math, code and tables.

    ocrvision-understandingallenai

    Modalidades: Texto, Imagen

    ≈ USD 0.0205/ejecución

  • OpenPose

    Community

    CMU OpenPose multi-person 2D pose estimator. Real-time keypoint detection for body, hand, face and foot using Part Affinity Fields.

    posevision-understandingcmu

    Modalidades: Texto, Imagen, Video

    ≈ USD 0.0012/ejecución

  • PaddleOCR v3

    Community

    Baidu PaddleOCR v3 PP-OCR pipeline. Lightweight detector plus recognizer optimized for production use with 80+ language support.

    ocrvision-understandingbaidu

    Modalidades: Texto, Imagen

    ≈ USD 0.0216/ejecución

  • Alibaba Qwen2-VL 7B served on Replicate. Open-weights vision-language model that chats about images and video, with dynamic resolution and strong OCR and document QA for its size.

    qwenalibabavision-understanding

    Modalidades: Texto, Imagen, Video

    ≈ USD 0.0024/ejecución

  • Segformer B5

    Community

    NVIDIA SegFormer-B5 semantic segmentation. Hierarchical transformer encoder with lightweight MLP decoder, strong ADE20k and Cityscapes results.

    segmentationvision-understandingnvidia

    Modalidades: Texto, Imagen

    ≈ USD 0.00030/ejecución

  • ZoeDepth

    Community

    Intel ZoeDepth metric depth-estimation model. Combines relative-depth pretraining with metric fine-tuning for absolute distance in real units.

    depthvision-understandingintel

    Modalidades: Texto, Imagen

    ≈ USD 0.00060/ejecución

29 modelos actualmente no disponibles

Sus páginas siguen en línea, pero no se pueden ejecutar en este momento.

Modelos multimodales para visión, OCR y comprensión de documentos

Los modelos multimodales aceptan texto más imágenes (a veces más audio o vídeo) y producen texto como salida. Recurres a uno cuando tu entrada contiene imágenes y tu salida es información estructurada: extraer una factura, describir un gráfico, transcribir una nota manuscrita, responder preguntas sobre una captura de UI.

Precios, compensaciones y trampas

La tarificación es por token como los LLM normales, con un giro: cada imagen se cuenta como un número fijo de tokens — típicamente 250-1 500 tokens según resolución y modo de detalle. Una imagen estándar de 1024×1024 cuesta aproximadamente lo mismo que una entrada de texto de 1 000 palabras. El modo alta definición (preservando texto fino y elementos pequeños de UI) cuesta 2-4× más. Planifica los presupuestos en consecuencia — una carga que procesa miles de escaneos de tickets al día sube rápido con tarifas puntero; multiplica el precio por token de la página del modelo por tu número de tokens de imagen.

El compromiso es precisión OCR, calidad de razonamiento y coste. Los punteros (GPT-5 Vision, Claude 4.6, Gemini 2.5) leen disposiciones complejas y razonan sobre contenido de gráficos con gran fiabilidad. Los modelos especializados OCR-first (Qwen 2.5 VL, Pixtral, InternVL) a veces superan en extracción de texto pura a una fracción del coste. Para pipelines puros documento-a-JSON, un modelo especializado con un esquema JSON estricto suele ganar. Para cargas documento-y-razonamiento («extrae esta factura Y dime si las cuentas del IVA están bien»), ganan los punteros.

Cuidado con los límites de resolución: la mayoría de los modelos reducen el tamaño de las imágenes muy grandes antes del procesamiento, lo cual puede destruir texto fino en capturas de pantalla y documentos densos. Pre-procesa — corta documentos altos en imágenes de página única, escala arriba escaneos de baja resolución antes de enviarlos — para preservar la legibilidad. Cuidado también con las alucinaciones en zonas difíciles de leer; los modelos multimodales tienden a inventar texto con seguridad allí donde la fuente es ilegible.

Las selecciones principales arriba cubren el puntero más preciso, el caballo de batalla más barato, el de mayor soporte de resolución y la opción streaming más rápida.

Tareas típicas

  • Extracción de facturas y tickets
  • OCR y estructuración de documentos
  • Análisis de capturas de pantalla de UI
  • Lectura de gráficos y diagramas
  • Anotación de imágenes médicas y científicas
  • QA visual para accesibilidad

Preguntas frecuentes

¿Qué modelo multimodal lee mejor los documentos?

GPT-5 Vision y Claude 4.6 lideran en disposiciones complejas, gráficos y escritura manuscrita. Para OCR puro en documentos limpios, Qwen 2.5 VL y Pixtral a menudo igualan la calidad puntero a un décimo del coste. Ejecuta una muestra de tus propios documentos en cada uno antes de comprometerte.

¿Cómo se calcula el precio para las imágenes?

Cada imagen se convierte en un recuento fijo de tokens — típicamente 250-1 500 tokens según resolución y modo de detalle. Así una imagen de 1024×1024 cuesta lo mismo que ~1 000 tokens de texto. Los documentos multipágina multiplican linealmente; consulta cada ficha del modelo para tarifas exactas imagen-token.

¿Qué formatos de imagen se aceptan?

JPEG, PNG, WebP y GIF (primer fotograma) son universales. Algunos modelos también aceptan PDF directamente (una imagen por página). El tamaño máximo del archivo es típicamente de 20 MB; las dimensiones máximas son 8K por lado. Pre-redimensiona los archivos más grandes para evitar una reducción silenciosa.

¿Puede leer escritura manuscrita?

Los punteros manejan con fiabilidad la escritura manuscrita clara y la mayoría de escrituras cursivas en idiomas principales. La calidad baja con escritura muy estilizada, tinta desvaída y taquigrafía compleja. Para cargas de alto volumen de escritura manuscrita, afina con una muestra de tu dominio o empareja con un pre-procesador OCR especializado.

¿Puede entender gráficos y diagramas?

Sí — la lectura de gráficos es uno de los casos de uso más fuertes. Los punteros extraen puntos de datos de gráficos de barras, líneas y de tarta; razonan sobre escalas de ejes e identifican tendencias. Para figuras científicas densas, pide salida estructurada (CSV o JSON) en lugar de descripción narrativa.

¿Cómo maneja escaneos de baja calidad?

La calidad se degrada bruscamente por debajo de 150 DPI o por encima del 30 % de ruido. Pre-procesa con corrección de inclinación, normalización de contraste y eliminación de ruido ligera. Para escaneos muy malos, ejecuta primero un upscaler (desde /models/image) para restaurar la legibilidad antes de enviar.

¿Puedo enviar varias imágenes en una sola petición?

Sí — la mayoría de los punteros aceptan 10-20 imágenes en un solo prompt. Útil para comparar capturas de pantalla, procesar documentos multipágina en una pasada o analizar secuencias de fotogramas. El recuento total de tokens (incluyendo todos los tokens de imagen) debe caber dentro de la ventana de contexto.

¿Se admite vídeo fotograma a fotograma?

Algunos modelos multimodales (Gemini 2.5 Pro, Qwen 2.5 VL) aceptan vídeo directamente y muestrean fotogramas internamente. Para otros, extrae los fotogramas tú mismo (cada 1-2 segundos es típico) y envíalos como un prompt multi-imagen. Para análisis de vídeo en tiempo real, mira modelos dedicados de comprensión de vídeo.

Construye con una API

Todos los modelos disponibles a través de una API compatible con OpenAI. Créditos prepagados en USD, sin suscripción.