2 Repos
Uses vision-language models as an OCR backend and for extracting structured JSON from documents using a schema.
Distinct from Structured Document Extraction: Distinct from Structured Document Extraction: focuses on using VLM backends for extraction, not general layout-to-text conversion.
Explore 2 awesome GitHub repositories matching artificial intelligence & ml · Vision-Language Model Backends. Refine with filters or upvote what's useful.
Kreuzberg is a document extraction engine that converts PDFs, Office files, images, and over 90 other formats into clean, structured text and metadata. It is built around a compiled Rust core that can be used as a native library, a command-line tool, a REST API server, or a WebAssembly module for browser-based processing. The system is designed to run entirely on self-hosted infrastructure, with no data leaving the user's environment. What distinguishes Kreuzberg is its breadth of integration surfaces and its pipeline architecture. It exposes extraction capabilities through native bindings fo
Leverages vision language models as an OCR backend and extracts structured JSON from documents using a schema, supporting 146 LLM providers.
Sparrow ist eine LLM-Plattform zur Dokumentenextraktion und eine vision-basierte Inferenz-Engine, die darauf ausgelegt ist, Bilder und PDFs in validierte, strukturierte Daten umzuwandeln. Sie fungiert als agentischer Workflow-Orchestrator, der Klassifizierungs-, Extraktions- und Validierungsaufgaben in mehrstufige Pipelines verkettet. Das System zeichnet sich durch eine Backend-agnostische Inferenzschicht aus, die Modelle über lokale GPUs, Apple Silicon und Cloud-Anbieter hinweg verwaltet. Es nutzt koordinatenbasiertes Visual Grounding, um extrahierten Text präzisen Bounding-Box-Koordinaten zuzuordnen, und verwendet hinweisgesteuerte Modellsteuerung, um die Aufmerksamkeit zu lenken und Datenformate zu normalisieren. Die Plattform deckt Workflows für Dokumentenintelligenz ab, einschließlich spezialisierter bildbasierter Tabellenverarbeitung zur Wahrung der strukturellen Integrität sowie schema-basierter Validierung zur Überprüfung der Korrektheit extrahierter Felder. Zudem bietet sie ein Dashboard zur Dokumentenanalyse für das Monitoring von API-Performance, Nutzungsstatistiken und Systemzustand. Die Architektur umfasst ein Plugin-basiertes Erweiterungssystem zur Integration von Drittanbieter-Bibliotheken für Indizierung und Orchestrierung.
Uses vision-capable language models to parse document layouts and convert visual content into structured data.