Awesome GitHub RepositoriesBatch Input Processing

Pkl is a configuration-as-code language used to define, validate, and generate structured configuration files. It functions as a type-safe configuration generator that enforces data integrity through a strongly-typed schema, ensuring configuration values meet defined constraints and types during evaluation. The project distinguishes itself by acting as both a configuration file generator and a binding generator. It transforms high-level programmable definitions into static formats such as JSON, YAML, or XML, and produces language-specific source code to synchronize settings and provide type s

jc is a tool that transforms plain-text results from command-line utilities, system tools, log formats, and text tables into structured JSON data. It functions as a structured data transformer capable of converting various file formats, including CSV, INI, XML, and YAML, into JSON representations for programmatic use. The project includes a collection of specific parsers for Unix commands and system tools such as df, blkid, and various package managers. It also features specialized converters for web server logs, Common Log Format, and Common Event Format strings. The tool covers broad capab

Kreuzberg is a document extraction engine that converts PDFs, Office files, images, and over 90 other formats into clean, structured text and metadata. It is built around a compiled Rust core that can be used as a native library, a command-line tool, a REST API server, or a WebAssembly module for browser-based processing. The system is designed to run entirely on self-hosted infrastructure, with no data leaving the user's environment. What distinguishes Kreuzberg is its breadth of integration surfaces and its pipeline architecture. It exposes extraction capabilities through native bindings fo

Depth-Anything is a monocular depth estimation foundation model that produces dense per-pixel depth maps from a single RGB image. It is built on a DINOv2 Vision Transformer encoder backbone and trained on 62 million unlabeled images using a teacher-student pseudo-labeling framework, enabling robust generalization across diverse scenes without task-specific training. The model outputs both relative depth maps, which capture the ordering of scene points, and metric depth maps with real-world units after fine-tuning on datasets like NYUv2 or KITTI. The project distinguishes itself through its ab

Stanza is a Python natural language processing library designed for tokenization, lemmatization, and dependency parsing across many human languages using neural models. It provides a neural processing pipeline that converts raw text into structured linguistic data objects, alongside a specialized analyzer for extracting medical insights from clinical and biomedical language. The project includes a wrapper that connects Python scripts to Java-based natural language processing tools and remote annotation servers. This enables a bridge for extracting linguistic annotations and analysis data from

ailab is a deep learning tool designed to upscale anime-style images, increasing their resolution while preserving fine details. It is built around a cascade U-Net architecture, a multi-stage neural network model that refines image quality through successive stages, and uses PyTorch for inference. The tool specializes in enhancing anime and cartoon-style artwork, applying super-resolution techniques to boost pixel dimensions without sacrificing visual fidelity. It processes images through a pipeline that includes tensor preprocessing, model inference, and post-processing pixel reconstruction,

Valhalla is an open-source routing engine that calculates optimal paths and travel times using OpenStreetMap data. It is built around a tiled routing graph framework, allowing map data to be organized into small geographic tiles for efficient regional updates and offline routing capability. The project distinguishes itself through a multimodal routing server that combines automobile, pedestrian, bicycle, and public transit modes into single journeys. It includes a GPS trace matching engine to align noisy coordinates to the most probable road network paths and an isochrone and matrix generator

Trafilatura is a Python library and command-line tool for extracting clean, structured text and metadata from web pages. It downloads HTML content, identifies the main body of text, and strips away navigation, ads, and other boilerplate, returning the core article content along with fields like title, author, date, and URL. The tool can also extract user comments and test whether a page contains extractable text, making it a general-purpose web text extraction library. What distinguishes Trafilatura from simpler extractors is its configurable extraction pipeline, which offers high-speed, high

Acest proiect este un scraper specializat pentru API-ul TikTok și un extractor de date. Funcționează ca un web scraper bazat pe proxy, conceput pentru a colecta metadate ale utilizatorilor, postări video și feed-uri de trenduri, oferind în același timp un pipeline de date prin webhook pentru a direcționa informațiile extrase către URL-uri externe prin cereri HTTP. Instrumentul include un downloader de videoclipuri fără watermark care salvează conținutul la înaltă definiție în stocarea locală. Utilizează semnarea criptografică a cererilor pentru autentificarea serverului și folosește autentificarea prin cookie-uri de sesiune combinată cu rotația de proxy-uri pentru a gestiona traficul de rețea și a evita limitările de rată (rate limits). Capabilitățile acoperă extracția de conținut în masă prin pipeline-uri de procesare batch și recuperarea metadatelor pentru profiluri, hashtag-uri și piese muzicale. Datele extrase sunt exportate în formate structurate JSON sau CSV, iar urmărirea stării locale este utilizată pentru a înregistra istoricul descărcărilor și a preveni cererile duplicate.

Text Embeddings Inference este un server de inferență de înaltă performanță conceput pentru a găzdui modele de embedding de text și clasificare a secvențelor ca endpoint-uri API scalabile. Oferă un API de vector embedding pentru a converti textul în reprezentări dense și un server de reranking cross-encoder pentru a puncta relevanța secvențelor de documente față de o interogare. Proiectul dispune de un motor de inferență accelerat GPU care utilizează batching dinamic și nuclee specializate pentru a maximiza throughput-ul. Oferă o interfață binară de înaltă performanță prin gRPC ca alternativă la HTTP standard pentru a reduce latența rețelei și overhead-ul de serializare. Sistemul acoperă o gamă largă de capabilități, inclusiv clasarea similarității documentelor, reranking-ul textului multilingv și clasificarea secvențelor pentru predicția categoriilor sau a sentimentului. Suportă diverse medii de deployment, variind de la containere serverless cu auto-scaling până la instalații izolate (air-gapped). Accelerarea hardware este disponibilă pentru GPU-uri NVIDIA, GPU-uri AMD și Apple Metal.

Acest proiect este un framework de servire a modelelor PyTorch conceput pentru a deploya și scala modele de machine learning în producție prin endpoint-uri de rețea scalabile. Funcționează ca un server de inferență de înaltă performanță, optimizator și manager al ciclului de viață al modelelor care gestionează încărcarea modelelor, batching-ul cererilor și accelerarea hardware. Sistemul se distinge prin capabilități avansate de orchestrare și optimizare, cum ar fi înlănțuirea mai multor modele în fluxuri de lucru secvențiale folosind grafuri de execuție și utilizarea batching-ului dinamic pentru a îmbunătăți throughput-ul și latența. Oferă suport specializat pentru AI generativ și modele de limbaj mari (LLM) prin batching continuu și paralelism tensorial. Ariile largi de capabilități includ gestionarea resurselor GPU pe diverse hardware-uri precum NVIDIA, AMD și Apple Silicon, precum și gestionarea cuprinzătoare a ciclului de viață al modelelor pentru înregistrare, versionare și scalarea worker-ilor. De asemenea, integrează instrumente de observabilitate pentru urmărirea stării sistemului și a performanței modelului prin metrici compatibile cu Prometheus. Serverul este gestionat printr-o interfață de linie de comandă utilizată pentru controlul ciclului de viață și configurarea parametrilor de runtime.

CTranslate2 is a C++ inference engine and runtime for Transformer models, designed to execute models on both CPU and GPU with optimizations for speed and memory efficiency. It functions as a model format converter, quantization tool, and REST API server, enabling deployment of neural machine translation, automatic speech recognition, and text generation models. The engine distinguishes itself through a suite of runtime optimizations including layer fusion, weight-matrix quantization, batch-by-length grouping, and a caching allocator that reuses GPU memory. It supports tensor-parallel model di

GAM is a command-line tool for administering Google Workspace and Cloud Identity. It translates command-line arguments into structured API calls, enabling administrators to manage users, groups, organizational units, and domain settings across a Google Workspace environment. The tool handles authentication through OAuth2 flows, service accounts, and workload identity federation, and supports multi-tenant configurations for managing multiple domains or cloud projects from a single installation. GAM distinguishes itself through its batch processing and automation capabilities. It can process la

Segment Anything Fast este un motor de inferență de viziune computerizată de înaltă performanță și un framework de segmentare a imaginilor construit pentru PyTorch. Oferă un mediu specializat pentru izolarea automată a obiectelor și generarea de măști, conceput pentru a procesa seturi de date vizuale la scară largă cu un throughput crescut. Proiectul se distinge printr-o suită de strategii de optimizare la nivel de sistem care accelerează performanța modelelor de deep learning. Prin utilizarea compilării modelelor bazate pe grafuri, fuziunii kernel-urilor just-in-time și cuantificării conștiente de hardware, reduce latența computațională și amprenta de memorie. Aceste tehnici sunt completate de aritmetica cu precizie mixtă și paralelismul input-urilor batch, care permit motorului să satureze resursele hardware în timpul sarcinilor complexe de segmentare. Dincolo de capabilitățile sale de bază de segmentare, biblioteca include instrumente de diagnosticare integrate pentru profilarea performanței deep learning. Aceste utilitare permit utilizatorilor să monitorizeze tiparele de alocare a memoriei și să captureze urme de sincronizare a execuției, oferind vizibilitate asupra blocajelor sistemului în timpul analizei datelor la scară largă.