26 dépôts
Using relative offsets within a binary blob to navigate data structures without parsing.
Distinct from Pointer-Based Navigation: Focuses on relative binary offsets for zero-copy access rather than path-based pointers to JSON/DOM elements.
Explore 26 awesome GitHub repositories matching data & databases · Offset-Based Addressing. Refine with filters or upvote what's useful.
CapnProto is a zero-copy serialization framework and remote procedure call system. It serves as a C++ communication library providing a schema-based data interchange format that eliminates the need to encode or decode data before reading it from memory. The system enables high-performance data serialization and low-latency network communication. It supports cross-language data exchange by using a defined schema to ensure consistent binary representation across different platforms. The framework provides tools for implementing remote procedure calls, allowing functions to be invoked on a remo
Enables zero-copy navigation of data structures using relative offsets within binary blobs.
Sarama is an Apache Kafka Go client library that provides native support for the Kafka protocol. It includes a protocol client for managing offsets and timestamps, a producer implementation for sending messages, and a consumer group coordinator to balance workloads across multiple instances. The library enables high throughput data streaming through concurrent message production and maintains strict partition ordering during network retries. It supports secure communication with Kafka brokers using certificate-based encryption to protect data traffic. The project covers a broad range of dist
Allows retrieving specific message offsets for given timestamps to initiate reading from precise points in time.
xsv is a suite of high-performance command-line utilities written in Rust for the analysis, manipulation, and statistical processing of large delimited datasets. It provides a toolkit for processing comma-separated value files through a command line interface. The project provides capabilities for statistical analysis, including the computation of column statistics, value frequencies, and descriptive metrics. It also includes data manipulation utilities for joining, slicing, sampling, and reformatting records. The toolkit covers a broad range of data operations including column selection, da
Uses byte-offset indexing to provide constant-time random access to rows without parsing the entire file.
WWDC is a native macOS video player and conference session manager designed for streaming and organizing developer conference videos. It functions as a video transcription browser and annotation tool, allowing users to track viewing progress and organize technical sessions into personalized learning paths. The application enables navigation through videos via searchable, multi-language text transcripts. Users can create searchable reference points by annotating specific video timestamps with custom notes and distribute content by sharing session links or extracting short video clips. The sys
Links searchable text indices to specific video time offsets for instant navigation during playback.
Silero VAD is a voice activity detection model and deep learning speech classifier designed to distinguish human speech from silence across diverse languages and noisy environments. It functions as a pre-trained neural network capable of identifying speech segments within both static audio recordings and real-time data streams. The project includes a language identification tool for classifying spoken languages and a framework for fine-tuning audio models. It provides utilities for optimizing detection thresholds using validation datasets and retraining the model with custom labeled audio to
Maps model output indices to temporal offsets to isolate specific voice segments from recordings.
Bigcache is a thread-safe, in-memory key-value store for Go designed to minimize garbage collection pauses. It functions as a memory-optimized cache capable of storing gigabytes of data while maintaining low latency during high-volume operations. The system avoids garbage collection overhead by managing memory through large byte arrays and manual allocation. It utilizes a circular-buffer layout to reuse space and lock-striped sharding to reduce contention during concurrent read and write access. The project provides capabilities for high-volume in-memory caching and low-latency data retrieva
Uses relative byte offsets within a large memory block to provide fast, zero-copy access to stored values.
Wren is an embeddable, class-based scripting language and bytecode interpreter. It provides a dependency-free virtual machine designed for integrating dynamic script execution into host applications via a C API. The language is centered on a modern object-oriented model featuring inheritance, method overloading, and first-class functions. It utilizes a concurrent fiber runtime to manage lightweight, cooperatively scheduled execution paths without relying on operating system threads. The project includes a comprehensive suite of object-oriented primitives, closure-based state capture, and a m
Implements fixed-offset field access to eliminate expensive hash table lookups for object properties.
Autocut is a text-based video editor and automatic speech recognition tool. It allows users to cut and merge video clips by modifying a text transcript instead of using a traditional timeline. The system operates as an FFmpeg video processor and subtitle manipulation utility. It converts spoken audio into text and compacts subtitle files into simplified formats, enabling the removal of unwanted video segments by deleting corresponding sentences from a transcription file. The project covers automated video transcription, non-linear video cutting, and subtitle file management. It supports hard
Generates precise video edit points by mapping text indices from a transcript to specific timecodes.
kcat est un client d'interface en ligne de commande pour Apache Kafka utilisé pour produire, consommer et déboguer des messages en utilisant le protocole filaire natif. Il fournit une suite d'outils pour interagir avec les clusters Kafka, y compris un débogueur de protocole pour inspecter les métadonnées du cluster et un gestionnaire de transactions pour gérer les lots de messages atomiques. Le projet dispose d'un décodeur de schéma Avro spécialisé qui convertit les messages encodés en binaire en JSON lisible par l'homme en s'intégrant avec des registres de schémas distants ou des fichiers locaux. De plus, il inclut un simulateur en mémoire qui permet de tester la logique du producteur et du consommateur en simulant un comportement de courtier éphémère sans nécessiter d'infrastructure externe. L'ensemble d'outils couvre un large éventail d'opérations de messagerie, y compris la prise en charge des groupes de consommateurs équilibrés, la recherche d'offset basée sur l'horodatage et le streaming de données transactionnelles à partir de l'entrée standard. Il fournit également des utilitaires pour la configuration de la sécurité des connexions et l'inspection des métadonnées du cluster.
Retrieves specific message offsets based on temporal values for targeted data recovery and analysis.
LyricsX est une application macOS qui rend les paroles de chansons synchronisées sur l'interface utilisateur du système pendant la lecture de musique. Il fonctionne comme un outil d'affichage de bureau, un agrégateur de paroles externe et un utilitaire de synchronisation. L'application récupère les paroles à partir de plusieurs sources de données distantes en utilisant les métadonnées de lecture actuelles et fournit un convertisseur de script pour traduire le texte entre les caractères chinois traditionnels et simplifiés. Elle inclut également un gestionnaire de fichiers de paroles pour importer et exporter des formats de paroles courants via des interactions de glisser-déposer. L'outil fournit des capacités de synchronisation temporelle pour faire correspondre les horodatages des paroles avec l'horloge de lecture audio. Les fonctionnalités supplémentaires incluent la capacité d'afficher les paroles sur le bureau ou la barre de menu et la gestion automatique du cycle de vie de l'application pour maintenir la synchronisation avec le lecteur de musique actif.
Adjusts the temporal offset of lyric lines to align precisely with the audio playback clock.
exif-js est une bibliothèque JavaScript pour extraire les métadonnées d'image directement dans le navigateur. Il fonctionne comme un analyseur de buffer d'image binaire qui lit les octets d'image bruts pour récupérer des détails techniques sans nécessiter que les fichiers soient téléchargés sur un serveur. La bibliothèque analyse les données suivant les normes EXIF et IPTC pour extraire les paramètres de l'appareil photo, les horodatages, les coordonnées GPS, les légendes, les mots-clés et les informations de copyright. Elle utilise des tableaux typés et un parcours basé sur des décalages pour naviguer dans les structures d'image et mapper les identifiants numériques vers des étiquettes lisibles par l'homme.
Navigates image file structures by calculating byte offsets to jump between metadata segments.
HelloSilicon est un guide de programmation et un tutoriel pour écrire et déboguer du code assembleur 64 bits de bas niveau spécifiquement pour les processeurs Apple Silicon. Il sert de référence d'architecture pour interagir avec les services du noyau macOS et iOS en utilisant des appels système et des registres matériels. Le projet fournit des instructions spécialisées sur l'interfaçage de fonctions étrangères (FFI) pour faire le pont entre l'assembleur et des langages de haut niveau comme C ou Python. Il inclut également une boîte à outils pour configurer les binaires Mach-O et compiler des binaires universels et des bibliothèques dynamiques pour la compatibilité inter-matériel. Le matériel couvre la programmation système de bas niveau, incluant l'adressage mémoire, les conventions d'appel et l'utilisation de débogueurs pour inspecter les registres et la mémoire.
Demonstrates how to access nonlocal data by calculating relative offsets from a base page in the writable section.
This project is an anime scene reverse image search engine that matches a screenshot to the exact anime episode and timestamp. It is designed as a self-hosted search service that can be deployed using Docker containers and pre-indexed databases, enabling private operation on local or custom infrastructure. At its core, the system extracts visual features from frames using a convolutional neural network trained on anime imagery. Query images provided via URL are processed through the same feature extraction pipeline, and an approximate nearest neighbor search matches the query against millions
Translates matched frame numbers to exact anime episode, offset, and scene metadata.
Kaitai Struct est un framework pour la spécification binaire déclarative qui fournit une génération automatisée d'analyseurs et de sérialiseurs sur plusieurs langages de programmation. Il utilise un langage portable spécifique au domaine pour décrire la mise en page des fichiers binaires et des paquets réseau, convertissant ces spécifications en code source pour la lecture et l'écriture de données binaires. Le système permet le traitement de données multi-langages en traduisant une définition structurelle unique en code source natif pour des langages incluant C++, C#, Go, Java, JavaScript, Python et Rust. Cette approche permet à la même spécification de données binaires d'être implémentée sur différentes plateformes sans réécrire manuellement la logique d'analyse. Le framework couvre la modélisation et le traitement des données binaires, y compris la capacité de gérer des pointeurs de lecture pour la navigation par offset et d'appliquer des transformations de données telles que la décompression et le déchiffrement. Il fournit également des outils pour le débogage de spécification de format afin de valider le mappage entre les mises en page de données binaires et leurs descriptions déclaratives.
Provides mechanisms for navigating binary blobs using absolute and relative byte offsets via a read pointer.
rkyv est un framework de désérialisation zero-copy pour Rust qui fournit un format de sérialisation binaire pour les archives de données mappables en mémoire. Il permet aux structures de données complexes d'être mappées en octets et accédées directement depuis un tampon sans allouer de nouvelle mémoire ou copier des données. Le projet permet la sérialisation de types polymorphes et d'objets trait, maintenant leur comportement dynamique et leur structure sous forme binaire. Il utilise l'adressage par pointeur relatif et le packing de structure aligné sur les octets pour garantir que les données restent valides quel que soit l'endroit où elles sont chargées en mémoire. Le framework couvre la persistance de données haute performance et la gestion d'état à faible latence via le mappage mémoire direct. Il fournit des mécanismes à la fois pour l'accès aux données zero-copy et la reconstruction complète des types de données lorsque requis par l'application.
Uses relative offsets instead of absolute addresses to ensure data remains valid regardless of memory location.
MuJing est un outil d'apprentissage contextuel du vocabulaire anglais et un lecteur multimédia interactif conçu pour l'étude des langues. Il extrait des mots de vidéos et de documents pour fournir des exemples concrets et des clips multimédias pour la mémorisation, fonctionnant comme un outil linguistique basé sur les sous-titres et un générateur de listes de mots basé sur les lemmes. Le système se différencie en liant les listes de vocabulaire à des horodatages vidéo et des sous-titres spécifiques pour un renforcement auditif et visuel. Il inclut un lecteur vidéo avec sous-titres bilingues et des exercices de transcription et d'orthographe au clavier pour construire une mémoire musculaire à travers des contextes de films et de séries télévisées. Le projet couvre l'extraction de vocabulaire à partir de documents, de sous-titres et de pistes vidéo, couplée à l'affinage des listes de mots par lemmatisation, filtrage de fréquence et exclusion basée sur le dictionnaire. Il gère également les sources d'apprentissage multimédia et diffuse des segments vidéo spécifiques associés aux mots cibles pour renforcer la mémoire.
Maps vocabulary terms to precise video playback offsets for immediate retrieval of audiovisual examples.
Velox est un moteur d'exécution de requêtes C++ haute performance et une bibliothèque de traitement de données colonnaires. Il sert de framework composable pour implémenter des moteurs de requêtes analytiques, fournissant un évaluateur d'expressions vectorisées et une boîte à outils pour les systèmes de gestion de données. Le projet se distingue par son utilisation de l'exécution colonnaire vectorisée et de l'allocation mémoire basée sur des arènes pour traiter des jeux de données à grande échelle. Il propose des optimisations spécialisées telles que la mise en cache des tables de jointure broadcast, le push-down de filtres dynamiques et l'encodage par dictionnaire pour réduire la surcharge mémoire et accélérer les lectures analytiques. Le moteur couvre un large éventail de capacités analytiques, incluant l'implémentation de jointures hash, merge et semi, ainsi que l'agrégation parallèle multi-étapes et le calcul de fonctions de fenêtre. Il fournit des primitives pour le stockage colonnaire en mémoire, le décodage de données Parquet et l'intégration avec le stockage cloud. L'extensibilité est assurée par un système d'enregistrement de fonctions pour des fonctions scalaires et d'agrégation personnalisées, avec des bindings de haut niveau disponibles pour connecter la logique C++ à Python.
Manages variable-length elements and nested arrays using offset buffers to enable zero-copy slicing and indexing.
Deformable-ConvNets est un framework de vision par ordinateur et une collection de composants de réseaux de neurones conçus pour implémenter des réseaux de neurones convolutifs déformables. Il fournit des couches convolutives adaptatives et des implémentations de pooling qui modifient leurs champs récepteurs en fonction des caractéristiques d'entrée pour mieux capturer la géométrie des objets dans les images. Le projet permet l'utilisation de décalages d'échantillonnage apprenables et de masques de modulation pour aligner les grilles de convolution avec les formes des objets cibles. Il inclut des outils spécialisés pour visualiser les décalages appris dans les couches de convolution et de pooling, permettant d'analyser comment le réseau adapte son champ récepteur spatial. Ces capacités sont appliquées pour améliorer la précision de la détection d'objets et affiner la segmentation sémantique. Le framework prend en charge l'extraction de caractéristiques à partir de régions d'intérêt via un pooling déformable afin d'aligner les zones d'échantillonnage avec les limites réelles des objets. L'implémentation inclut un pipeline d'entraînement pour exécuter et évaluer ces architectures de réseau spécialisées.
Enables the use of learnable 2D offsets to adjust convolutional grids to match object shapes in images.
pyinstxtractor is a PyInstaller executable unpacker and Python bytecode recovery tool. It functions as a helper for decompiling compiled Python binaries by extracting bundled binaries and bytecode from executables created with PyInstaller. The project includes a bytecode decryptor to remove encryption from extracted files and a header repair tool that restores corrupted headers. These capabilities ensure that extracted compiled files are compatible with bytecode decompilation software. The utility covers reverse engineering of Python applications, supporting malware analysis workflows throug
Uses relative offsets within binary blobs to navigate and locate bundled assets.
KafkaJS is a pure JavaScript client for Apache Kafka, providing the necessary tools to produce and consume messages from a Kafka cluster without requiring native dependencies or external addons. It functions as a comprehensive integration library for Node.js applications to engage in distributed message processing and real-time event streaming. The project is distinguished by its native implementation of the Kafka wire protocol, avoiding C++ dependencies. It features a security client supporting SSL, TLS, and SASL authentication, alongside transactional capabilities that allow for atomic mess
Fetches the earliest or most recent offsets for a topic based on a specific timestamp.