17 dépôts
Utilities for processing binary data and numeric types efficiently using specialized memory-managed lists.
Distinct from Type-Safe Data Handling: Distinct from general type-safe handling: focuses on high-performance memory management for binary and numeric data.
Explore 17 awesome GitHub repositories matching software engineering & architecture · Binary Data Processing. Refine with filters or upvote what's useful.
This project is a comprehensive technical reference and programming cheatsheet for the Python language. It serves as a curated catalog of language features, syntax patterns, and standard library functions designed to help developers identify and apply correct coding patterns. The documentation covers a broad range of functional areas, including language fundamentals such as object-oriented structuring, functional logic, and list comprehensions. It also provides guidance on utilizing the standard library for data analysis, file management, networking, and concurrent execution. The reference e
Covers the conversion of numerical sequences into byte objects for low-level binary communication.
This project is an educational repository and collection of algorithms implemented in C++. It provides a structured set of code examples covering mathematics, computer science, and physics for reference and learning. The collection includes implementations of data structures for managing hierarchical and linear data, such as binary search trees and AVL trees. It also features simulations of computer science concepts, including CPU scheduling and the resolution of combinatorial puzzles. The repository further covers cryptographic examples through the implementation of classic encryption and e
Provides utilities for processing binary data, including Hamming distance and set bit calculations.
This project is a comprehensive JavaScript programming tutorial and language reference. It serves as a web development education resource providing instruction on modern language fundamentals, object-oriented design, and advanced asynchronous programming patterns. The resource functions as both a frontend development guide and a technical reference. It covers core language features such as closures, prototypes, promises, and typed arrays, while providing practical lessons on managing browser data and handling network requests. The content spans several key capability areas, including browser
Explains how to handle raw binary buffers, files, and text encoding for non-textual data.
The Dart SDK is a comprehensive development kit for building cross-platform applications using a multi-paradigm programming language. It provides a unified toolchain that supports both just-in-time compilation for rapid development and ahead-of-time compilation for high-performance native machine code. The platform is built on a sound static type system and an isolate-based concurrency framework, which executes independent tasks in separate memory heaps to achieve parallelism without shared state contention. The SDK distinguishes itself through a versatile compilation pipeline that transforms
Processes binary data and numeric types efficiently using specialized lists designed for high-performance memory management.
This is an open-source educational website that translates and localizes MIT's Missing Semester course, teaching practical computing skills for computer science students. The curriculum covers developer tooling, shell scripting, version control, security fundamentals, and open-source collaboration, with a focus on core computing skills including data processing pipelines, workflow automation, secure remote access, shell productivity, Vim editing, and Git version control. The project distinguishes itself by teaching command-line mastery, shell scripting, and automation to boost daily developer
Teaches processing binary data streams using command-line tools like piping and compression.
LuaJIT est une implémentation haute performance du langage Lua et un compilateur juste-à-temps (JIT). Il fonctionne comme un moteur de script embarqué et un traducteur binaire dynamique qui convertit le bytecode portable en code machine natif pendant l'exécution. Le projet se concentre sur le scripting haute performance en traduisant le bytecode en instructions spécifiques à l'architecture pour atteindre des vitesses d'exécution proches du code C compilé. Il utilise un environnement d'exécution léger conçu pour une surcharge mémoire minimale. Le système prend en charge le traitement de données binaires via des opérations bit à bit et permet la gestion de tâches asynchrones grâce à l'intégration de coroutines C. Il fournit également des capacités pour la génération de code à l'exécution et la création d'instructions machine personnalisées.
Uses bitwise operations and low-level memory access to efficiently process binary formats.
Daft is a distributed dataframe library and multimodal data processor designed to handle large-scale structured and unstructured data. It functions as a vectorized execution engine that processes tables alongside images, audio, and video, utilizing a unified schema to manage diverse data types. The project distinguishes itself by combining distributed data engineering with large-scale AI inference. It provides an AI data pipeline for batch-optimizing model prompts and generating high-dimensional text embeddings, while utilizing zero-copy memory sharing to execute custom Python functions witho
Encodes, decodes, and compresses binary or string values using various codecs.
Racket est un langage de programmation généraliste multi-paradigme de la famille Lisp, conçu pour la création de langages. Il fonctionne comme un atelier de langage, fournissant une plateforme pour concevoir et implémenter des langages de programmation personnalisés via un système flexible de macros et de modules. Le système se distingue en offrant une suite complète pour l'ingénierie sémantique, permettant la construction de sous-ensembles de langages spécialisés et de couches éducatives. Il inclut des outils pour la conception de langages personnalisés, tels que la génération de lexer et de parser, ainsi que la capacité de définir des règles d'expansion de module et une sélection de langage dynamique au moment de la lecture. Le projet fournit un environnement de développement intégré avec un éditeur intégré, un débogueur visuel et un gestionnaire de paquets logiciels. Sa surface de capacités s'étend à une bibliothèque standard généraliste couvrant le rendu graphique 2D, le traitement de données binaires, l'intégration SQL et de bases de données déductives, et la construction d'interfaces utilisateur graphiques. L'environnement prend en charge la compilation du code source en fichiers exécutables autonomes pour la distribution.
Provides capabilities for parsing and serializing complex binary formats and data structures using defined patterns.
Ce projet est une API de système de fichiers mobile multiplateforme qui fournit un pont natif pour un accès direct en lecture et écriture au système de fichiers de l'appareil. Il fonctionne comme une bibliothèque de gestion de stockage et une couche d'accès aux assets natifs, permettant aux applications d'interagir avec les fichiers locaux et les répertoires de documents au niveau système. La bibliothèque inclut un client de transfert de fichiers mobile pour télécharger et envoyer des fichiers entre des serveurs distants et le stockage local de l'appareil. Ces transferts prennent en charge le suivi de la progression et la transmission de données en plusieurs parties. Les capacités étendues couvrent la gestion locale des fichiers et répertoires, incluant la capacité de copier, déplacer et modifier des fichiers. Il fournit des utilitaires pour récupérer les chemins système absolus, inspecter les métadonnées des fichiers, calculer des sommes de contrôle pour l'intégrité des données et interroger la capacité de stockage disponible de l'appareil. Le projet permet également la récupération et la copie de fichiers depuis les dossiers de ressources internes de l'application.
Provides utilities for calculating file checksums and processing binary data to ensure transfer integrity.
Wuffs est une boîte à outils pour générer des parseurs et décodeurs sécurisés en mémoire et sandboxés à partir de spécifications de langage de domaine. Il fonctionne comme un compilateur qui transforme ces spécifications en code exécutable pour C, Go ou Rust, spécifiquement conçu pour décoder des formats de fichiers non fiables tout en empêchant les dépassements de tampon et d'entier. Le projet emploie un modèle d'exécution sandboxé qui interdit les appels système et la gestion manuelle de la mémoire pour assurer que les calculs sont sans effets de bord. Il utilise un système de types raffiné et une vérification des contraintes à la compilation pour appliquer la sécurité mémoire, aux côtés d'une arithmétique saturante pour empêcher les dépassements numériques. Le système fournit des implémentations sécurisées pour traiter des données structurées, des formats d'image et des flux compressés. Ses capacités couvrent le décodage et l'encodage d'images, la décompression de divers formats de fichiers et le calcul de checksums d'intégrité des données. L'intégration est simplifiée via la génération de bibliothèques C autonomes en fichier unique et la prise en charge de bibliothèques header-only.
Processes byte arrays and slices using explicit endianness to validate file signatures safely.
Kaitai Struct est un framework pour la spécification binaire déclarative qui fournit une génération automatisée d'analyseurs et de sérialiseurs sur plusieurs langages de programmation. Il utilise un langage portable spécifique au domaine pour décrire la mise en page des fichiers binaires et des paquets réseau, convertissant ces spécifications en code source pour la lecture et l'écriture de données binaires. Le système permet le traitement de données multi-langages en traduisant une définition structurelle unique en code source natif pour des langages incluant C++, C#, Go, Java, JavaScript, Python et Rust. Cette approche permet à la même spécification de données binaires d'être implémentée sur différentes plateformes sans réécrire manuellement la logique d'analyse. Le framework couvre la modélisation et le traitement des données binaires, y compris la capacité de gérer des pointeurs de lecture pour la navigation par offset et d'appliquer des transformations de données telles que la décompression et le déchiffrement. Il fournit également des outils pour le débogage de spécification de format afin de valider le mappage entre les mises en page de données binaires et leurs descriptions déclaratives.
Processes byte arrays through XOR, rotation, and Zlib decompression to decode compressed or obfuscated content.
This project is a technical study and analysis guide focused on the internal architecture of Node.js. It provides an in-depth examination of the runtime, focusing on how the engine manages memory handles, executes asynchronous operations, and implements core module logic. The guide specifically analyzes the integration of native C++ classes and functions into JavaScript and documents the behavior of the libuv event loop. It includes detailed references for optimizing performance by identifying V8 compiler bailouts and profiling execution to improve resource efficiency. The material covers a
Analyzes the handling of raw byte sequences for high-performance binary data processing.
Ce projet est un tutoriel complet de programmation JavaScript et un programme de développement web frontend. Il sert de ressource éducative structurée pour apprendre le langage JavaScript, allant de la syntaxe de base aux modèles asynchrones avancés et aux techniques de programmation modernes. La ressource fonctionne comme un manuel d'ingénierie frontend et un guide de mise en page CSS, fournissant du matériel pédagogique détaillé sur la construction d'interfaces utilisateur réactives. Elle couvre la conception de composants web personnalisés et l'application de styles et de positionnement pour créer des interfaces frontend efficaces. Le programme englobe plusieurs domaines de capacités fondamentaux, notamment la manipulation du Document Object Model (DOM), l'intégration d'API web pour les requêtes réseau et le traitement de données binaires, ainsi que la gestion du stockage de données local du navigateur. Il fournit également des instructions sur les fondamentaux du langage tels que la portée des variables, le contexte des fonctions et les expressions régulières. Le contenu est délivré sous forme de site statique basé sur Markdown, où les fichiers structurés sont convertis en pages HTML statiques.
Teaches how to process binary data and numeric types using buffers, blobs, and file readers.
Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di
Enables conversion and manipulation of binary data directly within graph query expressions.
This project is a PHP library that serves as a configuration file processor, providing a bridge to translate human-readable YAML text into native PHP arrays and objects. It functions as both a parser for converting YAML content into application-ready data structures and a serializer for transforming PHP data back into formatted YAML strings. The library includes security protections designed to prevent memory exhaustion and stack overflow attacks when processing untrusted documents. It ensures structural integrity through syntax validation and provides a command-line utility to check files fo
Serves as a bridge that translates human-readable YAML files into application-ready PHP data structures.
msgspec is a high-performance data modeling, serialization, and schema validation toolkit for Python. It serves as a type-safe serialization framework that integrates schema enforcement and data parsing into a single pass, functioning as both a data serialization library and a schema validation system based on standard Python type annotations. The project distinguishes itself through high-performance structural primitives, including compilation-based routine generation and zero-copy buffer parsing. It optimizes memory usage via garbage collection-aware layouts and reduces processing overhead
Provides efficient binary serialization using MessagePack and zero-copy buffer parsing for high throughput.
Umbrella is a comprehensive ecosystem of TypeScript-based libraries and a mono-repository designed for UI rendering, mathematical frameworks, WebAssembly bridging, and functional data processing. It provides a suite of tools for managing reactive data streams, binary serialization, and specialized memory management. The project includes a reactive component model for generating HTML, SVG, and Canvas elements from nested data structures, as well as a system for integrating JavaScript and WebAssembly through generated bindings. It features a mathematical framework for linear algebra, tensor ope
Provides a toolkit for binary data processing and specialized memory-managed lists in TypeScript.