17 Repos
Utilities for processing binary data and numeric types efficiently using specialized memory-managed lists.
Distinct from Type-Safe Data Handling: Distinct from general type-safe handling: focuses on high-performance memory management for binary and numeric data.
Explore 17 awesome GitHub repositories matching software engineering & architecture · Binary Data Processing. Refine with filters or upvote what's useful.
This project is a comprehensive technical reference and programming cheatsheet for the Python language. It serves as a curated catalog of language features, syntax patterns, and standard library functions designed to help developers identify and apply correct coding patterns. The documentation covers a broad range of functional areas, including language fundamentals such as object-oriented structuring, functional logic, and list comprehensions. It also provides guidance on utilizing the standard library for data analysis, file management, networking, and concurrent execution. The reference e
Covers the conversion of numerical sequences into byte objects for low-level binary communication.
This project is an educational repository and collection of algorithms implemented in C++. It provides a structured set of code examples covering mathematics, computer science, and physics for reference and learning. The collection includes implementations of data structures for managing hierarchical and linear data, such as binary search trees and AVL trees. It also features simulations of computer science concepts, including CPU scheduling and the resolution of combinatorial puzzles. The repository further covers cryptographic examples through the implementation of classic encryption and e
Provides utilities for processing binary data, including Hamming distance and set bit calculations.
This project is a comprehensive JavaScript programming tutorial and language reference. It serves as a web development education resource providing instruction on modern language fundamentals, object-oriented design, and advanced asynchronous programming patterns. The resource functions as both a frontend development guide and a technical reference. It covers core language features such as closures, prototypes, promises, and typed arrays, while providing practical lessons on managing browser data and handling network requests. The content spans several key capability areas, including browser
Explains how to handle raw binary buffers, files, and text encoding for non-textual data.
The Dart SDK is a comprehensive development kit for building cross-platform applications using a multi-paradigm programming language. It provides a unified toolchain that supports both just-in-time compilation for rapid development and ahead-of-time compilation for high-performance native machine code. The platform is built on a sound static type system and an isolate-based concurrency framework, which executes independent tasks in separate memory heaps to achieve parallelism without shared state contention. The SDK distinguishes itself through a versatile compilation pipeline that transforms
Processes binary data and numeric types efficiently using specialized lists designed for high-performance memory management.
This is an open-source educational website that translates and localizes MIT's Missing Semester course, teaching practical computing skills for computer science students. The curriculum covers developer tooling, shell scripting, version control, security fundamentals, and open-source collaboration, with a focus on core computing skills including data processing pipelines, workflow automation, secure remote access, shell productivity, Vim editing, and Git version control. The project distinguishes itself by teaching command-line mastery, shell scripting, and automation to boost daily developer
Teaches processing binary data streams using command-line tools like piping and compression.
LuaJIT ist eine hochperformante Lua-Sprachimplementierung und ein Just-in-Time-Compiler. Es fungiert als eingebettete Skript-Engine und dynamischer Binär-Übersetzer, der portablen Bytecode während der Ausführung in nativen Maschinencode umwandelt. Das Projekt konzentriert sich auf hochperformantes Skripting durch die Übersetzung von Bytecode in architekturspezifische Anweisungen, um Ausführungsgeschwindigkeiten nahe an kompiliertem C-Code zu erreichen. Es nutzt eine leichtgewichtige Laufzeitumgebung, die auf minimalen Speicher-Overhead ausgelegt ist. Das System unterstützt die Verarbeitung binärer Daten mittels bitweiser Operationen und ermöglicht asynchrones Task-Management durch die Integration von C-Coroutines. Es bietet zudem Funktionen für die Laufzeit-Codegenerierung und die Erstellung benutzerdefinierter Maschinencode-Anweisungen.
Uses bitwise operations and low-level memory access to efficiently process binary formats.
Daft is a distributed dataframe library and multimodal data processor designed to handle large-scale structured and unstructured data. It functions as a vectorized execution engine that processes tables alongside images, audio, and video, utilizing a unified schema to manage diverse data types. The project distinguishes itself by combining distributed data engineering with large-scale AI inference. It provides an AI data pipeline for batch-optimizing model prompts and generating high-dimensional text embeddings, while utilizing zero-copy memory sharing to execute custom Python functions witho
Encodes, decodes, and compresses binary or string values using various codecs.
Racket ist eine Mehrzweck-Programmiersprache mit mehreren Paradigmen aus der Lisp-Familie, die für die Sprachschöpfung entwickelt wurde. Sie fungiert als Sprach-Workbench und bietet eine Plattform zum Entwerfen und Implementieren benutzerdefinierter Programmiersprachen durch ein flexibles System aus Makros und Modulen. Das System zeichnet sich durch eine umfassende Suite für Semantik-Engineering aus, die den Aufbau spezialisierter Sprach-Subsets und Bildungsschichten ermöglicht. Es enthält Tools für das Design benutzerdefinierter Sprachen, wie Lexer- und Parser-Generierung, sowie die Fähigkeit, Modul-Erweiterungsregeln und dynamische Sprachauswahl zur Lesezeit zu definieren. Das Projekt bietet eine integrierte Entwicklungsumgebung mit eingebautem Editor, visuellem Debugger und einem Software-Paketmanager. Die Funktionspalette erstreckt sich auf eine Standardbibliothek für allgemeine Zwecke, die 2D-Grafik-Rendering, Binärdatenverarbeitung, SQL- und deduktive Datenbankintegration sowie den Bau grafischer Benutzeroberflächen abdeckt. Die Umgebung unterstützt das Kompilieren von Quellcode in eigenständige ausführbare Dateien für die Distribution.
Provides capabilities for parsing and serializing complex binary formats and data structures using defined patterns.
Dieses Projekt ist eine plattformübergreifende mobile Dateisystem-API, die eine native Brücke für den direkten Lese- und Schreibzugriff auf das Dateisystem des Geräts bereitstellt. Sie fungiert als Speicherverwaltungsbibliothek und native Asset-Zugriffsschicht, die es Anwendungen ermöglicht, mit lokalen Dateien und systemweiten Dokumentenverzeichnissen zu interagieren. Die Bibliothek enthält einen mobilen Dateiübertragungs-Client zum Herunterladen und Hochladen von Dateien zwischen Remote-Servern und lokalem Gerätespeicher. Diese Übertragungen unterstützen Fortschrittsverfolgung und Multipart-Datenübertragung. Die breiten Funktionen decken die lokale Datei- und Verzeichnisverwaltung ab, einschließlich der Möglichkeit, Dateien zu kopieren, zu verschieben und zu modifizieren. Sie bietet Dienstprogramme zum Abrufen absoluter Systempfade, zum Inspizieren von Dateimetadaten, zum Berechnen von Prüfsummen für die Datenintegrität und zum Abfragen der verfügbaren Gerätespeicherkapazität. Das Projekt ermöglicht zudem das Abrufen und Kopieren von Dateien aus internen Anwendungs-Ressourcenordnern.
Provides utilities for calculating file checksums and processing binary data to ensure transfer integrity.
Wuffs is a toolset for generating memory-safe, sandboxed parsers and decoders from domain-specific language specifications. It functions as a compiler that transforms these specifications into executable code for C, Go, or Rust, specifically designed to decode untrusted file formats while preventing buffer and integer overflows. The project employs a sandboxed execution model that prohibits system calls and manual memory management to ensure computations are side-effect free. It utilizes a refined type system and compile-time constraint verification to enforce memory safety, alongside saturat
Processes byte arrays and slices using explicit endianness to validate file signatures safely.
Kaitai Struct ist ein Framework für deklarative Binärspezifikationen, das die automatisierte Parser- und Serializer-Generierung über mehrere Programmiersprachen hinweg ermöglicht. Es verwendet eine portable, domänenspezifische Sprache, um das Layout von Binärdateien und Netzwerkpaketen zu beschreiben, und konvertiert diese Spezifikationen in Quellcode zum Lesen und Schreiben binärer Daten. Das System ermöglicht sprachübergreifende Datenverarbeitung durch die Übersetzung einer einzigen strukturellen Definition in nativen Quellcode für Sprachen wie C++, C#, Go, Java, JavaScript, Python und Rust. Dieser Ansatz ermöglicht es, dieselbe Binärdatenspezifikation über verschiedene Plattformen hinweg zu implementieren, ohne die Parsing-Logik manuell neu schreiben zu müssen. Das Framework deckt die Modellierung und Verarbeitung binärer Daten ab, einschließlich der Fähigkeit, Lesezeiger für die Offset-Navigation zu verwalten und Datentransformationen wie Dekomprimierung und Entschlüsselung anzuwenden. Es bietet zudem Tools für das Debugging von Formatspezifikationen, um das Mapping zwischen Binärdatenlayouts und ihren deklarativen Beschreibungen zu validieren.
Processes byte arrays through XOR, rotation, and Zlib decompression to decode compressed or obfuscated content.
This project is a technical study and analysis guide focused on the internal architecture of Node.js. It provides an in-depth examination of the runtime, focusing on how the engine manages memory handles, executes asynchronous operations, and implements core module logic. The guide specifically analyzes the integration of native C++ classes and functions into JavaScript and documents the behavior of the libuv event loop. It includes detailed references for optimizing performance by identifying V8 compiler bailouts and profiling execution to improve resource efficiency. The material covers a
Analyzes the handling of raw byte sequences for high-performance binary data processing.
Dieses Projekt ist ein umfassendes JavaScript-Programmiertutorial und ein Lehrplan für Frontend-Webentwicklung. Es dient als strukturierte Bildungsressource für das Erlernen der Sprache JavaScript, von der grundlegenden Syntax bis hin zu fortgeschrittenen asynchronen Mustern und modernen Programmiertechniken. Die Ressource fungiert als Frontend-Engineering-Lehrbuch und CSS-Layout-Guide und bietet detailliertes Lehrmaterial zum Aufbau responsiver Benutzeroberflächen. Es behandelt den Entwurf benutzerdefinierter Webkomponenten sowie die Anwendung von Styles und Positionierung zur Erstellung effektiver Frontend-Interfaces. Der Lehrplan umfasst mehrere Kernbereiche, darunter die Manipulation des Document Object Model, die Integration von Web-APIs für Netzwerkanfragen und binäre Datenverarbeitung sowie die Verwaltung lokaler Browser-Datenspeicher. Er bietet zudem Anleitungen zu Sprachgrundlagen wie Variable Scope, Function Context und regulären Ausdrücken. Die Inhalte werden als Markdown-basierte statische Website bereitgestellt, bei der strukturierte Dateien in statische HTML-Seiten konvertiert werden.
Teaches how to process binary data and numeric types using buffers, blobs, and file readers.
Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di
Enables conversion and manipulation of binary data directly within graph query expressions.
This project is a PHP library that serves as a configuration file processor, providing a bridge to translate human-readable YAML text into native PHP arrays and objects. It functions as both a parser for converting YAML content into application-ready data structures and a serializer for transforming PHP data back into formatted YAML strings. The library includes security protections designed to prevent memory exhaustion and stack overflow attacks when processing untrusted documents. It ensures structural integrity through syntax validation and provides a command-line utility to check files fo
Serves as a bridge that translates human-readable YAML files into application-ready PHP data structures.
msgspec is a high-performance data modeling, serialization, and schema validation toolkit for Python. It serves as a type-safe serialization framework that integrates schema enforcement and data parsing into a single pass, functioning as both a data serialization library and a schema validation system based on standard Python type annotations. The project distinguishes itself through high-performance structural primitives, including compilation-based routine generation and zero-copy buffer parsing. It optimizes memory usage via garbage collection-aware layouts and reduces processing overhead
Provides efficient binary serialization using MessagePack and zero-copy buffer parsing for high throughput.
Umbrella is a comprehensive ecosystem of TypeScript-based libraries and a mono-repository designed for UI rendering, mathematical frameworks, WebAssembly bridging, and functional data processing. It provides a suite of tools for managing reactive data streams, binary serialization, and specialized memory management. The project includes a reactive component model for generating HTML, SVG, and Canvas elements from nested data structures, as well as a system for integrating JavaScript and WebAssembly through generated bindings. It features a mathematical framework for linear algebra, tensor ope
Provides a toolkit for binary data processing and specialized memory-managed lists in TypeScript.