Awesome GitHub RepositoriesBinary Data Formats

nanoGPT is a lightweight engine for training and fine-tuning transformer-based language models from scratch. It provides a minimalist codebase designed for educational exploration and rapid experimentation with neural network architectures, utilizing self-attention and feed-forward layers to process sequences and predict subsequent elements. The project distinguishes itself through a focus on high-speed data ingestion and hardware-accelerated performance. It includes a dedicated pipeline for transforming raw text into memory-mapped binary files, which enables efficient streaming during traini

ip2region is an offline IP geolocation library and framework designed to resolve IPv4 and IPv6 addresses to city-level regional information using local binary data files. It functions as a binary IP database compiler and a cross-language search client, allowing for regional lookups without relying on external APIs. The project distinguishes itself through a specialized binary format that supports high-performance query optimization. It employs adjacent-segment IP merging and deduplicated region storage to minimize the database footprint, while utilizing memory-mapped file caching and vector-i

Pwntools is a Python-based framework designed for rapid prototyping and automation in binary exploitation, reverse engineering, and security research. It serves as a comprehensive toolkit for interacting with local and remote processes, providing the primitives necessary to manage complex exploit workflows and streamline security analysis tasks. The framework distinguishes itself through its specialized capabilities for binary manipulation and automated exploit construction. It includes dedicated utilities for parsing executable file formats, assembling and disassembling machine code, and gen

This project is a computer vision benchmark and image classification dataset used to measure and compare the accuracy of machine learning models. It provides a standardized collection of labeled fashion product images and training data formatted to be compatible with the MNIST dataset structure. The dataset consists of fixed-dimension grayscale images and label-based category mappings, stored in a binary format. It includes pre-split training and testing sets and a static distribution to ensure consistent cross-model benchmarking. The repository supports image classification benchmarking and

Potree est un moteur de rendu et une visionneuse de nuages de points basé sur le web, conçu pour la visualisation et l'analyse de jeux de données spatiaux 3D massifs et de scans LIDAR. Il fonctionne comme un outil d'analyse géospatiale qui permet l'exploration interactive de nuages de points haute densité directement dans un navigateur web via WebGL. Le système utilise l'éclairage eye-dome pour améliorer la perception de la profondeur des structures 3D et prend en charge la réalité virtuelle pour une exploration spatiale immersive. Il offre des capacités spécialisées pour la documentation de scènes 3D via des annotations hiérarchiques et la création de visites guidées animées par caméra. La plateforme inclut des outils d'analyse de données géospatiales, tels que des mesures de distance et de surface, des profils d'élévation et la superposition de fichiers shapefiles et geopackages externes. Les utilisateurs peuvent isoler des caractéristiques spécifiques en utilisant le filtrage par attributs et l'isolation par volume de découpe, tandis que des images externes peuvent être alignées et synchronisées avec la perspective du nuage de points. Potree utilise un format binaire pré-traité et une indexation spatiale basée sur un octree pour faciliter le streaming de données asynchrone et le rendu par niveau de détail pour les jeux de données à grande échelle.

Racket est un langage de programmation généraliste multi-paradigme de la famille Lisp, conçu pour la création de langages. Il fonctionne comme un atelier de langage, fournissant une plateforme pour concevoir et implémenter des langages de programmation personnalisés via un système flexible de macros et de modules. Le système se distingue en offrant une suite complète pour l'ingénierie sémantique, permettant la construction de sous-ensembles de langages spécialisés et de couches éducatives. Il inclut des outils pour la conception de langages personnalisés, tels que la génération de lexer et de parser, ainsi que la capacité de définir des règles d'expansion de module et une sélection de langage dynamique au moment de la lecture. Le projet fournit un environnement de développement intégré avec un éditeur intégré, un débogueur visuel et un gestionnaire de paquets logiciels. Sa surface de capacités s'étend à une bibliothèque standard généraliste couvrant le rendu graphique 2D, le traitement de données binaires, l'intégration SQL et de bases de données déductives, et la construction d'interfaces utilisateur graphiques. L'environnement prend en charge la compilation du code source en fichiers exécutables autonomes pour la distribution.

Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg

Ce projet est une ressource pédagogique complète et un manuel de tutoriels pour construire, entraîner et déployer des modèles de machine learning avec TensorFlow 2. Il sert de guide d'apprentissage structuré couvrant les concepts fondamentaux du deep learning, notamment les architectures de réseaux de neurones, la différenciation automatique et les opérations sur les tenseurs. Le manuel fournit des conseils techniques pour optimiser l'efficacité de l'exécution via la gestion de la mémoire GPU, l'entraînement distribué et la quantification de modèles. Il inclut également des guides détaillés pour construire des pipelines de données haute performance et exporter des modèles vers des serveurs de production, des appareils mobiles et des navigateurs web. Le contenu couvre un large éventail de capacités, incluant le développement de modèles avec des réseaux convolutifs et récurrents, l'implémentation de fonctions de perte et de couches personnalisées, ainsi que l'utilisation de modèles pré-entraînés pour le transfer learning. Il aborde également les stratégies de déploiement pour les appareils edge et l'utilisation d'environnements d'exécution cloud pour l'accélération matérielle. La ressource est implémentée sous forme d'une collection de Jupyter Notebooks.

Tippecanoe is a command-line tool used to generate optimized vector tiles for web maps. It converts large-scale geospatial datasets, including GeoJSON, CSV, and Geobuf files, into binary vector tiles or MBTiles SQLite databases. The project is designed to maintain map performance and visual quality across different zoom levels. It achieves this through geospatial data downsampling, which includes simplifying geometries and thinning point density to prevent tile overcrowding and keep tile sizes within specific limits. The tool provides extensive data transformation capabilities, such as attri