Awesome GitHub RepositoriesMemory-Efficient Data Streaming

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

PHPExcel is a PHP spreadsheet library used for programmatically reading and writing spreadsheet files in various formats. It utilizes an in-memory spreadsheet model that maps spreadsheet structures to a hierarchy of objects for programmatic manipulation. The library functions as an Office Open XML processor for generating and manipulating XLSX documents and serves as a reader for extracting data and structure from legacy binary XLS files. It also includes tools for CSV data integration and importing. The project provides capabilities for automated report generation and spreadsheet data extra

This project is a structured Node.js programming course and educational guide designed to teach JavaScript backend development. It provides a sequence of workshops and interactive tutorials that focus on the fundamentals of the Node.js runtime and its core modules. The material emphasizes asynchronous programming, specifically covering non-blocking I/O, callback patterns, and event-driven architecture. It includes a practical exploration of the core API for managing network applications, file system operations, and binary data. The curriculum covers module management and dependency resolutio

This project is a software engineering style guide and a curated collection of architectural patterns and coding standards. It provides a multi-language coding standard to ensure maintainable software across Ruby, Python, JavaScript, and Swift. The project establishes a development workflow specification for version control, continuous integration, and peer review to maintain a linear project history. It also includes a web accessibility framework based on ARIA and WCAG standards, using design tokens and semantic HTML patterns to build inclusive interfaces. The guides cover a broad range of

YARA is a pattern matching engine and binary analysis tool used to identify and classify malware samples. It functions as a malware research framework that allows for the definition of file descriptions and detection rules to find indicators of compromise within binaries. The system enables the creation of custom detection rules using strings, wildcards, and regular expressions. These rules use boolean logic to match textual or binary patterns, allowing for the classification of files into specific malware families and the automation of threat intelligence. The engine utilizes Aho-Corasick s

llrt is a low-latency JavaScript runtime based on the QuickJS engine, specifically designed for executing asynchronous functions in serverless environments. It provides a lightweight execution layer optimized for fast startup times and minimal memory usage when running ES2023 workloads. The project differentiates itself by bundling natively optimized cloud service SDKs directly into the runtime binary to eliminate external dependency loading. To further reduce cold start latency, it implements parallel connection warming for TLS and network handshakes during the startup phase. The runtime co

Higress es una API gateway nativa de IA y nativa de la nube que enruta, asegura y optimiza el tráfico entre clientes y servicios de grandes modelos de lenguaje. Funciona como un punto de entrada centralizado para microservicios, sirviendo tanto como controlador de ingreso (ingress) de Kubernetes como orquestador de puerta de enlace de IA. El proyecto se distingue por gestionar el tráfico a través de múltiples proveedores de IA utilizando un protocolo unificado, incorporando limitación de tasa consciente de tokens y almacenamiento en caché de respuestas para optimizar la inferencia del modelo. Coordina la comunicación entre modelos de IA y herramientas externas para proporcionar contexto y datos en tiempo real, al tiempo que aloja puntos finales de servidor para agentes de IA. Sus capacidades incluyen la aplicación de seguridad de API mediante firewalls de aplicaciones web, gestión automatizada de certificados TLS y descubrimiento dinámico de servicios. La puerta de enlace admite el procesamiento de solicitudes personalizadas a través de plugins de WebAssembly en sandbox que permiten la transformación del tráfico con recarga en caliente. El sistema implementa API de ingreso estandarizadas para gestionar el enrutamiento de red dentro de clústeres en contenedores con baja sobrecarga de recursos.

CloudSaver is a multi-cloud file transfer manager and storage aggregator designed to discover remote resources and save them directly to cloud drives. It functions as a cloud file downloader and management platform that enables the movement of data between different cloud storage providers without requiring files to be downloaded to a local device first. The system uses OAuth authentication to manage secure connections to third-party cloud drives, facilitating direct server-to-server data transfers. It incorporates asynchronous streaming to move data between remote sources and destinations, p

The C++ REST SDK is a library for asynchronous HTTP and RESTful communication in native C++ applications. It provides a non-blocking network client for sending requests and receiving responses, a JSON parser for serializing and deserializing data, and a WebSocket client library for real-time, full-duplex communication. The project includes a dedicated OAuth2 authentication client to manage access tokens and authorization flows for secure communication with protected cloud resources. It utilizes a task-based asynchronous model to coordinate background operations and keep application interfaces

elasticsearch-dump is a command line tool for importing, exporting, and transferring data between Elasticsearch and OpenSearch instances. It functions as an index dump utility that saves documents, mappings, and analyzers to local files or standard output. The tool enables the movement of data between clusters using local files as an intermediary and can flatten nested JSON documents into CSV files for external analysis. It allows for the modification or anonymization of documents during the transfer process through the use of custom JavaScript functions. The utility covers data extraction a

This project is a learning guide and collection of study notes designed to teach Node.js backend development. It provides a comprehensive core API reference and practical demonstrations for implementing server-side logic, network programming, and system APIs. The guide specifically covers advanced technical domains including process management for scaling applications via clusters and child processes, as well as network programming for building TCP, UDP, and HTTP services. It also includes detailed instructional material on security implementation, focusing on cryptographic hashing and encryp

DbGate is a universal database management tool and SQL client that provides a unified interface for querying and administering multiple SQL and NoSQL databases. It functions as a multi-database administration GUI and SQL IDE, allowing users to write and execute scripts and manage database schemas. The project distinguishes itself by acting as an API client and explorer for REST, GraphQL, and OData services, enabling users to fetch and export data from these endpoints. It also serves as a data integration tool, facilitating the movement of records between diverse databases and file formats suc

Lit-llama es un framework de implementación basado en PyTorch para el modelo de lenguaje LLaMA, que proporciona un sistema para pre-entrenamiento, ajuste fino e inferencia de alto rendimiento. Incluye un pipeline de pre-entrenamiento para crear modelos de lenguaje fundamentales desde cero y herramientas para ejecutar pesos pre-entrenados para generar texto natural y predecir secuencias. El proyecto proporciona toolkits especializados para el ajuste fino eficiente en parámetros utilizando adaptación de bajo rango (LoRA) y adaptadores ligeros. También incluye una librería de cuantización que reduce las huellas de memoria del modelo a través de precisión de cuatro y ocho bits para permitir la ejecución en hardware con recursos limitados. El framework incorpora un diseño de transformador simplificado y emplea flash attention para optimizar la memoria y la velocidad. Además, gestiona datasets a gran escala a través de formatos de datos en streaming para evitar cargar corpora completos en la memoria del sistema.

CppGuide is a curated collection of educational resources and practical guides focused on C++ server development, Linux kernel internals, concurrent programming, network protocols, and security exploitation. It provides structured learning paths for backend developers, covering everything from interview preparation to building high-performance network servers and understanding operating system fundamentals. The guide distinguishes itself by offering in-depth, hands-on tutorials that walk through real-world implementations, including building a Redis-like server from scratch, designing custom

X-Ray es un framework de scraping web y crawler web asíncrono diseñado para extraer datos estructurados de sitios web. Funciona como un extractor de datos HTML que transforma el contenido de páginas sin formato en un esquema definido utilizando selectores de estilo CSS. El proyecto implementa un crawler de navegador headless capaz de ejecutar JavaScript para renderizar contenido dinámico. Maneja el descubrimiento de contenido de sitios web a través de una estrategia de rastreo en anchura y descubrimiento automático de paginación para recorrer conjuntos de resultados de múltiples páginas. El framework gestiona tuberías de datos web utilizando una cola de solicitudes con concurrencia limitada y control de tasa de solicitudes para regular las llamadas de red salientes. Los resultados extraídos se manejan mediante persistencia de datos basada en flujos para procesar grandes conjuntos de datos sin sobrecargar la memoria del sistema.

Esta librería es un serializador y stringifier de datos CSV para transformar registros estructurados en valores separados por comas. Proporciona herramientas para convertir registros de datos en texto plano a través de implementaciones síncronas, basadas en devoluciones de llamada o basadas en flujos. El proyecto se distingue por ofrecer una implementación de streaming a través de la API Transform nativa de Node.js, que permite el procesamiento de grandes conjuntos de datos sin cargar todos los registros en la memoria. También incluye un sistema de formato flexible para definir delimitadores, comillas, caracteres de escape y configuraciones de encabezado específicos. El conjunto de herramientas cubre la automatización de exportación de datos y el mapeo de registro a cadena, permitiendo la generación programática de archivos a partir de registros de base de datos o respuestas de API.

more-itertools is a Python iterable utility library providing advanced functions for manipulating, filtering, and transforming data sequences. It serves as a data stream processing toolkit and a set of utilities for iterator state management, extending the capabilities of the standard Python itertools module. The library includes a combinatorial math toolkit for generating permutations, combinations, and powersets, alongside routines for number theory calculations and matrix operations. It also provides tools for stream state management, allowing users to peek at upcoming elements or seek wit

Este proyecto es un marco para generar datos tabulares sintéticos que preservan las propiedades estadísticas y la integridad relacional de los conjuntos de datos fuente originales. Funciona como un motor impulsado por metadatos, utilizando modelos de lenguaje para sintetizar información incluso cuando las muestras de entrenamiento originales están restringidas. El sistema está diseñado para mantener la consistencia lógica a través de estructuras complejas de múltiples tablas mientras asegura que las salidas generadas se adhieran a los requisitos de esquema definidos. La plataforma se distingue por un enfoque en la síntesis que preserva la privacidad, integrando herramientas para cuantificar y mitigar los riesgos de reidentificación a través de privacidad diferencial y técnicas de anonimización. Admite extensibilidad modular, permitiendo la integración de modelos de generación personalizados y conectores de datos. Además, el marco incluye rutinas de validación automatizadas que comparan la distribución y los patrones de correlación de las salidas sintéticas contra los datos fuente para verificar la fidelidad estadística. Más allá de la generación central, el sistema proporciona capacidades para el enriquecimiento de datos y la ingeniería de características al derivar nuevas columnas de patrones aprendidos. Incorpora herramientas de supervisión operativa para monitorear la utilización de recursos y la eficiencia del procesamiento durante tareas de alto volumen. La biblioteca está diseñada para manejar conjuntos de datos a gran escala a través de procesamiento de flujo eficiente en memoria y procesamiento por lotes iterativo para garantizar la estabilidad.

El Swift OpenAPI Generator es una herramienta de tiempo de compilación que produce código cliente y servidor en Swift con seguridad de tipos directamente a partir de documentos de especificación OpenAPI. Al integrarse con sistemas de compilación a través de plugins nativos, automatiza la creación de interfaces fuertemente tipadas y stubs de protocolo que mapean operaciones de red a métodos nativos, asegurando que el código de la aplicación permanezca estrictamente consistente con los esquemas de datos definidos. El proyecto se distingue por una arquitectura orientada a protocolos que desacopla la lógica de negocio de implementaciones de transporte específicas. Utiliza una capa de transporte conectable y la interceptación de solicitudes basada en middleware para manejar preocupaciones transversales como autenticación, logging y recolección de métricas. Este diseño permite a los desarrolladores mantener una capa de comunicación consistente mientras permanecen agnósticos de los frameworks web subyacentes o los detalles de transmisión de red. El generador soporta una amplia gama de capacidades, incluyendo mapeo de datos basado en esquemas y negociación de contenido para varios formatos. Proporciona un manejo eficiente de memoria de grandes cargas útiles a través de procesamiento de flujo incremental, lo que permite el intercambio de datos complejos sin cargar contenidos completos en memoria. El conjunto de herramientas también incluye utilidades para pruebas de contrato automatizadas y la generación de documentación interactiva para asistir en la validación de requisitos de endpoints.

Kotlinx-io is a multiplatform library designed for input and output operations, providing a unified interface for streaming data, managing byte buffers, and interacting with local filesystems. It serves as a cross-platform abstraction layer that standardizes how applications handle data movement across different operating systems and hardware architectures. The library distinguishes itself by providing high-performance tools for both mutable and immutable byte sequences. It utilizes segmented memory pools and direct memory access to minimize allocation overhead and prevent unnecessary data co