Awesome GitHub RepositoriesStreaming Data Pipelines

Polars is a high-performance columnar data processing library designed for efficient analytical workflows. It functions as a structured data library that organizes information into typed columns, utilizing the Apache Arrow memory format to enable zero-copy data sharing and cache-friendly, vectorized operations. The engine is built to handle large-scale tabular datasets, providing both local and distributed analytical runtimes that scale from single-machine environments to multi-node clusters. The project distinguishes itself through a sophisticated lazy query engine that constructs abstract e

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

Vowpal Wabbit is an open-source machine learning system designed for online learning, where models update incrementally from streaming data without requiring full retraining. It provides a reduction-based learning framework that composes complex tasks from simpler algorithms, and includes a feature hashing trick that maps unbounded feature names into a fixed-size vector space to keep memory usage constant regardless of dataset size. The system supports distributed training across a cluster using an allreduce protocol for synchronized updates, and offers an active learning query strategy that s

Trax is a deep learning framework and hardware-agnostic tensor engine designed for designing and training neural networks. It serves as a research tool providing high-level combinators for composing complex architectures, alongside a dedicated library for building transformer models and a toolkit for reinforcement learning. The framework is distinguished by its support for reversible and sparse transformer architectures, which reduce memory and computational overhead. It enables a single set of model instructions to execute across different hardware backends without changing the underlying co

This is an ECMAScript proposal that introduces a pipeline operator for JavaScript, enabling left-to-right expression chaining with a dedicated placeholder token to reference the previous step's value. The proposal defines a syntax-only transformation that desugars to standard JavaScript, requiring no new runtime support or engine primitives. The pipeline operator allows chaining operations sequentially, passing each result to the next step in natural reading order. It includes a null-safe variant that short-circuits on nullish values, returning them unchanged and skipping remaining steps. Eac

language-ext is a functional programming framework for C# that provides a suite of immutable data structures and monadic types. It enables the implementation of pure functional programming patterns, utilizing containers to manage side effects, optional values, and error handling. The library is distinguished by its advanced concurrency and state management tools, including a software transactional memory system and lock-free atomic references. It also provides specialized utilities for distributed systems, such as vector clocks for causality tracking and deterministic data conflict resolution

This project is a Go shell scripting library and framework designed for writing automation scripts and CLI tools. It provides a concurrent data pipeline system for chaining sources, filters, and sinks to process text and JSON streams. The library distinguishes itself through a comprehensive toolkit for shell-like operations, including a text processing engine for regular expression filtering and frequency analysis, a filesystem utility toolkit for recursive search and path manipulation, and an integrated HTTP client wrapper for building data pipelines that fetch web content. The capability s

Node.js is an open-source, cross-platform JavaScript runtime environment built on the V8 engine, designed for executing JavaScript code outside a web browser. It operates as a server-side JavaScript platform with an event-driven, non-blocking I/O architecture that enables building scalable network applications and web servers. The runtime integrates the CommonJS module system for synchronous module loading and the npm ecosystem for sharing and reusing packages. The platform provides comprehensive capabilities for web server development, including creating HTTP and HTTPS servers, managing HTTP

Gifify es una herramienta para convertir archivos de vídeo en GIFs animados optimizados. Funciona como un conversor de vídeo a GIF y utilidad de optimización que extrae clips específicos de archivos de vídeo y graba superposiciones de texto o subtítulos directamente en los fotogramas. El proyecto se diferencia por su optimización especializada de GIFs, utilizando compresión con pérdida, limitación del conteo de colores y generación de paletas de colores personalizadas para reducir el tamaño de los archivos. También proporciona un control preciso sobre la salida al permitir a los usuarios ajustar la velocidad de reproducción, invertir la dirección de reproducción y cambiar las dimensiones. El software cubre un amplio conjunto de capacidades de procesamiento de vídeo, incluyendo recorte de segmentos basado en marcas de tiempo y procesamiento de imágenes fotograma a fotograma. Estas operaciones se manejan a través de una interfaz de línea de comandos que admite el procesamiento de medios basado en flujos.

re-frame es un framework funcional para construir aplicaciones de una sola página (SPA) en ClojureScript. Proporciona una base de datos centralizada e inmutable que sirve como única fuente de verdad para todo el estado de la aplicación, aplicando un flujo de datos unidireccional estricto donde los eventos activan transiciones de estado y actualizaciones de vista posteriores. El framework se distingue por un grafo de señales reactivas y un pipeline de middleware basado en interceptores. Al tratar la lógica de la aplicación como una secuencia de eventos basados en datos y efectos secundarios declarativos, desacopla la lógica de negocio de la capa de vista. Esta arquitectura permite a los desarrolladores gestionar transiciones de estado complejas y operaciones externas mediante funciones puras, asegurando que los efectos secundarios sean ejecutados por un intérprete separado en lugar de llamadas imperativas. El sistema incluye un conjunto completo de capacidades para gestionar la arquitectura de la aplicación, incluyendo la derivación de datos reactivos, la reconciliación de vistas basada en suscripciones y la gestión de estado impulsada por eventos. Admite flujos de trabajo de desarrollo avanzados como el rastreo de eventos, puntos de control de estado y la capacidad de crear stubs de efectos secundarios para pruebas aisladas. El proyecto está diseñado para integrarse con React, utilizando la reconciliación del DOM virtual para actualizar eficientemente las interfaces de usuario. Proporciona un conjunto robusto de utilidades para manejar preocupaciones transversales, gestionar grafos de flujo de datos complejos y coordinar operaciones asíncronas dentro de un pipeline de eventos secuencial y predecible.

Streem es un lenguaje de programación basado en flujos y orquestador de pipelines de datos. Proporciona un lenguaje específico de dominio para definir flujos de datos concurrentes, permitiendo a los usuarios vincular fuentes de datos a destinos a través de una secuencia de operaciones que transforman y filtran elementos de flujo individuales. El sistema utiliza una sintaxis de script personalizada para definir conexiones de flujo de datos y definiciones de pipeline. Esto permite la orquestación del procesamiento de datos concurrente donde múltiples etapas del pipeline se ejecutan simultáneamente para mover elementos de datos a través del sistema. La plataforma cubre la transformación funcional de datos y la composición basada en etapas, aplicando funciones específicas para modificar o filtrar elementos a medida que pasan a través de una cadena secuencial de operaciones vinculadas.