Awesome GitHub RepositoriesDomain Specific Languages

Apache Beam is a distributed data pipeline framework and unified data processing model designed to handle both bounded batch data and unbounded real-time streams. It provides a system for building scalable, data-parallel workflows that operate across compute clusters using a single programming model. The framework utilizes a cross-runner pipeline abstraction that decouples the data processing logic from the underlying execution backend, allowing the same pipeline to run on different distributed compute engines. It supports multi-language pipeline development by translating high-level code fro

Absinthe es una implementación de servidor GraphQL y motor de consultas para el ecosistema Elixir. Proporciona el kit de herramientas fundamental para construir APIs GraphQL, incluyendo un motor de procesamiento que analiza, valida y ejecuta documentos contra un esquema de aplicación definido. El proyecto incluye un resolver por lotes (batch resolver) para optimizar el rendimiento de la base de datos agrupando solicitudes de campos y un protector de complejidad para proteger los recursos del sistema rechazando consultas que excedan los umbrales de costo definidos. También cuenta con un adaptador de esquema que traduce las convenciones de nomenclatura internas de Elixir a la notación de GraphQL externa para compatibilidad con el cliente. El modelo de ejecución soporta la resolución de campos asíncronos y un pipeline basado en middleware para el procesamiento de consultas personalizadas. Las capacidades adicionales cubren el análisis de costo de consultas, resolución basada en esquemas y la capacidad de personalizar la lógica de análisis y validación.

Streaming MapReduce with Scalding and Storm

Run Python in Apache Storm topologies. Pythonic API, CLI tooling, and a topology DSL.

Esper Complex Event Processing, Streaming SQL and Event Series Analysis

Map-Reduce for Clojure

Lipstick

An Open Source Big Data Security Analytics tool that analyses pcap files using Apache Pig . Created by Packetloop . See the Packetloop Blog for Packetpig tips and tricks.

An implementation of RDF for Elixir

An implementation of JSON-LD for Elixir

Version: 0.5

Experiments in Streaming

Machine learning and natural language processing with Apache Pig

An implementation of SPARQL for Elixir