Awesome GitHub RepositoriesData Connectors

Airweave is a unified AI knowledge base platform that syncs data from external APIs into a searchable layer for retrieval-augmented generation. It provides a pre-built data connector library and a framework for building custom connectors, enabling the extraction, transformation, and synchronization of structured and unstructured data from SaaS applications. The platform includes a hybrid vector retrieval system that combines semantic, neural, and keyword search strategies to deliver grounded context for AI agents. The platform distinguishes itself through an agentic search engine that iterati

Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg

StreamPark ist eine zentralisierte Managementplattform, die darauf ausgelegt ist, das Deployment, Monitoring und den operativen Lebenszyklus verteilter Stream-Processing- und Batch-Anwendungen zu koordinieren. Sie fungiert als Control-Plane und Orchestrator für Datenpipelines und bietet spezifisch Managementfunktionen für Apache Flink- und Hadoop YARN-Umgebungen. Die Plattform zeichnet sich durch einen Low-Code-Ansatz für das Task-Deployment und einen Multi-Engine-Execution-Adapter aus, der diverse Verarbeitungs-Runtimes unterstützt. Sie erleichtert das Echtzeit-Datenpipeline-Management durch die Kombination von Streaming-SQL-Analytics mit einer ressourcenbasierten Deployment-Pipeline, die Versionierung, Binär-Uploads und Savepoint-basierte Zustands-Wiederherstellung handhabt. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich verteilter Job-Orchestrierung, Echtzeit-Datenintegration über vorgefertigte Connectors und Identitätsintegration via LDAP oder SSO. Es bietet zudem Observability-Tools für sekundengenaue Anwendungsüberwachung und automatisierte operative Fehlerbenachrichtigungen.

Npgsql is a .NET data provider and client library that enables applications to connect, execute queries, and manage data within PostgreSQL databases. It functions as a connection manager and translation layer between the application and the database server. The project features a connection manager capable of multi-host connectivity, providing load balancing and automatic failover across multiple servers. It includes specialized support for high-volume data import and export through bulk data operations and a mapping system that translates complex database types, such as arrays and JSON, into