Awesome GitHub RepositoriesData Transformation Rules

Payload is a headless content management system and application framework that uses a code-first approach to define data schemas and administrative interfaces. By utilizing a centralized, type-safe configuration object, it automatically generates database schemas, API endpoints, and a fully customizable admin panel. The system is built on a database-agnostic architecture, allowing it to interface with various storage engines while providing a unified, type-safe API for server-side operations, REST, and GraphQL. What distinguishes Payload is its deep extensibility and developer-centric design.

Rickshaw is a JavaScript library for building interactive, SVG-based time series charts in the browser. It provides a framework for rendering line, area, bar, and scatterplot visualizations from data series, with built-in support for axes, legends, color palettes, and interactive controls. The library distinguishes itself through a plugin-based architecture that allows renderers to be swapped at runtime, such as switching between stacked area and line chart views while preserving chart state. It includes an event-driven interaction layer for hover details, click behaviors, and drag-based rang

CloudQuery is a cloud infrastructure ETL tool and multi-cloud data pipeline designed to collect, synchronize, and normalize resource metadata from various cloud providers and SaaS platforms. It functions as a centralized asset inventory manager and security posture manager, extracting configuration and state data into relational databases, data lakes, or data warehouses. The system distinguishes itself by transforming complex, nested cloud API responses into flat relational tables, enabling the use of standard SQL for asset querying and analysis. It employs a modular plugin system for data ex

pgloader is a command-line tool that automates the migration of data and schema from various source databases and file formats into PostgreSQL. It combines schema discovery, parallel data pipelines, and type casting into a single, declarative workflow, using PostgreSQL's COPY protocol for high-throughput bulk loading. The tool distinguishes itself by compiling a dedicated command language into concurrent reader-writer pipelines that handle schema introspection, data transformation, and error-resilient batch processing. It supports migrating entire databases from MySQL, MS SQL, SQLite, and Pos

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

dlt هي أداة لاستيعاب البيانات بلغة Python وإطار عمل لخط أنابيب ETL مصمم لجلب البيانات من مصادر متنوعة وحفظها في وجهات مهيكلة. تعمل كمحرك لاستنتاج المخطط (schema inference) يكتشف تلقائياً أنواع البيانات ويسطح هياكل JSON المتداخلة في جداول علائقية، ناقلاً البيانات من المصادر إلى بحيرات البيانات، أو المستودعات، أو قواعد بيانات المتجهات. يتميز المشروع بتوليد خط أنابيب مدعوم بالذكاء الاصطناعي، باستخدام نماذج لغات كبيرة لسقالات كود الاستخراج والموصلات لـ REST APIs. كما يدعم تخزين المتجهات متعدد الوسائط والتعبئة المتخصصة لقواعد بيانات المتجهات لدعم تطبيقات الذكاء الاصطناعي والتعلم الآلي. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك تطور المخطط المؤتمت، وتحميل البيانات التزايدي عبر تتبع الحالة، والتحقق من جودة البيانات من خلال فرض عقود البيانات. يوفر أدوات لتطبيع البيانات العلائقية، وتحويلات ما قبل وما بعد التحميل، ومجموعة متنوعة من محولات الوجهة لقواعد بيانات SQL ومخازن الكائنات السحابية. تتم إدارة المراقبة من خلال لوحات معلومات تنفيذ خط الأنابيب، وتتبع نسب الأعمدة، والتحقق من إصدار المخطط باستخدام التجزئات القائمة على المحتوى.

koa2-note هو مشروع يركز على تطوير خوادم الويب باستخدام Koa2 والبرمجة غير المتزامنة في Node.js. يوفر إطار عمل لبناء خوادم الويب وواجهات برمجة التطبيقات (APIs) باستخدام خط معالجة (middleware) غير متزامن للتعامل مع دورات الطلب والاستجابة. يؤكد المشروع على بنية خلفية (backend) ذات طبقات تفصل بين التوجيه (routing)، وخدمات الأعمال، ونماذج البيانات. يتميز بدمج قواعد بيانات علائقية لحفظ جلسات المستخدم وبيانات التطبيق، إلى جانب عملية بناء تتضمن تجميع JSX إلى JavaScript لأصول الواجهة الأمامية. تغطي إمكانيات المشروع تصميم واجهات برمجة التطبيقات الخلفية، بما في ذلك التوجيه RESTful وتحليل بيانات الطلب، بالإضافة إلى العرض من جانب الخادم (SSR) باستخدام محركات القوالب. كما يتضمن دعماً لرفع الملفات غير المتزامن باستخدام تحليل التدفق متعدد الأجزاء، وإدارة الجلسات القائمة على ملفات تعريف الارتباط (cookies)، وتنفيذ JSONP للطلبات عبر النطاقات. يعمل المستودع كمورد تعليمي مع دروس منظمة وأمثلة لتعلم تنفيذ إطار عمل Koa وبنية الخادم.

Davinci هي منصة ذكاء أعمال وتصور بيانات تُستخدم لبناء لوحات معلومات وتقارير تفاعلية. تعمل كمنشئ لوحة معلومات قائم على SQL وخدمة تحليلات متعددة المستأجرين تتصل بقواعد البيانات عبر JDBC وملفات CSV لتحويل البيانات الخام إلى مكونات بصرية. تتميز المنصة بنموذج أمان دقيق، يتضمن أذونات على مستوى الصف والعمود مدمجة مع مصادقة LDAP و OAuth2. كما توفر أداة تصور مضمنة تسمح بإدراج مخططات ولوحات معلومات آمنة ومُعاملة في تطبيقات خارجية عبر روابط URL وإطارات. يغطي النظام مجموعة واسعة من القدرات، بما في ذلك نمذجة البيانات باستخدام قوالب SQL، ومحرك تخطيط السحب والإفلات للوحات المعلومات سريعة الاستجابة، ومجموعة واسعة من أنواع التصور مثل مخططات Sankey، ومخططات الرادار، والخرائط الجغرافية. كما يتضمن أتمتة لجدولة التقارير القائمة على البريد الإلكتروني ويستخدم التخزين المؤقت للقيمة الرئيسية لتحسين أداء الاستعلام.

Rudder Server عبارة عن منصة بيانات عملاء وخط أنابيب توجيه أحداث مصمم لجمع وتحويل وتوجيه بيانات أحداث العملاء من مصادر مختلفة إلى مستودعات البيانات وأدوات الأعمال. يعمل كمحلل هوية عملاء، يربط المعرفات من مصادر متعددة لبناء رسم بياني موحد للهوية وملفات تعريف سلوكية شاملة للعملاء. يتميز النظام بقدرات ETL العكسية، التي تدفع شرائح العملاء والجماهير المعالجة من مستودعات البيانات مرة أخرى إلى تطبيقات الطرف الثالث التشغيلية. كما يوفر مستوى بيانات حاوية لنشر Kubernetes، مما يتيح إدارة البنية التحتية للبيانات ككود. تغطي المنصة مجموعة واسعة من قدرات إدارة البيانات، بما في ذلك تحويل الأحداث في الوقت الفعلي، والتحقق من المخطط عبر كتالوجات البيانات، وحوكمة الخصوصية. تشمل هذه أدوات لإدارة موافقة المستخدم، وفرض إقامة البيانات داخل مناطق جغرافية محددة، وإخفاء معلومات التعريف الشخصية أثناء النقل. تتم إدارة تثبيت ونشر مكونات مستوى البيانات باستخدام مخططات Helm.