Awesome GitHub RepositoriesStructured Data File Extractors

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

Kreuzberg is a document extraction engine that converts PDFs, Office files, images, and over 90 other formats into clean, structured text and metadata. It is built around a compiled Rust core that can be used as a native library, a command-line tool, a REST API server, or a WebAssembly module for browser-based processing. The system is designed to run entirely on self-hosted infrastructure, with no data leaving the user's environment. What distinguishes Kreuzberg is its breadth of integration surfaces and its pipeline architecture. It exposes extraction capabilities through native bindings fo

Pholcus هو إطار عمل للزحف على الويب (Web Crawler) موزع مكتوب بلغة Go، مصمم لاستخراج البيانات بتزامن عالٍ. يعمل كمنسق زحف موزع ومحرك استخراج بيانات ديناميكي، مستخدماً معمارية خادم-عميل لتنسيق المهام عبر عقد متعددة. يدمج النظام محرك متصفح بدون واجهة رسومية (Headless browser) لعرض المحتوى الديناميكي وتنفيذ JavaScript، مما يسمح له باستخراج البيانات من تطبيقات الصفحة الواحدة. يتميز بواجهة إدارة قائمة على الويب لتكوين معلمات العنكبوت ومراقبة تقدم التنفيذ، إلى جانب القدرة على تحديث قواعد الاستخراج عبر ملفات التكوين ذات التحميل الساخن دون إعادة تشغيل النظام. تتم إدارة حركة المرور من خلال تدوير مجموعة الوكلاء (Proxy pool) وعشوائية الطلبات للتهرب من اكتشاف الروبوتات وتجنب حدود المعدل. يتضمن إطار العمل استعادة نقاط التحقق القائمة على الحالة لاستئناف المهام بعد الفشل، ويوفر محولات تخزين قابلة للتوصيل لتصدير البيانات المستخرجة إلى قواعد البيانات أو طوابير الرسائل أو الملفات.

snscrape هو أداة كشط وزحف ويب لوسائل التواصل الاجتماعي تعتمد على Python مصممة لاستخراج المنشورات العامة، والملفات الشخصية، والوسوم من الشبكات الاجتماعية دون استخدام واجهات برمجة التطبيقات الرسمية. تعمل كأداة أرشفة وأداة لجمع بيانات الاستخبارات مفتوحة المصدر، مما يسمح بجمع المعلومات المتاحة علناً للتحقيق في الاتجاهات والأشخاص. تسهل الأداة استخراج بيانات وسائل التواصل الاجتماعي لأغراض البحث والأرشفة، مما يتيح إنشاء سجلات تاريخية للمحادثات ونشاط المستخدم. تدعم سير العمل للتحليل الاجتماعي الأكاديمي وتصدير مجموعات كبيرة من البيانات الوصفية والرسائل إلى ملفات محلية. تشمل القدرات القدرة على كشط منصات التواصل الاجتماعي المختلفة وتحديد حجم النتائج المستخرجة. يمكن للنظام تصدير العناصر المكتشفة كقوائم من عناوين URL أو ملفات مفصلة تحتوي على المحتوى والطوابع الزمنية.

Scraperr is a self-hosted web scraping and crawling platform designed for extracting structured data from websites using XPath selectors. It functions as a containerized system for managing scraping jobs through a queue and analyzing the resulting content using artificial intelligence. The project differentiates itself through its Kubernetes-native architecture, allowing for scalable deployment and management via package managers. It includes a crawling engine capable of domain-level spidering to discover linked pages and a data analyzer that uses artificial intelligence to query extracted we

Spider_XHS is a data extraction and automation tool built specifically for the Xiaohongshu social platform. It orchestrates multi-step workflows that combine comment tree traversal, cookie-based session reuse, high-resolution media retrieval, keyword search, proxy-backed retries, QR-code login, structured file export, and aggregated user profile collection into a single pipeline. The tool distinguishes itself through its integrated authentication and publishing capabilities, supporting login via QR code scanning or phone verification codes to establish and maintain authenticated sessions. It

هذا المشروع هو مستودع لموارد دورات جامعية وأرشيف لمواد الدراسة الأكاديمية. يعمل كمكتبة رقمية منظمة ومستودع للمستندات التعليمية، حيث يوفر مجموعة مركزية من ملاحظات الدورات، وأدلة الدراسة، ومواد التحضير للامتحانات ليقوم الطلاب بتنزيلها ودراستها. يعمل النظام كأرشيف أكاديمي رقمي لتوزيع مواد دراسة الطلاب، وينظم أدلة التعلم والمراجع الأكاديمية حسب مواد جامعية وبرامج درجات علمية محددة. يتيح إدارة مواد مراجعة الدورات لتسهيل التحضير للامتحانات الأكاديمية. تستخدم المنصة توليد المواقع الثابتة (static site generation) والمحتوى القائم على Markdown لتقديم الموارد. تتضمن فهرسة بحث من جانب العميل لتحديد مواقع المواد الأكاديمية وتستخدم مخطط بيانات قائماً على الملفات لربط معرفات الدورات بمسارات الموارد الثابتة.

هذا المشروع هو إطار عمل لمعالجة البيانات الجدولية عالي الأداء لـ R، مصمم للتعامل مع مجموعات البيانات الضخمة بكفاءة في الذاكرة وسرعة. يوفر هيكل بيانات محسناً يستخدم دلالات المرجع والتعديل في المكان لإجراء تحويلات معقدة دون عبء نسخ الكائنات غير الضروري. تتميز المكتبة بتحسيناتها المعمارية منخفضة المستوى، بما في ذلك المعالجة المتوازية متعددة الخيوط، والفرز القائم على الجذر، وتحليل الملفات المعينة في الذاكرة. من خلال تفريغ إجراءات معالجة البيانات والتجميع الحرجة إلى كود C مجمع، فإنه يتيح التنفيذ السريع للمهام التي قد تكون مكلفة حسابياً. يدعم محركها الأساسي عمليات علائقية متقدمة، مثل الانضمامات غير المتساوية، والمتدحرجة، والمتداخلة، إلى جانب الفهرسة الثانوية التلقائية لتسريع الوصول المتكرر للبيانات. إلى جانب إمكانات المعالجة الأساسية، يقدم المشروع مجموعة شاملة من الأدوات لإدارة دورة حياة البيانات. يتضمن ذلك أدوات استيعاب وتسلسل عالية السرعة مع الكشف التلقائي عن النوع، بالإضافة إلى دعم متخصص لتحليل السلاسل الزمنية والتجميع متعدد الأبعاد. تم بناء إطار العمل ليتوسع، مما يسمح للمستخدمين بإجراء عمليات تجميع وتصفية وإعادة تشكيل معقدة على مجموعات بيانات تحتوي على مليارات الصفوف مع الحفاظ على استقرار النظام وأدائه.