Awesome GitHub RepositoriesTechnical Document Parsing

Knowledge Repo هو نظام لإدارة المحتوى التقني مصمم لتنظيم ومشاركة الأبحاث والأدلة المهنية والوثائق التقنية. يعمل كويكي تقني تعاوني وقاعدة معرفية تدعم تنظيم الرؤى باستخدام دفاتر الملاحظات (notebooks) وملفات Markdown. تتزامن المنصة مع نظام التحكم في الإصدار لأتمتة نشر المحتوى عن طريق اكتشاف الالتزامات (commits) والتغييرات التي يتم دفعها إلى مستودع Git متصل. يسمح هذا التكامل للنظام بإدارة محتوى Markdown والمنشورات التقنية من خلال سير عمل مدمج مع التحكم في الإصدار. يتضمن النظام أدوات لتأليف المحتوى بتنسيقات متعددة واستيراد الوثائق التقنية، بالإضافة إلى ميزات اجتماعية للتعاون بين الأقران من خلال تحديث والتعليق على المنشورات المشتركة. يتم نشره كبوابة مستضافة ذاتياً داخل بيئات حاويات باستخدام تعيين منافذ قابل للتهيئة ومجلدات تخزين.

هذا المشروع عبارة عن إطار عمل شامل للبرمجة الأدبية (literate programming) يتيح للمطورين بناء مكتبات Python جاهزة للإنتاج بالكامل داخل Jupyter Notebooks. من خلال التعامل مع دفاتر الملاحظات كمصدر أساسي للحقيقة، فإنه يدمج الكود والتوثيق والاختبار في خط أنابيب تطوير موحد يتم تصديره مباشرة إلى وحدات Python القياسية. يتميز إطار العمل بأدوات متخصصة مصممة للتغلب على التحديات المتأصلة في استخدام دفاتر الملاحظات في هندسة البرمجيات المهنية. يتضمن خطافات Git مخصصة ومحركات دمج تقوم بتنظيف بيانات تعريف دفتر الملاحظات المتقلبة، مما يلغي بشكل فعال الاختلافات المزعجة ويحل تعارضات الدمج. علاوة على ذلك، يستخدم توجيهات قائمة على الخلايا للتحكم في رؤية الكود، والاختبار، وتوليد التوثيق، مما يسمح للمطورين بالحفاظ على كود مصدري نظيف ومعياري أثناء العمل في بيئة تفاعلية. بعيداً عن سير عمل التطوير الأساسي الخاص به، يوفر المشروع مجموعة قوية من أدوات الأتمتة لدورة حياة البرمجيات بأكملها. يتضمن ذلك محرك موقع ثابت لتقديم توثيق بدرجة النشر مع دعم للمعادلات الرياضية والإسناد الترافقي للرموز، بالإضافة إلى أدوات مساعدة لإدارة تبعيات المشروع، والإصدار، والاختبار المؤتمت. كما يدعم سير عمل التكامل المستمر لنشر التوثيق ونشر الحزم في السجلات القياسية. يوفر المشروع عملية تمهيد موحدة لتهيئة مستودعات جديدة بخطوط أنابيب مهيأة مسبقاً للاختبار والتوثيق والتحكم في الإصدار.

Grobid هو نظام تعلم آلي مصمم لتحويل المنشورات العلمية والأكاديمية بتنسيق PDF إلى XML مهيكل. يعمل كمحلل PDF إلى XML ومستخرج للبيانات الوصفية العلمية، حيث يحدد ويطبع العناوين، والمؤلفين، والانتماءات، والمراجع الببليوغرافية من الأوراق البحثية. يستخدم النظام مقسماً للمستندات يعتمد على التعلم العميق لتقسيم ملفات PDF الخام إلى مناطق وظيفية، ويستخدم محللاً للمراجع الببليوغرافية لمطابقة الاستشهادات مقابل سجلات خارجية لإثراء البيانات الوصفية وحل معرفات DOI. يدعم خط أنابيب تدريب نموذج تعلم آلي كامل، مما يسمح بإنشاء مجموعات تدريب مشروحة، وإعادة تدريب النماذج، وتصدير ثنائيات النماذج. يغطي المشروع مجموعة واسعة من قدرات الاستخراج، بما في ذلك تحليل ترويسة المستند، وهيكلة نص الجسم الكامل، وتحديد الكيانات الخاصة بالمجال مثل معلومات التمويل واستشهادات براءات الاختراع. كما يوفر أدوات تحليل مكاني لاستخراج مربعات الإحاطة ورسم خرائط الإحداثيات لمزامنة التسميات الدلالية مع تخطيط PDF الأصلي. يمكن نشر التطبيق عبر صور حاويات (containerized) ويتضمن أدوات سطر أوامر لمعالجة الدفعات متعددة الخيوط لمجموعات المستندات الكبيرة.