awesome-repositories.com
المدونة
awesome-repositories.com

اكتشف أفضل مستودعات المصادر المفتوحة باستخدام بحث مدعوم بالذكاء الاصطناعي.

استكشفعمليات بحث منسقةبدائل مفتوحة المصدربرمجيات ذاتية الاستضافةالمدونةخريطة الموقع
المشروعحولكيفية ترتيب النتائجالصحافةخادم MCP
قانونيالخصوصيةالشروط
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

3 مستودعات

Awesome GitHub RepositoriesRobots.txt Generation

Automatic creation of robots.txt files to manage search engine crawler access.

Distinct from Crawl Boundary Controls: The feature is a simple robots.txt generator for crawler control, which differs from the complex crawl boundaries or adaptive engines in the shortlist.

Explore 3 awesome GitHub repositories matching web development · Robots.txt Generation. Refine with filters or upvote what's useful.

Awesome Robots.txt Generation GitHub Repositories

اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
  • shlinkio/shlinkالصورة الرمزية لـ shlinkio

    shlinkio/shlink

    5,117عرض على GitHub↗

    Shlink هو أداة تقصير روابط (URL shortener) ذاتية الاستضافة مصممة لإنشاء وإدارة عناوين الويب المختصرة على نطاقات مخصصة مع ملكية كاملة للبيانات. يعمل كمحول توجيه ديناميكي للروابط ومدير روابط متعدد النطاقات، مما يسمح لتثبيت واحد بتنظيم وخدمة الأسماء المستعارة عبر عدة نطاقات جذر مختلفة. يتمحور النظام حول واجهة برمجة تطبيقات REST لإدارة الروابط برمجياً، مما يتيح للتطبيقات الخارجية أتمتة إنشاء وتحديث وحذف الروابط القصيرة. ويتضمن محرك تحليلات حركة مرور مخصص يسجل الزيارات، ويكتشف الروبوتات، ويوفر بيانات جغرافية لتحليل أنماط التفاعل. يوفر المشروع توجيهاً متقدماً لحركة المرور يمكنه إرسال الزوار إلى وجهات مختلفة بناءً على نوع الجهاز، أو الترويسات، أو قواعد الأولوية المخصصة. ويغطي إمكانيات أوسع تشمل توليد رموز QR، والتخزين المؤقت الموزع، وإدارة مفاتيح API مع أذونات دقيقة. يتم دعم التثبيت عبر واجهة سطر الأوامر وأدوات التكوين التفاعلية لنشر البنية التحتية ذاتية الاستضافة.

    Controls which user agents can crawl short URLs via a generated robots.txt file.

    PHPlaminasmezziophp
    عرض على GitHub↗5,117
  • mitchellkrogza/nginx-ultimate-bad-bot-blockerالصورة الرمزية لـ mitchellkrogza

    mitchellkrogza/nginx-ultimate-bad-bot-blocker

    4,750عرض على GitHub↗

    هذا المشروع عبارة عن مجموعة من ملفات الإعدادات والسكربتات التي تعمل كحاجب للروبوتات (Bot blocker) وبرمجيات وسيطة أمنية لـ Nginx. يعمل كمدير مؤتمت لقوائم الحظر يقوم بتصفية وكلاء المستخدم (User-agents) وعناوين IP الضارة للتخفيف من فحص الثغرات، وهجمات القوة الغاشمة لتسجيل الدخول، وهجمات DDoS. يتميز النظام بأتمتة صيانة قواعد الأمان، وتنزيل تعريفات الروبوتات المحدثة، وإعادة تحميل الخادم وفق جدول زمني. كما يتضمن مرشحاً لرسائل البريد المزعج في محركات البحث قادراً على إنشاء ملفات robots.txt وقوائم رفض الروابط لمنع النطاقات الضارة من التأثير على فهرسة الموقع. يغطي البرنامج نطاقاً واسعاً من قدرات إدارة حركة المرور والتحكم في الوصول، بما في ذلك تحديد معدل الطلبات، والتصفية القائمة على المُحيل (Referrer)، وإسقاط الاتصالات. يتكامل مع Fail2Ban لحظر عناوين IP بناءً على السجلات ويوفر قائمة بيضاء لعناوين IP لضمان بقاء الخدمات المشروعة قابلة للوصول. يدعم التثبيت مسارات مخصصة للخوادم ذات هياكل الدليل غير القياسية.

    Generates standardized robots.txt files to control how automated crawlers index the site.

    Shelladwarebot-blockerbots
    عرض على GitHub↗4,750
  • iamvishnusankar/next-sitemapالصورة الرمزية لـ iamvishnusankar

    iamvishnusankar/next-sitemap

    3,737عرض على GitHub↗

    next-sitemap is an SEO automation tool and sitemap generator for Next.js. It provides a system for automatically creating XML sitemaps and robots.txt files to manage search engine indexing for static, dynamic, and server-side pages. The tool differentiates itself through support for multi-language SEO management, allowing for the configuration of language alternate tags and localized URL versions. It also handles large-scale sitemap organization by splitting massive URL sets into multiple smaller files and creating a primary sitemap index to comply with search engine limits. The project cove

    Automatically creates robots.txt files to manage search engine crawler access based on configuration.

    TypeScript
    عرض على GitHub↗3,737
  1. Home
  2. Web Development
  3. Robots.txt Generation