3 مستودعات
Automatic creation of robots.txt files to manage search engine crawler access.
Distinct from Crawl Boundary Controls: The feature is a simple robots.txt generator for crawler control, which differs from the complex crawl boundaries or adaptive engines in the shortlist.
Explore 3 awesome GitHub repositories matching web development · Robots.txt Generation. Refine with filters or upvote what's useful.
Shlink هو أداة تقصير روابط (URL shortener) ذاتية الاستضافة مصممة لإنشاء وإدارة عناوين الويب المختصرة على نطاقات مخصصة مع ملكية كاملة للبيانات. يعمل كمحول توجيه ديناميكي للروابط ومدير روابط متعدد النطاقات، مما يسمح لتثبيت واحد بتنظيم وخدمة الأسماء المستعارة عبر عدة نطاقات جذر مختلفة. يتمحور النظام حول واجهة برمجة تطبيقات REST لإدارة الروابط برمجياً، مما يتيح للتطبيقات الخارجية أتمتة إنشاء وتحديث وحذف الروابط القصيرة. ويتضمن محرك تحليلات حركة مرور مخصص يسجل الزيارات، ويكتشف الروبوتات، ويوفر بيانات جغرافية لتحليل أنماط التفاعل. يوفر المشروع توجيهاً متقدماً لحركة المرور يمكنه إرسال الزوار إلى وجهات مختلفة بناءً على نوع الجهاز، أو الترويسات، أو قواعد الأولوية المخصصة. ويغطي إمكانيات أوسع تشمل توليد رموز QR، والتخزين المؤقت الموزع، وإدارة مفاتيح API مع أذونات دقيقة. يتم دعم التثبيت عبر واجهة سطر الأوامر وأدوات التكوين التفاعلية لنشر البنية التحتية ذاتية الاستضافة.
Controls which user agents can crawl short URLs via a generated robots.txt file.
هذا المشروع عبارة عن مجموعة من ملفات الإعدادات والسكربتات التي تعمل كحاجب للروبوتات (Bot blocker) وبرمجيات وسيطة أمنية لـ Nginx. يعمل كمدير مؤتمت لقوائم الحظر يقوم بتصفية وكلاء المستخدم (User-agents) وعناوين IP الضارة للتخفيف من فحص الثغرات، وهجمات القوة الغاشمة لتسجيل الدخول، وهجمات DDoS. يتميز النظام بأتمتة صيانة قواعد الأمان، وتنزيل تعريفات الروبوتات المحدثة، وإعادة تحميل الخادم وفق جدول زمني. كما يتضمن مرشحاً لرسائل البريد المزعج في محركات البحث قادراً على إنشاء ملفات robots.txt وقوائم رفض الروابط لمنع النطاقات الضارة من التأثير على فهرسة الموقع. يغطي البرنامج نطاقاً واسعاً من قدرات إدارة حركة المرور والتحكم في الوصول، بما في ذلك تحديد معدل الطلبات، والتصفية القائمة على المُحيل (Referrer)، وإسقاط الاتصالات. يتكامل مع Fail2Ban لحظر عناوين IP بناءً على السجلات ويوفر قائمة بيضاء لعناوين IP لضمان بقاء الخدمات المشروعة قابلة للوصول. يدعم التثبيت مسارات مخصصة للخوادم ذات هياكل الدليل غير القياسية.
Generates standardized robots.txt files to control how automated crawlers index the site.
next-sitemap is an SEO automation tool and sitemap generator for Next.js. It provides a system for automatically creating XML sitemaps and robots.txt files to manage search engine indexing for static, dynamic, and server-side pages. The tool differentiates itself through support for multi-language SEO management, allowing for the configuration of language alternate tags and localized URL versions. It also handles large-scale sitemap organization by splitting massive URL sets into multiple smaller files and creating a primary sitemap index to comply with search engine limits. The project cove
Automatically creates robots.txt files to manage search engine crawler access based on configuration.