Awesome GitHub RepositoriesRobots.txt Generation

Shlink este un serviciu self-hosted de scurtare a URL-urilor, conceput pentru crearea și gestionarea adreselor web scurtate pe domenii personalizate, cu control total asupra datelor. Funcționează ca un redirector dinamic de URL-uri și un manager de linkuri multi-domeniu, permițând unei singure instalări să organizeze și să deservească aliasuri pe mai multe domenii rădăcină diferite. Sistemul este centrat în jurul unui API REST pentru gestionarea programatică a linkurilor, permițând aplicațiilor externe să automatizeze crearea, actualizarea și ștergerea URL-urilor scurte. Include un motor dedicat de analiză a traficului care înregistrează vizitele, detectează boții și oferă date de geolocalizare pentru a analiza tiparele de interacțiune. Proiectul oferă rutare avansată a traficului care poate trimite vizitatorii către destinații diferite în funcție de tipul dispozitivului, headere sau reguli de prioritate personalizate. Acoperă capabilități mai largi, inclusiv generarea de coduri QR, caching distribuit partajat și administrarea cheilor API cu permisiuni granulare. Instalarea este suportată prin intermediul unei interfețe în linie de comandă (CLI) și instrumente de configurare interactive pentru implementarea pe infrastructură self-hosted.

Acest proiect este o colecție de fișiere de configurare și scripturi care servesc drept blocator de boți și middleware de securitate pentru Nginx. Funcționează ca un manager automat de blocklist care filtrează user-agent-urile și adresele IP malițioase pentru a atenua scanările de vulnerabilități, atacurile de tip brute-force asupra autentificării și atacurile DDoS. Sistemul se distinge prin automatizarea mentenanței regulilor de securitate, descărcarea definițiilor actualizate de boți și reîncărcarea serverului conform unui program. Include, de asemenea, un filtru de spam pentru motoarele de căutare, capabil să genereze fișiere robots.txt și liste de link-uri de tip disavow pentru a preveni indexarea site-ului de către domenii malițioase. Software-ul acoperă o gamă largă de capabilități de gestionare a traficului și control al accesului, inclusiv rate limiting, filtrare bazată pe referrer și drop-ul conexiunilor. Se integrează cu Fail2Ban pentru banarea IP-urilor bazată pe log-uri și oferă whitelisting de IP-uri pentru a asigura accesibilitatea serviciilor legitime. Instalarea suportă căi personalizate pentru servere cu structuri de directoare non-standard.

next-sitemap is an SEO automation tool and sitemap generator for Next.js. It provides a system for automatically creating XML sitemaps and robots.txt files to manage search engine indexing for static, dynamic, and server-side pages. The tool differentiates itself through support for multi-language SEO management, allowing for the configuration of language alternate tags and localized URL versions. It also handles large-scale sitemap organization by splitting massive URL sets into multiple smaller files and creating a primary sitemap index to comply with search engine limits. The project cove