Awesome GitHub RepositoriesHTTP Cookie Managers

Axios is an isomorphic, promise-based HTTP client designed for making asynchronous network requests across different JavaScript execution environments, including the browser and Node.js. It functions as a JSON API client that serializes JavaScript objects into JSON and parses server responses into structured data. The project features a system for managing reusable client instances with shared configurations, such as base URLs and default settings. It includes a mechanism for intercepting outgoing requests and incoming responses globally, allowing data to be transformed before it reaches the

Requests is a Python HTTP client library used for sending HTTP requests and handling responses. It serves as a network client providing fundamental components for session management, proxy routing, multi-part uploading, and SSL/TLS certificate verification. The project distinguishes itself through a session manager that maintains cookies and reuses TCP connections to improve network performance. It also includes a dedicated multi-part form uploader for transmitting binary data and an integrated SSL/TLS certificate verifier to ensure encrypted and trusted communication. The library covers a b

Curl is a command-line tool and portable library for transferring data across a wide range of network protocols. It functions as a unified engine that abstracts diverse communication standards, allowing users and developers to move files and information between servers using a consistent interface. The project provides both a versatile command-line client for terminal-based automation and a stable programmatic interface for integrating complex network operations into applications. The system is distinguished by its protocol-agnostic core and its ability to manage both synchronous and asynchro

jsdom is a Node.js implementation of web standards that functions as a headless browser emulator. It provides a JavaScript execution environment and an HTML and XML parser to simulate a browser environment on the server side, implementing various web APIs and W3C standards. The project distinguishes itself by providing a sandboxed runtime for executing scripts embedded in HTML or external files. It includes specialized polyfills for the Canvas API and manages session state through HTTP cookie management. Its broader capabilities cover network interaction via request interception and resource

Apache JMeter is a Java-based performance testing tool and multi-protocol traffic simulator used to analyze the stability and scalability of servers and networks. It functions as a distributed load testing framework that coordinates remote worker nodes from a single controller to generate high volumes of concurrent traffic. The project is distinguished by its ability to simulate traffic across diverse backend systems, including HTTP, JDBC, LDAP, JMS, FTP, and TCP. It provides a headless command-line interface for automated execution and a reporting system that transforms raw sample logs into

Buffalo هو إطار عمل ويب MVC شامل وسلسلة أدوات متكاملة لبناء تطبيقات الويب في Go. يوفر بيئة تطوير منظمة تفصل بين النماذج والعروض ووحدات التحكم، مع دمج إطار عمل ويب مع غلاف تعيين كائني-علائقي (ORM) مخصص لإدارة مخطط قاعدة البيانات والسجلات. يتميز المشروع بمجموعة من أدوات التطوير لتمهيد هياكل المشاريع، وإدارة الأصول، وبناء حاويات جاهزة للإنتاج. يتميز بنظام توجيه متطور يدعم توليد الموارد RESTful القائم على الاتفاقيات، والاستضافة الافتراضية القائمة على النطاق، وإنشاء مساعدي المسارات للربط الداخلي المتسق. يغطي إطار العمل مجموعة واسعة من قدرات الويب الأساسية، بما في ذلك خطوط أنابيب الطلبات القائمة على البرمجيات الوسيطة (middleware)، وعرض القوالب الديناميكي، وإدارة الحالة ذات النطاق الخاص بالطلب. كما يتضمن دعماً متكاملاً لمعالجة المهام في الخلفية، وإدارة الجلسات، وإرسال البريد الإلكتروني، وإيقاف تشغيل الخادم بشكل سلس.

Crawlee-python is a web crawling framework for building scalable scrapers using Python. It serves as a comprehensive tool for web scraping automation, providing a system to extract structured data from websites using both lightweight HTTP requests and headless browser automation. The framework is distinguished by its anti-bot evasion capabilities, which include browser fingerprint impersonation and tiered proxy rotation to bypass detection systems and solve challenges such as Cloudflare. It also incorporates artificial intelligence for autonomous website navigation and schema-based data extra

Cowboy is a high-performance HTTP server for Erlang and OTP. It is designed to handle web traffic with low memory usage and can be used as a standalone server or as an embedded networking library integrated directly into an existing application. The project implements modern transport protocols, including HTTP/3, QUIC, and WebTransport, to enable faster connections and bidirectional data streaming. It also functions as a real-time communication server supporting Server-Sent Events for pushing asynchronous updates to clients. Broad capabilities include path and content-type based request rout

PoisonTap is a hardware attack tool designed for the Raspberry Pi Zero that exploits a USB connection to a locked or password-protected computer, extracting browser cookies and session data from the top million websites without requiring the device to be unlocked. It operates by bypassing the lock screen through USB and network stack exploitation, then siphoning HTTP cookies and intercepting all outbound Internet traffic by overriding network routing through a local device. The tool distinguishes itself through multiple persistence and recovery mechanisms that maintain access even after cooki

xUtils3 is an integrated Android toolkit that combines HTTP networking, image loading, ORM database queries, and view injection into a single cohesive library. It provides annotation-driven view binding and event handling, eliminating manual view lookups by scanning Java annotations at runtime through reflection. The library includes a fluent LINQ-style ORM query builder for constructing type-safe database queries with filtering, grouping, aggregation, and pagination operations. Its HTTP networking layer supports multiple verbs, cookie management, and pluggable response parsing for structured

CodeIgniter is a PHP web framework built on the Model-View-Controller pattern, designed for building full-stack web applications. It provides a lightweight toolkit with minimal configuration, organizing application logic into controllers, models, and views for clean separation of concerns. The framework includes a fluent query builder for constructing SQL statements programmatically, PSR-4 autoloading with namespace mapping, and a service-based dependency injection container for managing shared class instances. The framework distinguishes itself through its comprehensive set of built-in tools

هذا المشروع عبارة عن مكتبة شبكات HTTP بلغة Objective-C توفر غلافاً كائني التوجه لـ CFNetwork لتنفيذ طلبات متزامنة وغير متزامنة على macOS و iOS. يعمل كإطار عمل لإدارة جلسات HTTP، وتنفيذ عمليات نقل الملفات القابلة للاستئناف، والتعامل مع التخزين المؤقت للمحتوى دون اتصال. تتميز المكتبة بمدير نقل ملفات قابل للاستئناف يتتبع إزاحات البايت ويستخدم البث المدعوم بالقرص لعمليات الرفع والتحميل الكبيرة. كما تتضمن مديراً آمناً للاعتمادات يتكامل مع سلسلة مفاتيح النظام (keychain) للتعامل مع شهادات العميل ورموز المصادقة. تغطي الواجهة التقنية إدارة جلسات HTTP مع معالجة تلقائية لملفات تعريف الارتباط (cookies)، والمصادقة الآمنة عبر الويب، والحصول على صفحات ويب كاملة للعرض دون اتصال. كما توفر أدوات لمعالجة الطلبات في الخلفية، وضغط حركة مرور الشبكة، وتقييد النطاق الترددي، وتكوين الوكيل (proxy).

jd-assistant هو روبوت أتمتة تجارة إلكترونية مصمم لمنصة JD.com. يعمل كنص برمجي مؤتمت لإتمام عمليات الشراء ومشغل مهام يراقب مخزون المنتجات وينفذ تسلسلات الشراء للعناصر ذات الطلب المرتفع. يتخصص المشروع في أتمتة مبيعات التخفيضات السريعة (Flash Sale)، حيث يجمع بين مراقبة المخزون في الوقت الفعلي وجدولة المهام المتزامنة مع الساعة لإطلاق الطلبات في طوابع زمنية محددة. يدير تدفق الشراء من البداية إلى النهاية، بما في ذلك إدارة عربة التسوق المؤتمتة وتقديم الطلبات باستخدام معرفات إقليمية محددة مسبقاً. يتضمن النظام قدرات لإدارة الحساب والجلسة عبر مصادقة رمز QR واستمرارية ملفات تعريف الارتباط. كما يدمج عشوائية الطلبات من خلال تدوير وكيل المستخدم (User-agent)، وتشفير الحمولة القائم على RSA لنقل البيانات بشكل آمن، وإشعارات الدفع القائمة على HTTP لتنبيهات التنفيذ.

koa2-note هو مشروع يركز على تطوير خوادم الويب باستخدام Koa2 والبرمجة غير المتزامنة في Node.js. يوفر إطار عمل لبناء خوادم الويب وواجهات برمجة التطبيقات (APIs) باستخدام خط معالجة (middleware) غير متزامن للتعامل مع دورات الطلب والاستجابة. يؤكد المشروع على بنية خلفية (backend) ذات طبقات تفصل بين التوجيه (routing)، وخدمات الأعمال، ونماذج البيانات. يتميز بدمج قواعد بيانات علائقية لحفظ جلسات المستخدم وبيانات التطبيق، إلى جانب عملية بناء تتضمن تجميع JSX إلى JavaScript لأصول الواجهة الأمامية. تغطي إمكانيات المشروع تصميم واجهات برمجة التطبيقات الخلفية، بما في ذلك التوجيه RESTful وتحليل بيانات الطلب، بالإضافة إلى العرض من جانب الخادم (SSR) باستخدام محركات القوالب. كما يتضمن دعماً لرفع الملفات غير المتزامن باستخدام تحليل التدفق متعدد الأجزاء، وإدارة الجلسات القائمة على ملفات تعريف الارتباط (cookies)، وتنفيذ JSONP للطلبات عبر النطاقات. يعمل المستودع كمورد تعليمي مع دروس منظمة وأمثلة لتعلم تنفيذ إطار عمل Koa وبنية الخادم.

MechanicalSoup هي مكتبة أتمتة ويب Python وإطار عمل كشط مصمم لمحاكاة جلسات المتصفح والتنقل في مواقع الويب دون الحاجة إلى تنفيذ JavaScript. تعمل كأداة تحليل HTML ومدير جلسة HTTP، مما يسمح بالاسترجاع البرمجي لمحتوى الصفحة وأتمتة تفاعلات الويب. تتميز المكتبة بجمع استمرارية الجلسة مع تفاعل النماذج المؤتمت. تقوم بتعيين بيانات المستخدم إلى حقول إدخال HTML ومربعات الاختيار للإرسال البرمجي وتحافظ على الحالات الموثقة من خلال إدارة ملفات تعريف الارتباط ورؤوس وكيل المستخدم عبر طلبات متعددة. كما تتضمن أدوات تشخيصية تصدر حالة HTML الحالية إلى ملف محلي للتحقق المرئي في متصفح خارجي. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك التنقل عبر HTTP بدون رأس، واستخراج المحتوى عبر محددات CSS والتعبيرات النمطية، وتنزيل الملفات المؤتمت. كما يدعم تنفيذ البحث عن الكلمات الرئيسية وفحص عناصر HTML لمحاكاة حركة المستخدم عبر تسلسلات هرمية لمواقع الويب.

MechanicalSoup هي مكتبة أتمتة ويب Python مصممة لمحاكاة سلوك المتصفح. تعمل كمجموعة أدوات لكشط الويب والأتمتة، حيث توفر محرك تحليل HTML ومدير جلسة HTTP للتفاعل مع مواقع الويب برمجياً. تتيح المكتبة تفاعل الويب بدون رأس (headless) من خلال محاكاة جلسة مستخدم حقيقية. تدير الحالة المستمرة من خلال التعامل مع ملفات تعريف الارتباط ومتابعة إعادة التوجيه التلقائية، مما يسمح بالتنقل البرمجي في موقع الويب ومحاكاة تفاعلات المتصفح المعقدة. تغطي قدراتها ملء النماذج المؤتمتة وإرسالها باستخدام محددات CSS، بالإضافة إلى استخراج البيانات من استجابات HTML. تتضمن مجموعة الأدوات أدوات لتنزيل الملفات المرتبطة، وتحديد وكلاء مستخدم مخصصين، والبحث عن الصفحات بناءً على كلمات رئيسية محددة. كما توفر أدوات تشخيصية لعرض حالة الصفحة الحالية في متصفح للتحقق المرئي.

Integuru هو نظام من الوكلاء وأطر العمل المعتمدة على الذكاء الاصطناعي والمصممة لتوثيق واجهات برمجة التطبيقات (APIs) غير الموثقة وتحويل حركة مرور الشبكة إلى نصوص برمجية للأتمتة. يعمل كإطار عمل لأتمتة API بدون واجهة رسومية (headless) يستبدل الأدوات المعتمدة على المتصفح بطلبات HTTP مباشرة لزيادة الإنتاجية والموثوقية. يتميز المشروع بوكيل هندسة عكسية يعتمد على LLM يقوم بتحليل حركة مرور الشبكة لاكتشاف واجهات برمجة التطبيقات الداخلية، ومحرك تكامل باللغة الطبيعية يحول الأوصاف النصية لسير العمل إلى تسلسلات من طلبات API صالحة. يتضمن أدوات لاستخراج تنسيقات الطلبات والاستجابات لإنشاء مواصفات فنية دقيقة وتحويل ملفات تعريف الارتباط (cookies) للجلسات الملتقطة إلى نصوص برمجية للأتمتة جاهزة للإنتاج. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك هندسة المخططات (schema engineering)، ورسم خرائط تبعية الطلبات، ورسم خرائط المنطق القائم على الحالة للتعامل مع سير عمل التطبيقات المعقدة. كما يوفر إدارة مؤتمتة للمصادقة لملفات تعريف الارتباط للجلسات والتحقق متعدد العوامل للحفاظ على الوصول إلى البوابات المحمية.

Mechanize هي مكتبة Ruby لأتمتة متصفح الويب ومحاكاة المتصفح بدون واجهة رسومية (headless). تسمح بالتنقل برمجياً في المواقع الإلكترونية ومحاكاة سلوك الإنسان دون الحاجة إلى واجهة مستخدم رسومية. توفر المكتبة واجهة آلية لملء وإرسال نماذج الويب، بما في ذلك حقول النصوص، ومربعات الاختيار، ورفع الملفات. تدير الجلسات ذات الحالة عن طريق تخزين وإرسال ملفات تعريف الارتباط (cookies) تلقائياً عبر طلبات متعددة للحفاظ على مصادقة المستخدم وهويته. تشمل القدرات الإضافية كشط بيانات الويب (web scraping)، والقدرة على تنزيل محتوى الويب البعيد، والحفاظ على سجل تنقل زمني لتتبع الصفحات التي تمت زيارتها. تقوم المكتبة بتحليل استجابات HTML إلى نموذج كائن منظم لتمكين الاستعلام البرمجي والتفاعل مع عناصر الصفحة.

jdpro هو بوت أتمتة يعمل داخل حاوية (dockerized) ومشغل مهام مجدول مصمم لأتمتة جمع المكافآت وتحويل الأصول الرقمية منتهية الصلاحية. يعمل كمجموعة من النصوص البرمجية (scripts) المنشورة عبر حاويات لضمان التثبيت والتنفيذ المتسق عبر مضيفين مختلفين. يتضمن المشروع نظام مصادقة متخصصاً يحول المفاتيح الخام ويدير ملفات تعريف الارتباط للجلسة (session cookies) من خلال متغيرات البيئة للحفاظ على حالات تسجيل الدخول التلقائي. كما يتميز بمدير إشعارات عبر الويب (webhook) يوجه تحديثات المهام إلى خدمات خارجية، مستخدماً الترشيح القائم على الكلمات المفتاحية وتقسيم الحمولة (payload splitting) لإدارة تسليم الرسائل وتقليل الضجيج. يغطي النظام مجموعة أوسع من القدرات بما في ذلك جدولة تحويل الأصول، وإدارة جلسات الحساب، وتنسيق الإشعارات المخصصة. كما يوفر أدوات لإصلاح تثبيتات المستودعات وتنسيق عمليات النشر باستخدام Docker Compose.

هذا المشروع عبارة عن مطالب محتوى رقمي تلقائي وبوت أتمتة لمتجر الألعاب. يعمل كعميل بدون رأس (headless) يتعامل مع مصادقة الحساب وتسلسلات الطلبات لجمع الألعاب الرقمية المجانية والمحتوى القابل للتنزيل وفق جدول زمني. توفر الأداة أتمتة محددة لـ Epic Games Store وGOG وAmazon Prime Gaming. تستخدم منطق مهايئ خاص بواجهة المتجر لتأمين العروض محدودة الوقت وبناء مكتبة ألعاب رقمية دون تدخل يدوي من المتصفح. يدمج النظام جدولة المهام القائمة على cron للفحوصات اليومية، وتدفقات تسجيل الدخول التلقائية باستخدام بيانات الاعتماد المخزنة، وأتمتة المتصفح بدون رأس. كما يتضمن نظام إشعارات يرسل تنبيهات حالة المطالبة عبر خطافات الويب (webhooks) الخارجية.