Awesome GitHub RepositoriesIterator-Based Pagination

Octokit.js is a GitHub API SDK used to interact with GitHub via REST and GraphQL interfaces. It serves as a client for executing typed queries and mutations, managing authenticated REST requests, and handling signed webhooks across Node.js, Deno, and browser environments. The library features a plugin-based request pipeline and an adapter-based HTTP client, allowing the interception of requests and responses across different runtimes. It employs strategy-based authentication to separate credential management from request logic, supporting static tokens, OAuth flows, and GitHub App installatio

PyGithub is a Python library that serves as an object-oriented wrapper for the GitHub REST API. It functions as a specialized client that translates API endpoints into a hierarchy of Python classes, allowing for the programmatic management of GitHub repositories, user profiles, and organizations. The library manages the serialization of requests and responses, converting JSON data into structured object attributes. It utilizes lazy-loading for property retrieval and employs generators to handle pagination when iterating over large remote datasets. This toolkit enables the automation of GitHu

JMComic-Crawler-Python is a high-performance asynchronous web scraper and API client designed to programmatically retrieve images and metadata from a comic hosting service. It functions as a media archiving tool for batch downloading albums and chapters, automating the process of saving content to a local filesystem. The project is distinguished by its ability to reverse server-side pixel obfuscation, using a decryption tool to reconstruct sliced and shuffled images. To maintain stable connectivity, it utilizes a network bypass utility featuring dynamic domain rotation and proxy routing to ci

The AWS SDK for PHP is a software development kit that provides HTTP client classes for every supported Amazon Web Service, enabling PHP applications to send authenticated requests and receive structured, typed response objects. It includes a credential resolution chain that automatically locates credentials from environment variables, instance profiles, or configuration files, and supports promise-based asynchronous execution for running multiple API calls concurrently to improve throughput. The SDK distinguishes itself through a middleware pipeline architecture that allows interception and

X-Ray ist ein Web-Scraping-Framework und asynchroner Web-Crawler, der darauf ausgelegt ist, strukturierte Daten von Websites zu extrahieren. Es fungiert als HTML-Datenextraktor, der rohe Seiteninhalte mittels CSS-artiger Selektoren in ein definiertes Schema transformiert. Das Projekt implementiert einen Headless-Browser-Crawler, der JavaScript ausführen kann, um dynamische Inhalte zu rendern. Es handhabt die Entdeckung von Website-Inhalten durch eine Breadth-First-Crawling-Strategie und automatische Paginierungserkennung, um mehrseitige Ergebnismengen zu durchlaufen. Das Framework verwaltet Web-Daten-Pipelines mittels einer Concurrency-limitierten Request-Queue und Request-Rate-Control, um ausgehende Netzwerkanrufe zu regulieren. Extrahierte Ergebnisse werden über Stream-basierte Datenpersistenz verarbeitet, um große Datensätze ohne Überlastung des Systemspeichers zu bewältigen.

X-ray ist ein Headless-Browser-Web-Scraper und HTML-Content-Crawler, der darauf ausgelegt ist, strukturierte Daten von Websites zu extrahieren. Er fungiert als Stream-basierter Data-Scraper und Extraktor, der Selektoren verwendet, um Text und Attribute aus HTML als verschachtelte Objekte oder Arrays abzurufen. Das Projekt enthält einen Request-Rate-Controller zur Steuerung des Netzwerkverkehrs durch Concurrency-Limits, Throttles und Timeouts. Es handhabt das Scrapen dynamischer Websites durch das Rendern von JavaScript via Headless-Browser und führt automatisiertes Website-Crawling mittels Breadth-First-Link-Following und Paginierungs-Management durch. Das System bietet eine Daten-Pipeline, die funktionale Werttransformationen auf Roh-Strings anwendet und Ergebnisse in einen lesbaren Stream schreibt, um Speicherüberläufe bei groß angelegten Web-Scraping-Jobs zu verhindern.

Dieses Projekt ist eine JavaScript-Client-Bibliothek und ein SDK für die Interaktion mit der Notion-REST-API. Es bietet typisierte Methoden und Dienstprogramme, um Seiten, Datenbanken und Workspace-Ressourcen innerhalb einer Notion-Umgebung programmatisch zu verwalten. Das SDK enthält Tools für die Implementierung von OAuth-2.0-Autorisierungs-Flows, um Drittanbieter-Anwendungen Zugriff auf Workspace-Inhalte zu gewähren. Es verfügt über Mechanismen für den Umgang mit Cursor-basierter Paginierung via asynchroner Iteratoren und implementiert Exponential-Back-off-Wiederholungsversuche, um Rate-Limits und transiente Serverfehler zu verwalten. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich Datenbank-Schema-Management, Synchronisation von Seiteninhalten und Uploads von Medien-Assets. Sie bietet zudem Unterstützung für den Abruf von Benutzerprofilen, Echtzeit-Event-Abonnements via Webhooks und typsichere Antwortvalidierung unter Verwendung von TypeScript-Type-Guards.

dlt ist ein Python-Tool zur Datenaufnahme und ein ETL-Pipeline-Framework, das darauf ausgelegt ist, Daten aus verschiedenen Quellen abzurufen und in strukturierten Zielen zu speichern. Es fungiert als Schema-Inferenz-Engine, die automatisch Datentypen erkennt und verschachtelte JSON-Strukturen in relationale Tabellen flacht, wobei Daten von Quellen in Lakehouses, Warehouses oder Vektordatenbanken verschoben werden. Das Projekt zeichnet sich durch KI-gestützte Pipeline-Generierung aus, die Large Language Models nutzt, um Extraktionscode und Konnektoren für REST-APIs zu erstellen. Es unterstützt zudem multimodale Vektorspeicherung und die spezialisierte Befüllung von Vektordatenbanken zur Unterstützung von KI- und Machine-Learning-Anwendungen. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich automatisierter Schema-Evolution, inkrementellem Datenladen mittels Statusverfolgung und Datenqualitätsvalidierung durch die Durchsetzung von Datenverträgen. Es bietet Tools für relationale Datennormalisierung, Pre- und Post-Load-Transformationen sowie eine Vielzahl von Ziel-Adaptern für SQL-Datenbanken und Cloud-Objektspeicher. Die Observability wird durch Pipeline-Ausführungs-Dashboards, Spalten-Lineage-Tracking und Schema-Versionsverifizierung mittels inhaltsbasierter Hashes gehandhabt.

snscrape ist ein Python-basierter Social-Media-Web-Scraper und Crawler, der darauf ausgelegt ist, öffentliche Posts, Profile und Hashtags aus sozialen Netzwerken ohne die Verwendung offizieller APIs zu extrahieren. Er fungiert als Archivierungstool und Dienstprogramm für die Datensammlung im Bereich Open-Source-Intelligence, was das Sammeln öffentlich verfügbarer Informationen zur Untersuchung von Trends und Personen ermöglicht. Das Tool erleichtert die Extraktion von Social-Media-Daten für Forschungs- und Archivierungszwecke und ermöglicht die Erstellung historischer Aufzeichnungen von Konversationen und Benutzeraktivitäten. Es unterstützt Workflows für akademische soziale Analysen und den Export großer Mengen an Metadaten und Nachrichten in lokale Dateien. Die Funktionen umfassen die Fähigkeit, verschiedene soziale Netzwerke zu scrapen und das Volumen der extrahierten Ergebnisse zu begrenzen. Das System kann entdeckte Elemente als Listen von URLs oder detaillierte Dateien mit Inhalten und Zeitstempeln exportieren.

Dies ist eine typisierte serverseitige Bibliothek und ein Payment-Gateway-SDK für die Integration von Stripe in Node.js-Anwendungen. Sie bietet einen typisierten Client zur Verwaltung von Zahlungen, Kunden und Abonnements und stellt spezialisierte Tools für die Ausführung sicherer Finanztransaktionen und die Verwaltung von Abrechnungsressourcen bereit. Die Bibliothek zeichnet sich durch einen idempotenten API-Client aus, der doppelte Operationen mittels Idempotency-Keys und exponentieller Backoff-Retry-Logik verhindert. Sie enthält einen Webhook-Signatur-Validator zur Überprüfung der Authentizität eingehender HTTPS-Event-Benachrichtigungen sowie einen Async-Iterator-Pagination-Wrapper für das Durchlaufen großer Datensätze. Das Projekt deckt eine breite Palette von Funktionen ab, einschließlich Abonnement-Abrechnungsmanagement, Payment-Plattform-Orchestrierung für verbundene Konten und Ressourcensuche. Es bietet umfassende Response-Verarbeitung durch Objekt-Expansion und Feldauswahl, neben Sicherheitsfunktionen für API-Request-Authentifizierung und Webhook-Verifizierung. Die Bibliothek ist in TypeScript geschrieben.

Das AWS Java SDK ist eine programmatische Schnittstelle und Client-Bibliothek zur Verwaltung und Interaktion mit AWS-Cloud-Infrastruktur und -Diensten unter Verwendung der Java-Sprache. Es dient als API-Wrapper, der Anwendungen über einen standardisierten Satz von Java-Klassen mit Cloud-Speicher, Datenbanken und Rechenressourcen verbindet. Die Bibliothek bietet ein nicht-blockierendes I/O-Modell und Future-basiertes Request-Handling zur Unterstützung von asynchronen Cloud-Operationen mit hohem Durchsatz. Sie enthält Mechanismen zur Performance-Optimierung für serverlose Umgebungen, um die anfänglichen Startzeiten und Cold Starts zu reduzieren. Das SDK verwaltet den gesamten Lebenszyklus der Cloud-Service-Interaktion, einschließlich automatisierter Response-Pagination für mehrteilige Ergebnismengen und ein kettenbasiertes Credential-Auflösungssystem, das Sicherheitstoken lädt und aktualisiert. Es verfügt zudem über eine austauschbare HTTP-Transportschicht, die es ermöglicht, den Standard-Netzwerk-Client zur Laufzeit durch eigene Implementierungen zu ersetzen.

Dieses Projekt ist ein Node.js-Web-Scraping-Framework zur Automatisierung der Datenextraktion durch einen programmatischen Workflow aus Anfragen, Parsing und Dokumentinteraktion. Es fungiert als Headless-Web-Crawler, HTTP-Request-Manager sowie DOM-Parser und -Extraktor. Das Framework zeichnet sich durch die Kombination einer JavaScript-Execution-Engine zur Interaktion mit dynamischen Inhalten und einem hybriden Selektionssystem aus, das sowohl CSS- als auch XPath-Selektoren nutzt. Es enthält spezialisierte Middleware für Proxy-Rotation und Cookie-Jar-Session-Management, um authentifizierte Zustände beizubehalten und automatisierten Traffic zu verwalten. Die breiteren Funktionen umfassen rekursives Link-Crawling, Paginierungs-Handling und Web-Formular-Automatisierung. Das Tool bietet zudem Traffic-Management-Funktionen wie Request-Rate-Limiting durch zeitliche Verzögerungen und benutzerdefinierte HTTP-Header-Konfiguration.

WeiboSpider ist ein Social-Media-Scraper, der darauf ausgelegt ist, Benutzerprofile, Beiträge und Interaktionsdaten von der Sina Weibo-Plattform zu extrahieren. Er fungiert als webbasierter Daten-Crawler, der Informationen über externe Schnittstellen abruft, anstatt das visuelle Frontend zu parsen. Das Tool enthält einen Content-Lineage-Tracer, um geteilte Beiträge bis zu ihren ursprünglichen Quellen zurückzuverfolgen. Es bietet zudem einen Social-Engagement-Analyzer, um Aufrufzahlen und verschachtelte Kommentar-Threads zu erfassen und Interaktionsmetriken zu messen. Das System bietet Funktionen für schlüsselwortbasiertes Social-Monitoring und die Filterung von Suchergebnissen, um spezifische Themen im Zeitverlauf zu verfolgen. Es verwaltet große Datensätze durch paginierungsbasierte Iteration und rekursive Durchquerung von Engagement-Threads.

Octokit.rb is a Ruby client library and REST API wrapper used to programmatically interact with GitHub. It provides a structured interface for automating workflows, managing repositories, and transforming raw HTTP responses into Ruby objects. The library differentiates itself through hypermedia-driven navigation, which uses URI templates and link relations to discover resources dynamically. It also implements automated result pagination to combine paginated responses into single arrays and uses fingerprint-based caching to reduce redundant network requests. The tool covers a broad range of c

RED_HAWK is a penetration testing framework and reconnaissance suite designed for information gathering and vulnerability assessment. It provides a toolkit for infrastructure reconnaissance, technology stack detection, automated web spidering, and security scanning. The project distinguishes itself through a multi-stage reconnaissance pipeline that maps attack surfaces. This includes DNS-based infrastructure mapping to resolve network layouts and pattern-based detection to identify specific content management systems and server stacks. The system covers a broad range of capabilities includin

openai-go is an LLM SDK for Go and a client for interacting with OpenAI services. It provides type-safe bindings to generate text, images, and audio via REST endpoints, enabling the integration of large language models and AI assistant orchestration into Go applications. The library serves as an agent orchestration tool for managing stateful conversation threads and autonomous agents with integrated tool calling and file search. It also functions as an asynchronous batch processing client for monitoring large-scale request groups and fine-tuning jobs, alongside a management SDK for controllin

This is a Python SDK for interacting with large language models via API. It serves as a client library to generate text, process messages, and manage conversational states, while providing a specialized interface for connecting to models hosted across different cloud infrastructure providers. The SDK includes a tool-calling framework that maps Python functions to JSON schemas, allowing models to execute external tools. It also features a built-in token counting utility to estimate input size before transmission and a server-sent events client for receiving model tokens in real time. The libr