Awesome GitHub RepositoriesIterator-Based Pagination

Octokit.js is a GitHub API SDK used to interact with GitHub via REST and GraphQL interfaces. It serves as a client for executing typed queries and mutations, managing authenticated REST requests, and handling signed webhooks across Node.js, Deno, and browser environments. The library features a plugin-based request pipeline and an adapter-based HTTP client, allowing the interception of requests and responses across different runtimes. It employs strategy-based authentication to separate credential management from request logic, supporting static tokens, OAuth flows, and GitHub App installatio

PyGithub is a Python library that serves as an object-oriented wrapper for the GitHub REST API. It functions as a specialized client that translates API endpoints into a hierarchy of Python classes, allowing for the programmatic management of GitHub repositories, user profiles, and organizations. The library manages the serialization of requests and responses, converting JSON data into structured object attributes. It utilizes lazy-loading for property retrieval and employs generators to handle pagination when iterating over large remote datasets. This toolkit enables the automation of GitHu

JMComic-Crawler-Python is a high-performance asynchronous web scraper and API client designed to programmatically retrieve images and metadata from a comic hosting service. It functions as a media archiving tool for batch downloading albums and chapters, automating the process of saving content to a local filesystem. The project is distinguished by its ability to reverse server-side pixel obfuscation, using a decryption tool to reconstruct sliced and shuffled images. To maintain stable connectivity, it utilizes a network bypass utility featuring dynamic domain rotation and proxy routing to ci

The AWS SDK for PHP is a software development kit that provides HTTP client classes for every supported Amazon Web Service, enabling PHP applications to send authenticated requests and receive structured, typed response objects. It includes a credential resolution chain that automatically locates credentials from environment variables, instance profiles, or configuration files, and supports promise-based asynchronous execution for running multiple API calls concurrently to improve throughput. The SDK distinguishes itself through a middleware pipeline architecture that allows interception and

X-Ray este un framework de scraping web și un crawler web asincron conceput pentru a extrage date structurate de pe site-uri web. Funcționează ca un extractor de date HTML care transformă conținutul brut al paginii într-o schemă definită folosind selectori de tip CSS. Proiectul implementează un crawler cu browser headless capabil să execute JavaScript pentru a randa conținut dinamic. Gestionează descoperirea conținutului site-ului printr-o strategie de crawling în lățime și descoperirea automată a paginării pentru a traversa seturile de rezultate multi-pagină. Framework-ul gestionează pipeline-urile de date web folosind o coadă de cereri cu concurență limitată și controlul ratei cererilor pentru a regla apelurile de rețea de ieșire. Rezultatele extrase sunt gestionate prin persistența datelor bazată pe flux pentru a procesa seturi mari de date fără a supraîncărca memoria sistemului.

X-ray este un scraper web cu browser headless și un crawler de conținut HTML conceput pentru a extrage date structurate de pe site-uri web. Funcționează ca un scraper de date bazat pe flux și un extractor de date structurate, utilizând selectori pentru a prelua text și atribute din HTML sub formă de obiecte sau array-uri imbricate. Proiectul include un controler de rată a cererilor pentru a gestiona traficul de rețea prin limite de concurență, throttle-uri și timeout-uri. Gestionează scraping-ul site-urilor dinamice prin randarea JavaScript-ului via un browser headless și efectuează crawling automat al site-urilor folosind parcurgerea link-urilor în lățime (breadth-first) și gestionarea paginării. Sistemul oferă un pipeline de date care aplică transformări funcționale de valori asupra șirurilor brute și scrie rezultatele într-un flux (stream) lizibil pentru a preveni depășirea memoriei în timpul sarcinilor de scraping web la scară largă.

Acest proiect este o bibliotecă client JavaScript și un SDK pentru interacțiunea cu API-ul REST Notion. Oferă metode și utilitare tipizate pentru a gestiona programatic pagini, baze de date și resurse de workspace într-un mediu Notion. SDK-ul include instrumente pentru implementarea fluxurilor de autorizare OAuth 2.0 pentru a acorda aplicațiilor terțe acces la conținutul workspace-ului. Dispune de mecanisme pentru gestionarea paginării bazate pe cursor prin iteratori asincroni și implementează reîncercări cu back-off exponențial pentru a gestiona limitele de rată și erorile tranzitorii ale serverului. Biblioteca acoperă o gamă largă de capabilități, inclusiv gestionarea schemei bazei de date, sincronizarea conținutului paginii și încărcarea activelor media. De asemenea, oferă suport pentru regăsirea profilului utilizatorului, abonamente la evenimente în timp real prin webhook-uri și validarea răspunsurilor type-safe folosind type guards TypeScript.

dlt este un instrument de ingestie a datelor Python și un framework de pipeline ETL conceput pentru a prelua date din surse diverse și a le persista în destinații structurate. Funcționează ca un motor de inferență a schemei care detectează automat tipurile de date și aplatizează structurile JSON imbricate în tabele relaționale, mutând datele din surse către lakehouse-uri, depozite de date sau baze de date vectoriale. Proiectul se distinge prin generarea de pipeline-uri bazată pe AI, utilizând modele lingvistice mari pentru a crea codul de extracție și conectorii pentru API-urile REST. De asemenea, suportă stocarea vectorială multimodală și popularea specializată a bazelor de date vectoriale pentru a susține aplicațiile AI și machine learning. Framework-ul acoperă o gamă largă de capabilități, inclusiv evoluția automată a schemei, încărcarea incrementală a datelor prin urmărirea stării și validarea calității datelor prin aplicarea contractelor de date. Oferă instrumente pentru normalizarea datelor relaționale, transformări pre- și post-încărcare și o varietate de adaptoare de destinație pentru baze de date SQL și stocare de obiecte în cloud. Observabilitatea este gestionată prin dashboard-uri de execuție a pipeline-ului, urmărirea lineage-ului coloanelor și verificarea versiunii schemei folosind hash-uri bazate pe conținut.

snscrape is a Python-based social media web scraper and crawler designed to extract public posts, profiles, and hashtags from social networks without the use of official APIs. It functions as an archival tool and a utility for open-source intelligence data collection, allowing for the gathering of publicly available information to investigate trends and people. The tool facilitates social media data extraction for research and archival purposes, enabling the creation of historical records of conversations and user activity. It supports workflows for academic social analysis and the export of

This is a typed server-side library and payment gateway SDK for integrating Stripe into Node.js applications. It provides a typed client to manage payments, customers, and subscriptions, while offering specialized tools for executing secure financial transactions and managing billing resources. The library distinguishes itself through an idempotent API client that prevents duplicate operations using idempotency keys and exponential backoff retry logic. It includes a webhook signature validator to verify that incoming HTTPS event notifications are authentic and an async-iterator pagination wra

AWS Java SDK este o interfață programatică și o bibliotecă client pentru gestionarea și interacțiunea cu infrastructura și serviciile cloud AWS folosind limbajul Java. Acesta servește ca un wrapper API care conectează aplicațiile la stocarea în cloud, baze de date și resurse de calcul printr-un set standardizat de clase Java. Biblioteca oferă un model de I/O non-blocant și gestionarea cererilor bazată pe „future” pentru a susține operațiuni cloud asincrone de mare capacitate. Include mecanisme pentru optimizarea performanței serverless pentru a reduce timpii inițiali de pornire și „cold starts” în acele medii. SDK-ul gestionează întregul ciclu de viață al interacțiunii cu serviciile cloud, inclusiv paginarea automată a răspunsurilor pentru seturi de rezultate multi-parte și un sistem de rezolvare a credențialelor bazat pe lanț care încarcă și reîmprospătează token-urile de securitate. De asemenea, dispune de un strat de transport HTTP pluggable, permițând înlocuirea clientului de rețea implicit cu implementări personalizate la runtime.

Acest proiect este un framework de web scraping Node.js conceput pentru a automatiza extragerea datelor printr-un flux de lucru programatic de cereri, parsare și interacțiune cu documentele. Acesta funcționează ca un crawler web headless, un manager de cereri HTTP și un parser și extractor DOM. Framework-ul se distinge prin combinarea unui motor de execuție JavaScript pentru a interacționa cu conținutul dinamic și a unui sistem hibrid de selecție care utilizează atât selectori CSS, cât și XPath. Include middleware specializat pentru rotația proxy-urilor și gestionarea sesiunilor cookie-jar pentru a menține stările autentificate și a gestiona traficul automatizat. Capabilitățile sale mai largi acoperă crawling-ul recursiv al link-urilor, gestionarea paginării și automatizarea formularelor web. Instrumentul oferă, de asemenea, funcții de gestionare a traficului, cum ar fi limitarea ratei cererilor prin întârzieri temporizate și configurarea antetelor HTTP personalizate.

WeiboSpider is a social media scraper designed to extract user profiles, posts, and interaction data from the Sina Weibo platform. It functions as a web-based data crawler that retrieves information via external interfaces rather than parsing the visual frontend. The tool includes a content lineage tracer to follow shared posts back to their original sources. It also features a social engagement analyzer to collect view counts and nested comment threads to measure user interaction metrics. The system provides capabilities for keyword-based social monitoring and search result filtering to tra

Octokit.rb is a Ruby client library and REST API wrapper used to programmatically interact with GitHub. It provides a structured interface for automating workflows, managing repositories, and transforming raw HTTP responses into Ruby objects. The library differentiates itself through hypermedia-driven navigation, which uses URI templates and link relations to discover resources dynamically. It also implements automated result pagination to combine paginated responses into single arrays and uses fingerprint-based caching to reduce redundant network requests. The tool covers a broad range of c

openai-go is an LLM SDK for Go and a client for interacting with OpenAI services. It provides type-safe bindings to generate text, images, and audio via REST endpoints, enabling the integration of large language models and AI assistant orchestration into Go applications. The library serves as an agent orchestration tool for managing stateful conversation threads and autonomous agents with integrated tool calling and file search. It also functions as an asynchronous batch processing client for monitoring large-scale request groups and fine-tuning jobs, alongside a management SDK for controllin

This is a Python SDK for interacting with large language models via API. It serves as a client library to generate text, process messages, and manage conversational states, while providing a specialized interface for connecting to models hosted across different cloud infrastructure providers. The SDK includes a tool-calling framework that maps Python functions to JSON schemas, allowing models to execute external tools. It also features a built-in token counting utility to estimate input size before transmission and a server-sent events client for receiving model tokens in real time. The libr