Awesome GitHub RepositoriesIterator-Based Pagination

Octokit.js is a GitHub API SDK used to interact with GitHub via REST and GraphQL interfaces. It serves as a client for executing typed queries and mutations, managing authenticated REST requests, and handling signed webhooks across Node.js, Deno, and browser environments. The library features a plugin-based request pipeline and an adapter-based HTTP client, allowing the interception of requests and responses across different runtimes. It employs strategy-based authentication to separate credential management from request logic, supporting static tokens, OAuth flows, and GitHub App installatio

PyGithub is a Python library that serves as an object-oriented wrapper for the GitHub REST API. It functions as a specialized client that translates API endpoints into a hierarchy of Python classes, allowing for the programmatic management of GitHub repositories, user profiles, and organizations. The library manages the serialization of requests and responses, converting JSON data into structured object attributes. It utilizes lazy-loading for property retrieval and employs generators to handle pagination when iterating over large remote datasets. This toolkit enables the automation of GitHu

JMComic-Crawler-Python is a high-performance asynchronous web scraper and API client designed to programmatically retrieve images and metadata from a comic hosting service. It functions as a media archiving tool for batch downloading albums and chapters, automating the process of saving content to a local filesystem. The project is distinguished by its ability to reverse server-side pixel obfuscation, using a decryption tool to reconstruct sliced and shuffled images. To maintain stable connectivity, it utilizes a network bypass utility featuring dynamic domain rotation and proxy routing to ci

The AWS SDK for PHP is a software development kit that provides HTTP client classes for every supported Amazon Web Service, enabling PHP applications to send authenticated requests and receive structured, typed response objects. It includes a credential resolution chain that automatically locates credentials from environment variables, instance profiles, or configuration files, and supports promise-based asynchronous execution for running multiple API calls concurrently to improve throughput. The SDK distinguishes itself through a middleware pipeline architecture that allows interception and

X-Ray es un framework de scraping web y crawler web asíncrono diseñado para extraer datos estructurados de sitios web. Funciona como un extractor de datos HTML que transforma el contenido de páginas sin formato en un esquema definido utilizando selectores de estilo CSS. El proyecto implementa un crawler de navegador headless capaz de ejecutar JavaScript para renderizar contenido dinámico. Maneja el descubrimiento de contenido de sitios web a través de una estrategia de rastreo en anchura y descubrimiento automático de paginación para recorrer conjuntos de resultados de múltiples páginas. El framework gestiona tuberías de datos web utilizando una cola de solicitudes con concurrencia limitada y control de tasa de solicitudes para regular las llamadas de red salientes. Los resultados extraídos se manejan mediante persistencia de datos basada en flujos para procesar grandes conjuntos de datos sin sobrecargar la memoria del sistema.

X-ray es un scraper web de navegador headless y crawler de contenido HTML diseñado para extraer datos estructurados de sitios web. Funciona como un scraper de datos basado en flujos y extractor de datos estructurados, utilizando selectores para recuperar texto y atributos de HTML como objetos o arrays anidados. El proyecto incluye un controlador de tasa de solicitudes para gestionar el tráfico de red mediante límites de concurrencia, aceleradores (throttles) y tiempos de espera. Maneja el scraping de sitios web dinámicos renderizando JavaScript a través de un navegador headless y realiza el rastreo automatizado de sitios web utilizando el seguimiento de enlaces en anchura (breadth-first) y gestión de paginación. El sistema proporciona una tubería de datos que aplica transformaciones de valores funcionales a cadenas sin formato y escribe los resultados en un flujo legible para evitar el desbordamiento de memoria durante trabajos de scraping web a gran escala.

Este proyecto es una librería cliente JavaScript y SDK para interactuar con la API REST de Notion. Proporciona métodos tipados y utilidades para gestionar programáticamente páginas, bases de datos y recursos del espacio de trabajo dentro de un entorno de Notion. El SDK incluye herramientas para implementar flujos de autorización OAuth 2.0 para otorgar acceso de aplicaciones de terceros al contenido del espacio de trabajo. Cuenta con mecanismos para manejar la paginación basada en cursores a través de iteradores asíncronos e implementa reintentos con retroceso exponencial para gestionar los límites de tasa y los errores transitorios del servidor. La librería cubre una amplia gama de capacidades, incluyendo la gestión de esquemas de bases de datos, sincronización de contenido de páginas y carga de activos multimedia. También proporciona soporte para la recuperación de perfiles de usuario, suscripciones a eventos en tiempo real mediante webhooks y validación de respuesta segura mediante tipos de TypeScript.

dlt es una herramienta de ingesta de datos en Python y framework de pipeline ETL diseñado para obtener datos de diversas fuentes y persistirlos en destinos estructurados. Funciona como un motor de inferencia de esquemas que detecta automáticamente tipos de datos y aplana estructuras JSON anidadas en tablas relacionales, moviendo datos desde fuentes a lakehouses, almacenes de datos o bases de datos vectoriales. El proyecto destaca por la generación de pipelines impulsada por IA, utilizando modelos de lenguaje de gran tamaño para crear código de extracción y conectores para APIs REST. También admite almacenamiento vectorial multimodal y población especializada de bases de datos vectoriales para soportar aplicaciones de IA y machine learning. El framework cubre una amplia gama de capacidades, incluyendo evolución automática de esquemas, carga incremental de datos mediante seguimiento de estado y validación de calidad de datos mediante la aplicación de contratos de datos. Proporciona herramientas para la normalización de datos relacionales, transformaciones pre y post-carga, y una variedad de adaptadores de destino para bases de datos SQL y almacenes de objetos en la nube. La observabilidad se maneja a través de paneles de ejecución de pipelines, seguimiento de linaje de columnas y verificación de versiones de esquema mediante hashes basados en contenido.

snscrape es un scraper y crawler de redes sociales basado en Python diseñado para extraer publicaciones públicas, perfiles y hashtags de redes sociales sin el uso de APIs oficiales. Funciona como una herramienta de archivo y una utilidad para la recopilación de datos de inteligencia de fuentes abiertas (OSINT), permitiendo la recopilación de información disponible públicamente para investigar tendencias y personas. La herramienta facilita la extracción de datos de redes sociales con fines de investigación y archivo, permitiendo la creación de registros históricos de conversaciones y actividad de los usuarios. Soporta flujos de trabajo para el análisis social académico y la exportación de grandes conjuntos de metadatos y mensajes a archivos locales. Las capacidades incluyen la capacidad de scrapear varias plataformas de redes sociales y limitar el volumen de resultados extraídos. El sistema puede exportar elementos descubiertos como listas de URLs o archivos detallados que contienen contenido y marcas de tiempo.

Esta es una biblioteca tipada del lado del servidor y un SDK de pasarela de pago para integrar Stripe en aplicaciones Node.js. Proporciona un cliente tipado para gestionar pagos, clientes y suscripciones, ofreciendo herramientas especializadas para ejecutar transacciones financieras seguras y gestionar recursos de facturación. La biblioteca se distingue por un cliente de API idempotente que evita operaciones duplicadas utilizando claves de idempotencia y lógica de reintento con retroceso exponencial. Incluye un validador de firma de webhook para verificar que las notificaciones de eventos HTTPS entrantes sean auténticas y un envoltorio de paginación de iterador asíncrono para recorrer grandes conjuntos de datos. El proyecto cubre una amplia gama de capacidades, incluyendo la gestión de facturación de suscripciones, la orquestación de plataformas de pago para cuentas conectadas y la búsqueda de recursos. Proporciona un manejo integral de respuestas mediante la expansión de objetos y la selección de campos, junto con características de seguridad para la autenticación de peticiones de API y la verificación de webhooks. La biblioteca está escrita en TypeScript.

El AWS Java SDK es una interfaz programática y biblioteca cliente para gestionar e interactuar con la infraestructura y los servicios en la nube de AWS utilizando el lenguaje Java. Sirve como un wrapper de API que conecta aplicaciones con almacenamiento en la nube, bases de datos y recursos de cómputo a través de un conjunto estandarizado de clases de Java. La biblioteca proporciona un modelo de E/S no bloqueante y manejo de solicitudes basado en futures para admitir operaciones en la nube asíncronas de alto rendimiento. Incluye mecanismos para la optimización del rendimiento serverless para reducir los tiempos de inicio iniciales y los arranques en frío en esos entornos. El SDK gestiona el ciclo de vida completo de la interacción con el servicio en la nube, incluyendo la paginación automática de respuestas para conjuntos de resultados de varias partes y un sistema de resolución de credenciales basado en cadenas que carga y actualiza tokens de seguridad. También cuenta con una capa de transporte HTTP conectable, lo que permite reemplazar el cliente de red predeterminado con implementaciones personalizadas en tiempo de ejecución.

Este proyecto es un framework de web scraping en Node.js diseñado para automatizar la extracción de datos a través de un flujo de trabajo programático de peticiones, análisis e interacción con documentos. Funciona como un crawler web headless, un gestor de peticiones HTTP y un parser y extractor de DOM. El framework se distingue por combinar un motor de ejecución de JavaScript para interactuar con contenido dinámico y un sistema de selección híbrido que utiliza selectores CSS y XPath. Incluye middleware especializado para la rotación de proxies y la gestión de sesiones de cookie-jar para mantener estados autenticados y gestionar tráfico automatizado. Sus capacidades más amplias cubren el rastreo recursivo de enlaces, el manejo de paginación y la automatización de formularios web. La herramienta también proporciona funciones de gestión de tráfico como limitación de tasa de peticiones mediante retrasos temporizados y configuración de cabeceras HTTP personalizadas.

WeiboSpider es un scraper de redes sociales diseñado para extraer perfiles de usuario, publicaciones y datos de interacción de la plataforma Sina Weibo. Funciona como un crawler de datos basado en web que recupera información a través de interfaces externas en lugar de analizar el frontend visual. La herramienta incluye un rastreador de linaje de contenido para seguir publicaciones compartidas hasta sus fuentes originales. También cuenta con un analizador de engagement social para recopilar conteos de visualizaciones e hilos de comentarios anidados para medir métricas de interacción del usuario. El sistema proporciona capacidades para el monitoreo social basado en palabras clave y filtrado de resultados de búsqueda para rastrear temas específicos a lo largo del tiempo. Gestiona grandes conjuntos de datos mediante iteración basada en paginación y recorrido recursivo de hilos de interacción.

Octokit.rb is a Ruby client library and REST API wrapper used to programmatically interact with GitHub. It provides a structured interface for automating workflows, managing repositories, and transforming raw HTTP responses into Ruby objects. The library differentiates itself through hypermedia-driven navigation, which uses URI templates and link relations to discover resources dynamically. It also implements automated result pagination to combine paginated responses into single arrays and uses fingerprint-based caching to reduce redundant network requests. The tool covers a broad range of c

RED_HAWK is a penetration testing framework and reconnaissance suite designed for information gathering and vulnerability assessment. It provides a toolkit for infrastructure reconnaissance, technology stack detection, automated web spidering, and security scanning. The project distinguishes itself through a multi-stage reconnaissance pipeline that maps attack surfaces. This includes DNS-based infrastructure mapping to resolve network layouts and pattern-based detection to identify specific content management systems and server stacks. The system covers a broad range of capabilities includin

openai-go is an LLM SDK for Go and a client for interacting with OpenAI services. It provides type-safe bindings to generate text, images, and audio via REST endpoints, enabling the integration of large language models and AI assistant orchestration into Go applications. The library serves as an agent orchestration tool for managing stateful conversation threads and autonomous agents with integrated tool calling and file search. It also functions as an asynchronous batch processing client for monitoring large-scale request groups and fine-tuning jobs, alongside a management SDK for controllin

This is a Python SDK for interacting with large language models via API. It serves as a client library to generate text, process messages, and manage conversational states, while providing a specialized interface for connecting to models hosted across different cloud infrastructure providers. The SDK includes a tool-calling framework that maps Python functions to JSON schemas, allowing models to execute external tools. It also features a built-in token counting utility to estimate input size before transmission and a server-sent events client for receiving model tokens in real time. The libr