Awesome GitHub RepositoriesData Refreshers

PROXY-List est un agrégateur de proxies publics qui fournit des structures de données pour stocker et agréger des adresses de serveurs proxy HTTP et SOCKS disponibles publiquement. Il sert de source pour récupérer des listes de routage de trafic réseau utilisées pour masquer les adresses IP d'origine lors des requêtes web. Le projet utilise un pipeline de données pour scraper, interroger et sérialiser automatiquement des listes de proxies à partir de plusieurs sites web publics. Cette infrastructure garantit la disponibilité des serveurs actifs grâce à un sondage périodique planifié et des rafraîchissements de contenu automatisés, livrant les listes résultantes sous forme de fichiers texte brut. Ces capacités prennent en charge l'anonymisation du trafic réseau et la maintenance de l'infrastructure de web scraping en distribuant les requêtes sortantes à travers un pool d'adresses proxy publiques rotatives pour éviter les limites de débit et les bannissements IP.

dlt est un outil d'ingestion de données Python et un framework de pipeline ETL conçu pour récupérer des données depuis diverses sources et les persister dans des destinations structurées. Il fonctionne comme un moteur d'inférence de schéma qui détecte automatiquement les types de données et aplatit les structures JSON imbriquées en tables relationnelles, déplaçant les données des sources vers des lakehouses, des entrepôts ou des bases de données vectorielles. Le projet se distingue par une génération de pipeline alimentée par l'IA, utilisant de grands modèles de langage pour échafauder le code d'extraction et les connecteurs pour les API REST. Il prend également en charge le stockage vectoriel multimodal et la population spécialisée de bases de données vectorielles pour prendre en charge les applications d'IA et de machine learning. Le framework couvre un large éventail de capacités, incluant l'évolution automatique du schéma, le chargement incrémentiel de données via le suivi d'état et la validation de la qualité des données par l'application de contrats de données. Il fournit des outils pour la normalisation des données relationnelles, les transformations pré- et post-chargement, et une variété d'adaptateurs de destination pour les bases de données SQL et les magasins d'objets cloud. L'observabilité est gérée via des tableaux de bord d'exécution de pipeline, le suivi de lignage des colonnes et la vérification de version de schéma utilisant des hachages basés sur le contenu.

Ce projet est un scraper web pour Sina Weibo et un pipeline de données de réseaux sociaux conçu pour extraire les profils d'utilisateurs, les publications, les commentaires et les ressources multimédias. Il fonctionne comme un crawler de données conteneurisé qui automatise la collecte et le stockage local de contenu de réseaux sociaux et de métriques d'engagement. Le système inclut une couche de traitement qui utilise des modèles de langage étendus (LLM) pour analyser le texte extrait, générant des résumés et une analyse de sentiment. Il se distingue par un modèle de déploiement prêt à l'emploi sous forme de conteneur, doté d'une interface HTTP pour gérer les tâches d'extraction et surveiller la progression des travaux. Le crawler couvre un large éventail de capacités, incluant la surveillance des réseaux sociaux via des mises à jour incrémentales planifiées, l'archivage des ressources multimédias sur disques locaux et l'exportation de données multi-formats vers des fichiers plats ou des bases de données. Il capture également des interactions sociales détaillées, telles que les commentaires de premier niveau et les reposts.

Warehouse is a Python Package Index implementation and distributed package registry. It serves as a central repository and web application for hosting, discovering, and distributing versioned Python software packages via a standardized API. The system functions as a multi-tenant package manager with a server implementation compatible with Python Package Index standards. It provides specialized infrastructure for software package hosting and an index for clients to discover and download specific library versions. The project incorporates comprehensive security and access control, including mu

bqplot is an interactive data visualization library for IPython and Jupyter notebooks that utilizes a grammar of graphics. It functions as a tool for creating 2D charts and maps with real-time updates and bidirectional communication between the kernel and frontend. The library is distinguished by its ability to act as a geographic data visualization tool, rendering choropleth maps and spatial data via GeoJSON and custom projections. It also serves as a financial charting tool for producing OHLC and candle bar charts, and as an interactive dashboard framework for combining plotting widgets wit