Awesome GitHub RepositoriesProgrammatic Query APIs

ActiveAndroid est un framework de persistance pour gérer les bases de données SQLite locales sur Android. Il fournit un système d'ORM (Object-Relational Mapping) de type active record qui lie les tables de base de données aux classes, permettant la persistance et la récupération de données sans écrire de SQL manuel. Le projet se distingue par un outil dédié à la migration de schéma qui met à jour les structures de base de données à l'aide de scripts versionnés chargés depuis les assets de l'application. Il inclut également un framework pour partager le contenu de la base de données entre différentes applications Android via une interface standard de content provider basée sur des URI. La bibliothèque couvre de larges domaines de capacités, notamment l'ORM pour gérer les relations entre tables et les types de données personnalisés, le traitement de transactions en masse pour l'ingestion de données, et l'initialisation automatisée de la base de données à partir de fichiers pré-remplis. Elle fournit en outre des utilitaires pour les requêtes programmatiques et l'indexation de colonnes afin de gérer la recherche et la récupération de données.

Ce projet est un scraper web pour Sina Weibo et un pipeline de données de réseaux sociaux conçu pour extraire les profils d'utilisateurs, les publications, les commentaires et les ressources multimédias. Il fonctionne comme un crawler de données conteneurisé qui automatise la collecte et le stockage local de contenu de réseaux sociaux et de métriques d'engagement. Le système inclut une couche de traitement qui utilise des modèles de langage étendus (LLM) pour analyser le texte extrait, générant des résumés et une analyse de sentiment. Il se distingue par un modèle de déploiement prêt à l'emploi sous forme de conteneur, doté d'une interface HTTP pour gérer les tâches d'extraction et surveiller la progression des travaux. Le crawler couvre un large éventail de capacités, incluant la surveillance des réseaux sociaux via des mises à jour incrémentales planifiées, l'archivage des ressources multimédias sur disques locaux et l'exportation de données multi-formats vers des fichiers plats ou des bases de données. Il capture également des interactions sociales détaillées, telles que les commentaires de premier niveau et les reposts.