Awesome GitHub RepositoriesBulk Data Import Management

CRMEB is a comprehensive e-commerce platform built on ThinkPHP 6, designed as a headless system that delivers standardized APIs to various frontend clients. It provides a unified backend to synchronize product catalogs, orders, and customer data across web browsers, mobile applications, and mini-programs. The platform supports diverse commerce models, including multi-vendor marketplaces where independent merchants manage their own stores, centralized chain store networks, and social commerce frameworks featuring affiliate distribution and community group buying. It also integrates specialized

Jeesite is a full-stack low-code development framework designed for building enterprise administrative portals using Spring Boot, MyBatis, and Vue. It functions as a comprehensive platform for creating administrative dashboards with integrated role-based access control and organizational data permission systems. The framework distinguishes itself through a combination of automated CRUD code generation and an integrated RAG platform that connects large language models to enterprise data via vector stores. It further incorporates a BPMN-based workflow engine to automate complex business process

WePush est une passerelle de notification multi-canal et un répartiteur de messages en masse conçu pour envoyer des notifications personnalisées via des fournisseurs SMS, e-mail, réseaux sociaux et canaux de communication d'entreprise. Il fonctionne comme un hub de messagerie d'entreprise qui achemine les notifications via une interface unifiée, incluant un gestionnaire centralisé pour plusieurs fournisseurs SMS cloud. Le système comprend un moteur de planification des notifications pour déclencher les envois à des dates et heures futures spécifiques. Il prend en charge la gestion multi-comptes, permettant aux utilisateurs de basculer entre différentes identités de fournisseurs de services pour envoyer des notifications depuis divers comptes. La plateforme offre des capacités de personnalisation du contenu des messages via un système de templates et gère les envois à grande échelle via l'importation de listes de destinataires. Elle intègre également le suivi de l'historique de livraison pour surveiller le statut des notifications envoyées et gérer le renvoi des messages échoués.

Nominatim est un moteur de recherche géospatiale auto-hébergé et un serveur de géocodage qui utilise les données d'OpenStreetMap. Il fournit une infrastructure complète pour le géocodage direct, convertissant des adresses ou des noms de lieux en coordonnées géographiques, et le géocodage inverse, traduisant des coordonnées en adresses physiques lisibles par l'homme. Le projet dispose d'un importateur de données dédié qui analyse les données cartographiques brutes dans une base de données géospatiale PostgreSQL. Il se distingue par un pipeline d'importation configurable qui utilise des fichiers de style pour filtrer les entités cartographiques et un système de classement basé sur l'importance pour prioriser les résultats de recherche en fonction de la popularité et du type d'entité. Le système couvre un large éventail de capacités, y compris l'indexation spatiale, le calcul d'adresses hiérarchiques et l'indexation de recherche basée sur des jetons pour les recherches floues. Il prend en charge l'intégration de jeux de données externes pour les numéros de rue et les centroïdes de codes postaux, ainsi que la réplication incrémentale des données pour maintenir les jeux de données locaux synchronisés avec les sources mondiales. Le service est déployé en tant qu'application web basée sur ASGI, fournissant une API de recherche géospatiale avec prise en charge de plusieurs formats de sortie, notamment JSON, GeoJSON et XML.

ActiveRecord Import est une bibliothèque pour insérer de grands jeux de données dans une base de données en utilisant ActiveRecord via des requêtes uniques ou par lots. Il fonctionne comme un importateur de données en masse et un outil d'insertion SQL en masse conçu pour minimiser la surcharge des requêtes et augmenter les performances d'écriture. Le projet inclut un moteur d'upsert pour gérer les conflits de contraintes uniques en mettant à jour les enregistrements existants ou en ignorant les doublons. Il dispose également d'un importateur d'associations récursives qui permet aux enregistrements parents et à leurs associations enfants imbriquées d'être insérés en une seule opération. La bibliothèque fournit une couche de validation pré-insertion pour vérifier la validité des enregistrements et signaler les échecs avant de valider les données. Elle gère la migration de données à grande échelle en divisant les jeux de données en lots pour contrôler l'utilisation de la mémoire et éviter les limites de taille de paquet de la base de données. L'outil fournit des résumés de résultats contenant les comptes de succès et les identifiants d'enregistrements, ainsi qu'un suivi de progression pour les lots de données.

Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di

RavenDB is a multi-model NoSQL document database designed for high-performance, ACID-compliant data storage. It persists structured information as schema-flexible JSON documents and utilizes a unit-of-work session pattern to track entity changes and batch modifications into atomic transactions. The platform is built on a distributed architecture that supports horizontal scaling through sharding and ensures high availability via multi-node, master-to-master cluster replication. The database distinguishes itself through a self-optimizing query engine that automatically creates and maintains ind