7 repository-uri
Systems that collect and consolidate information from multiple disparate sources into a unified format.
Distinct from Bug Bounty Report Mappings: Existing candidates focus on reporting templates or specific CVE mappings rather than the process of aggregating feeds into a dataset.
Explore 7 awesome GitHub repositories matching data & databases · Data Aggregators. Refine with filters or upvote what's useful.
Edict is a multi-agent orchestration system and framework designed to coordinate specialized large language model agents. It functions as a workflow designer and orchestrator that decomposes complex objectives into structured plans, using directed acyclic graphs and role-based hierarchies to execute sub-tasks. The system is distinguished by its event-driven architecture, utilizing a publish-subscribe event bus and transactional outbox to manage agent communications and task transitions. It features a dedicated skill management system that allows for the importation, updating, and sandboxed ex
Collects and summarizes information from multiple third-party platforms into consolidated datasets for agent processing.
Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer
Sources events from streaming platforms into a unified SQL-queryable view with tenant isolation for teams.
hackerone-reports is a bug bounty dataset aggregator and vulnerability intelligence tool designed to scrape and parse public security reports from the HackerOne platform. It functions as a security report parser that transforms raw bug bounty feeds into structured datasets for analysis. The system automates the collection of public vulnerability reports to identify common security patterns and facilitate security research. It specializes in organizing these disclosures by bug type, payout amount, and target program to enable vulnerability trend analysis. The tool covers capabilities for scra
Collects high-impact security reports from public feeds and organizes them by type, payout, and program.
Akka.NET is an actor model framework used for building concurrent and distributed applications. It functions as a distributed computing platform and state manager that enables isolated actors to communicate via asynchronous message passing, ensuring thread-safe state management without manual locks. The project is distinguished by its decentralized coordination capabilities, including a distributed state manager that uses sharding and dynamic rebalancing to maintain high availability. It incorporates an event sourcing engine that persists state as a sequence of events in an append-only log an
Collects and consolidates information from groups of actors to generate reports or status queries.
m3 is a distributed time series database designed for high-resolution metrics and high-cardinality data management. It functions as a scalable storage system and a multi-cluster query engine, providing a distributed metrics aggregator capable of downsampling and summarizing data before it is committed to storage. The project distinguishes itself through a coordinated cluster model using etcd for node membership and shard placement. It supports multiple ingestion protocols, including the Prometheus remote write protocol, InfluxDB line protocol, and Graphite Carbon plaintext protocol, and provi
Provides a mechanism to output aggregated metrics to long-term storage for persistence.
mmocr este un framework de recunoaștere optică a caracterelor (OCR) bazat pe PyTorch, conceput pentru antrenarea și deployment-ul modelelor de detectare a textului, recunoaștere și extragere a informațiilor cheie. Servește ca un toolkit cuprinzător pentru detectarea și recunoașterea textului în scene, oferind biblioteci specializate pentru localizarea regiunilor de text și convertirea textului vizual în șiruri de caractere codificate de mașină. Proiectul se distinge printr-un framework de cercetare pentru extragerea informațiilor cheie și capabilități avansate de text spotting. Acestea includ spotting bazat pe puncte folosind transformatoare și utilizarea curbelor Bezier parametrizate pentru a identifica și transcrie text cu forme arbitrare. Framework-ul acoperă o suprafață largă de capabilități de viziune artificială, inclusiv gestionarea pipeline-ului de date pentru augmentarea și standardizarea seturilor de date OCR diverse, antrenarea modelelor cu scalare distribuită și evaluarea performanței folosind metrici OCR standard. Oferă, de asemenea, utilitare pentru manipularea poligoanelor geometrice și vizualizarea rezultatelor pentru auditarea predicțiilor față de adnotările ground truth. Sistemul este implementat în Python și suportă instalarea prin împachetarea mediului Docker.
Aggregates multiple distinct data sources into a single unified dataset for training or evaluation.
Open Health este o platformă securizată de date medicale și un manager de dosare medicale personale conceput pentru a colecta și stoca istorice medicale disparate într-o singură locație centralizată. Funcționează ca un instrument de conversație medicală bazat pe AI și un parser de date care transformă documentele medicale nestructurate în fișiere structurate pentru analiză și procesare. Platforma integrează modele de limbaj mari pentru a oferi îndrumări medicale personalizate prin injectarea dosarelor medicale personale structurate în contextul modelului. Acest lucru permite generarea de răspunsuri medicale adaptate pe baza datelor medicale specifice ale utilizatorului. Sistemul acoperă gestionarea datelor pacienților prin înregistrarea contului de utilizator și verificarea identității pentru a proteja informațiile sensibile. De asemenea, oferă capabilități pentru structurarea dosarelor medicale și consolidarea datelor medicale din mai multe surse.
Provides a system to collect and consolidate disparate medical records into a unified format for a comprehensive health overview.