3 Repos
Awesome GitHub RepositoriesDataset Aggregators
Tools for calculating statistical summaries and record counts across datasets.
Distinct from Dataset Generation: Focuses on statistical aggregation of database records rather than downloading or generating research datasets.
Explore 3 awesome GitHub repositories matching data & databases · Dataset Aggregators. Refine with filters or upvote what's useful.
Awesome Dataset Aggregators GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- apify/crawlee
apify/crawlee
24,002Auf GitHub ansehenCrawlee is a web scraping framework designed for building scalable, reliable, and distributed data extraction pipelines. It provides a unified interface for managing headless browser automation and lightweight HTTP requests, allowing developers to handle complex web navigation, dynamic content rendering, and large-scale data collection within a single, modular architecture. The project distinguishes itself through its resource-aware concurrency controller, which dynamically scales task execution based on real-time CPU and memory usage to prevent host machine exhaustion. It also features a rob
Calculates statistical summaries and record counts from extracted datasets.
TypeScriptapifyautomationcrawler - stefan-jansen/machine-learning-for-trading
stefan-jansen/machine-learning-for-trading
16,552Auf GitHub ansehenThis project is a comprehensive framework for engineering financial data pipelines, designed to automate the collection, cleaning, and synchronization of large-scale market datasets. It functions as a quantitative trading data engine, providing the infrastructure necessary to manage historical and real-time asset pricing information for research and machine learning workflows. The system distinguishes itself through a configuration-driven approach to orchestration, allowing users to manage complex data acquisition tasks across multiple financial providers. It features resilient middleware tha
Calculates and persists statistical summaries including null counts and distributions for data quality assessment.
Jupyter Notebookartificial-intelligencedata-sciencedeep-learning - facebookincubator/velox
facebookincubator/velox
4,155Auf GitHub ansehenVelox ist eine leistungsstarke C++-Abfrage-Ausführungs-Engine und eine Bibliothek für spaltenbasierte Datenverarbeitung. Sie dient als kompositionsfähiges Framework zur Implementierung analytischer Query-Engines und bietet einen vektorisierten Ausdrucksauswerter sowie ein Toolkit für Datenmanagementsysteme. Das Projekt zeichnet sich durch die Verwendung vektorisierter spaltenbasierter Ausführung und arena-basierter Speicherallokation zur Verarbeitung großer Datensätze aus. Es bietet spezialisierte Optimierungen wie Broadcast-Join-Table-Caching, Dynamic-Filter-Push-Down und Dictionary-Encoding, um den Speicher-Overhead zu reduzieren und analytische Lesezugriffe zu beschleunigen. Die Engine deckt ein breites Spektrum analytischer Funktionen ab, einschließlich der Implementierung von Hash-, Merge- und Semi-Joins sowie mehrstufiger paralleler Aggregation und der Berechnung von Fensterfunktionen. Sie bietet Primitive für spaltenbasierte In-Memory-Speicherung, Parquet-Datendekodierung und die Integration mit Cloud-Speichern. Erweiterbarkeit wird durch ein Funktionsregistrierungssystem für benutzerdefinierte Skalar- und Aggregatfunktionen geboten, wobei High-Level-Bindings verfügbar sind, um die C++-Logik mit Python zu verbinden.
Produces statistical insights and grouped results using aggregate and digest functions for dataset summarization.
C++
