Awesome GitHub RepositoriesFiltering Joins

r4ds ist ein Data-Science-Lehrplan und eine Bildungsressource, die für die Beherrschung der Programmiersprache R entwickelt wurde. Es bietet einen strukturierten Lernpfad für den End-to-End-Prozess des Importierens, Bereinigens, Transformierens und Visualisierens von Daten. Das Projekt betont einen Leitfaden für reproduzierbare Data Science und einen umfassenden Lehrplan für Data Wrangling. Es enthält spezialisierte Tutorials zur Grammatik der Grafik für geschichtete Datenvisualisierung sowie technische Publikationen, die mit Quarto erstellt wurden und ausführbaren Code mit erzählendem Text verbinden. Das Material deckt ein breites Spektrum analytischer Funktionen ab, einschließlich Datenaufnahme aus diversen Quellen, relationalem Daten-Joining und der Verwaltung kategorialer Variablen. Es behandelt zudem Datenbereinigung, mathematische Modellierung und die Erstellung professioneller Berichte und Präsentationen in verschiedenen Formaten. Der Lehrplan konzentriert sich auf die praktische Anwendung funktionaler Programmierung und Tidy-Data-Prinzipien, um transparente und wiederholbare Analysen zu erstellen.

Velox ist eine leistungsstarke C++-Abfrage-Ausführungs-Engine und eine Bibliothek für spaltenbasierte Datenverarbeitung. Sie dient als kompositionsfähiges Framework zur Implementierung analytischer Query-Engines und bietet einen vektorisierten Ausdrucksauswerter sowie ein Toolkit für Datenmanagementsysteme. Das Projekt zeichnet sich durch die Verwendung vektorisierter spaltenbasierter Ausführung und arena-basierter Speicherallokation zur Verarbeitung großer Datensätze aus. Es bietet spezialisierte Optimierungen wie Broadcast-Join-Table-Caching, Dynamic-Filter-Push-Down und Dictionary-Encoding, um den Speicher-Overhead zu reduzieren und analytische Lesezugriffe zu beschleunigen. Die Engine deckt ein breites Spektrum analytischer Funktionen ab, einschließlich der Implementierung von Hash-, Merge- und Semi-Joins sowie mehrstufiger paralleler Aggregation und der Berechnung von Fensterfunktionen. Sie bietet Primitive für spaltenbasierte In-Memory-Speicherung, Parquet-Datendekodierung und die Integration mit Cloud-Speichern. Erweiterbarkeit wird durch ein Funktionsregistrierungssystem für benutzerdefinierte Skalar- und Aggregatfunktionen geboten, wobei High-Level-Bindings verfügbar sind, um die C++-Logik mit Python zu verbinden.