4 Repos
Utilities for importing and preparing data from diverse sources for downstream processing.
Distinguishing note: Focuses on data ingestion for AI pipelines, not general ETL.
Explore 4 awesome GitHub repositories matching data & databases · Data Loaders. Refine with filters or upvote what's useful.
This project is a comprehensive platform for quantitative investment research, machine learning, and algorithmic trading. It provides an end-to-end environment for developing, testing, and executing financial strategies, supporting the entire lifecycle from data ingestion and feature engineering to model training and backtesting. The system is distinguished by its configuration-driven workflow orchestration, which allows researchers to automate complex pipelines and manage experiments through declarative files. It features a high-performance data infrastructure that utilizes custom binary for
Imports raw financial information from diverse sources into processing pipelines using configurable loaders.
Acts as a drop-in replacement for data loaders in TensorFlow, PyTorch, and MXNet.
GraphQL.NET ist ein serverseitiges Framework für den Aufbau und die Ausführung von GraphQL-APIs innerhalb von C#-Anwendungen. Es bietet ein umfassendes Toolkit für den Schema-Aufbau, eine föderierte Engine für verteilte Datengraphen und einen Subscription-Handler für die Verwaltung von Echtzeit-Datenströmen. Das Projekt zeichnet sich durch einen flexiblen Schema-Builder aus, der sowohl programmatische Code-First-Definitionen als auch deklarative Schema-First-Ansätze unter Verwendung der Standard-Schema-Definitionssprache unterstützt. Es enthält eine dedizierte Föderations-Engine, um Datengraphen in Subgraphen aufzuteilen und zu einem einheitlichen Gateway zusammenzuführen, sowie eine Data-Loader-Implementierung, die speziell darauf ausgelegt ist, das N+1-Abfrageproblem durch Batching und Caching zu lösen. Das Framework deckt ein breites Spektrum an operativen Funktionen ab, einschließlich Dependency-Injection-Integration für das Service-Lifetime-Management, Middleware-Pipelines für die Interzeption von Feldauflösungen und eine Ausführungspipeline, die mit Werttypen optimiert wurde, um Speicherallokationen zu reduzieren. Zudem bietet es Tools für die Analyse der Abfragekomplexität, Dokument-Caching und rollenbasierte Zugriffskontrolle zur Absicherung von API-Endpunkten. Die Unterstützung für Ahead-of-Time-Schema-Kompilierung ermöglicht es dem Framework, in Umgebungen ausgeführt zu werden, die dynamische Code-Generierung untersagen.
Supports sequencing multiple data loading operations where the output of one loader serves as the input for another.
This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen
Creates test data loaders that reuse validation preprocessing transforms for consistent evaluation.