9 dépôts
Techniques and processes for cleaning, transforming, and analyzing raw datasets to derive insights.
Distinct from Python Code Analysis Libraries: The candidates focused on code analysis or specific libraries; this is about the domain of data analysis workflows.
Explore 9 awesome GitHub repositories matching data & databases · Data Analysis Workflows. Refine with filters or upvote what's useful.
This repository is a comprehensive collection of instructional guides and practical examples for Python development, focusing on machine learning, data science, and web scraping. It provides implementations for neural networks, reinforcement learning algorithms, and deep learning architectures using PyTorch, alongside detailed manuals for scientific computing and data visualization. The project distinguishes itself by offering specialized tutorials on concurrent programming to optimize CPU performance and guides for setting up Linux development environments. It covers the implementation of ad
Implements end-to-end workflows for cleaning, transforming, and analyzing tabular datasets.
This project is a Python education repository and programming tutorial designed to teach language fundamentals, from basic syntax and variables to advanced concepts. It serves as a data science starter kit and a guide for REST API integration. The repository provides instructional scripts and sample code covering object-oriented programming patterns and asynchronous programming. It includes practical demonstrations for fetching and processing JSON data from external web services using HTTP requests. The materials cover a broad capability surface including data analysis workflows with interac
Provides a workflow for cleaning, transforming, and analyzing raw datasets using interactive notebooks.
This project is a collection of educational notes and tutorials focused on Python programming, scientific computing, and data analysis. It serves as a reference for learning language basics, advanced techniques, and object-oriented design. The materials include implementation guides for building linear, logistic, and convolutional neural networks using symbolic graph frameworks. It also provides instruction on manipulating and visualizing structured data frames and performing complex mathematical operations through numerical libraries. The repository includes a system for converting interact
Provides a workflow for manipulating and visualizing structured data frames to uncover insights.
dlt est un outil d'ingestion de données Python et un framework de pipeline ETL conçu pour récupérer des données depuis diverses sources et les persister dans des destinations structurées. Il fonctionne comme un moteur d'inférence de schéma qui détecte automatiquement les types de données et aplatit les structures JSON imbriquées en tables relationnelles, déplaçant les données des sources vers des lakehouses, des entrepôts ou des bases de données vectorielles. Le projet se distingue par une génération de pipeline alimentée par l'IA, utilisant de grands modèles de langage pour échafauder le code d'extraction et les connecteurs pour les API REST. Il prend également en charge le stockage vectoriel multimodal et la population spécialisée de bases de données vectorielles pour prendre en charge les applications d'IA et de machine learning. Le framework couvre un large éventail de capacités, incluant l'évolution automatique du schéma, le chargement incrémentiel de données via le suivi d'état et la validation de la qualité des données par l'application de contrats de données. Il fournit des outils pour la normalisation des données relationnelles, les transformations pré- et post-chargement, et une variété d'adaptateurs de destination pour les bases de données SQL et les magasins d'objets cloud. L'observabilité est gérée via des tableaux de bord d'exécution de pipeline, le suivi de lignage des colonnes et la vérification de version de schéma utilisant des hachages basés sur le contenu.
Profiles tables and plans charts using query code to uncover trends within a pipeline.
Ce projet est une collection de frameworks et de pipelines de big data, incluant un framework d'analyse Apache Hive, une plateforme d'analyse de données comportementales, un moteur d'analyse prédictive et des pipelines de données en temps réel. Il fournit l'infrastructure pour construire des workflows ETL (Extract, Transform, Load) afin de traiter de grands jeux de données pour le stockage distribué et l'analyse basée sur SQL. Le système prend en charge diverses implémentations analytiques, telles qu'un moteur prédictif utilisant la régression linéaire pour la prévision de valeurs et une architecture temps réel qui fait transiter les données via des courtiers de messages pour un reporting immédiat. Il inclut des capacités spécialisées pour l'analyse du comportement des utilisateurs, la mesure de performance e-commerce et l'analyse de données de transport urbain. La base de code couvre un large spectre d'ingénierie et d'analyse de données, incluant le nettoyage et la transformation de données, l'ingestion distribuée, le traitement de flux par fenêtrage et la visualisation des résultats via des outils de business intelligence. Il permet en outre le calcul de métriques métier spécifiques comme les taux de conversion, la performance de monétisation et les niveaux d'engagement des utilisateurs.
Provides comprehensive workflows for cleaning, transforming, and querying large datasets to extract business insights.
Ce projet est une collection complète de matériel pédagogique de programmation Python, y compris des tutoriels, des exercices et des exemples de code organisés. Il sert de programme d'apprentissage et de boîte à outils d'ingénierie logicielle, utilisant des Jupyter Notebooks pour combiner du code exécutable avec un texte éducatif descriptif. Le dépôt fournit des guides d'implémentation pratiques pour construire des applications de grand modèle de langage, telles que des systèmes de génération augmentée par récupération, des agents IA avec état et des flux de travail d'apprentissage automatique. Il se distingue en offrant une approche structurée des flux de travail de codage agentique, couvrant la distillation de la fenêtre de contexte, le routage de modèle agnostique au fournisseur et les sorties structurées imposées par schéma. Le matériel couvre un large éventail de capacités d'ingénierie logicielle, notamment la programmation asynchrone avec des files d'attente de tâches distribuées, le développement d'applications web avec des API REST et les flux de travail d'analyse de données. Il inclut également des ressources pour maîtriser la conception orientée objet, implémenter des pipelines CI/CD et appliquer des normes professionnelles de linting et de formatage.
Provides structured workflows for cleaning and analyzing raw datasets to derive statistical insights.
This project is a structured data science curriculum and Python-based textbook designed to teach the fundamentals of data science through executable scripts and hands-on lessons. It functions as a guided programming tutorial for data manipulation and analysis within the Python ecosystem. The content covers introductory machine learning, including the implementation of basic models and algorithms, alongside Python data analysis for cleaning and processing datasets. The material is delivered via Jupyter Notebooks, combining modular exercises and markdown-driven documentation to map theoretical
Demonstrates how to use Python libraries to clean, process, and analyze datasets.
This is a comprehensive Python programming course and technical curriculum designed to take users from foundational syntax to advanced development patterns. It serves as a multi-disciplinary educational suite covering programming fundamentals, object-oriented design, and data analysis. The project provides specialized guides on professional development techniques, including the use of decorators, generators for memory management, and dunder-method operator overloading. It also includes instructional material on executing parallel tasks through concurrency and multiprocessing to reduce executi
Teaches the entire workflow of cleaning, transforming, and analyzing raw datasets to derive insights.
This repository serves as an educational collection of Python implementations for fundamental machine learning algorithms and statistical models. It provides a structured environment for learning core concepts through interactive computational documents that combine live code, narrative text, and data visualizations. The codebase focuses on predictive modeling development, offering instructional examples for building and evaluating regression, classification, and neural network models. It utilizes standardized data science library interfaces to demonstrate how to implement and execute these a
Demonstrates techniques for cleaning, transforming, and analyzing datasets to derive insights.