Awesome GitHub RepositoriesNotebook Environments

nlp-recipes is a collection of implementation guides and reference templates for applying natural language processing techniques to real-world tasks. It provides standardized workflows and code examples for developing NLP pipelines, from dataset preparation and model training to performance evaluation. The project focuses on the practical application of transformer-based models, offering patterns for fine-tuning pretrained architectures for tasks such as text classification, named entity recognition, and question answering. It also includes a toolkit for model interpretability, allowing users

AliSQL is a fork of MySQL by Alibaba that extends the relational database management system with enhancements for high performance, scalability, and enterprise-grade availability. It retains the core MySQL identity as a SQL-based database for storing, organizing, and retrieving structured data, while adding optimizations for large-scale transactional and analytical workloads. The project differentiates itself through a set of Alibaba-specific improvements, including a columnar engine for accelerating analytical queries directly on MySQL tables, and a distributed, shared-nothing NDB Cluster en

Dieses Projekt ist ein umfassendes Framework für Literate Programming, das es Entwicklern ermöglicht, produktionsreife Python-Bibliotheken vollständig innerhalb von Jupyter Notebooks zu erstellen. Indem Notebooks als primäre Quelle der Wahrheit behandelt werden, integriert es Code, Dokumentation und Tests in eine einheitliche Entwicklungspipeline, die direkt in Standard-Python-Module exportiert wird. Das Framework zeichnet sich durch spezialisierte Tools aus, die darauf ausgelegt sind, die inhärenten Herausforderungen bei der Verwendung von Notebooks in der professionellen Softwareentwicklung zu überwinden. Es enthält benutzerdefinierte Git-Hooks und Merge-Driver, die volatile Notebook-Metadaten bereinigen, wodurch verrauschte Diffs effektiv eliminiert und Merge-Konflikte gelöst werden. Darüber hinaus nutzt es zellbasierte Direktiven, um Code-Sichtbarkeit, Tests und Dokumentationsgenerierung zu steuern, was es Entwicklern ermöglicht, sauberen, modularen Quellcode zu pflegen, während sie in einer interaktiven Umgebung arbeiten. Über seinen Kern-Entwicklungs-Workflow hinaus bietet das Projekt eine robuste Suite von Automatisierungstools für den gesamten Software-Lebenszyklus. Dies umfasst eine Static-Site-Engine zum Rendern von Dokumentationen in Publikationsqualität mit Unterstützung für mathematische Gleichungen und Symbol-Querverweise sowie Utilities zur Verwaltung von Projekt-Abhängigkeiten, Versionierung und automatisierten Tests. Es unterstützt zudem Continuous-Integration-Workflows zur Bereitstellung von Dokumentationen und zur Veröffentlichung von Paketen in Standard-Registries. Das Projekt bietet einen standardisierten Bootstrapping-Prozess, um neue Repositories mit vorkonfigurierten Pipelines für Tests, Dokumentation und Versionskontrolle zu initialisieren.

Polynote ist eine polyglotte Notebook-Umgebung und ein interaktives Dokumentensystem, das für die Ausführung von Code in mehreren Sprachen innerhalb eines einzigen Dokuments entwickelt wurde. Es fungiert als sprachübergreifendes Datenanalysetool und JVM-Sprach-IDE, das es Nutzern ermöglicht, ausführbaren Code, Rich Text und Datenvisualisierungen zu kombinieren, um technische Workflows zu prototypisieren und zu dokumentieren. Das System zeichnet sich durch die Fähigkeit aus, Daten und Variablen zwischen verschiedenen Sprach-Runtimes, wie Python und der JVM, zu teilen. Es verwendet sprachübergreifende Objektkonvertierung und Data-Wrapping, um Objekte zwischen Runtimes zu übergeben und so mehrsprachige Daten-Workflows zu ermöglichen. Zudem lässt es sich in Apache Spark integrieren, um verteilte Datenverarbeitungsaufgaben über lokale oder Remote-Cluster-Submissions auszuführen. Die Plattform bietet eine umfassende Suite an Funktionen für Datenanalyse und -visualisierung, einschließlich einer Echtzeit-Symboltabelle für das Runtime-Monitoring und Unterstützung für das Rendern von Vega-Spezifikationen. Sie verwaltet Abhängigkeiten für JVM- und Python-Runtimes mittels koordinatenbasierter Auflösung und bietet IDE-erweitertes Editieren mit Autocomplete und Fehlerhervorhebung. Zu den Dokumentenverwaltungsfunktionen gehören ein dynamisches Inhaltsverzeichnis, eine notebookübergreifende Inhaltssuche und eine browserbasierte Backup-Wiederherstellung, um Datenverlust durch beschädigte Dateien zu verhindern.

Plotters is a data visualization library for the Rust programming language used to create 2D and 3D charts, plots, and mathematical visualizations. It functions as a multi-backend rendering engine and coordinate mapping framework that translates raw data values into pixel coordinates through customizable chart contexts. The library distinguishes itself through its ability to export graphics to multiple formats, including SVG, BitMap, and HTML5 canvas. It provides specific capabilities for 3D graphics plotting, featuring adjustable camera viewpoints and projection matrices to manage spatial da

Positron is a data science integrated development environment and AI-powered code editor designed for polyglot development, specifically supporting Python and R. It functions as a remote compute workspace that separates the user interface from the execution kernel via SSH or container integration. The environment features a deep integration of large language models that provide context-aware suggestions and automated data analysis by accessing real-time interpreter state, in-memory objects, and plot outputs. It distinguishes itself through a polyglot runtime bridge that enables cross-language

Rodeo is an interactive Python notebook environment and integrated development environment designed for data science. It provides a workspace for combining executable code, rich text, and data visualizations within a single document to manage the lifecycle of research scripts. The platform facilitates data science workflow management, covering the process from initial data exploration to final model execution. It supports the development of Python scripting environments tailored for data analysis, modeling, and iterative hypothesis testing. The system utilizes a cell-based document structure

This project is an educational resource and technical manual for Apache Spark, focused on the architecture and practical application of large-scale data processing. It serves as a guide for big data engineering and distributed computing, covering the principles of parallel processing and fault-tolerant data distribution. The material provides instructional content on designing distributed ETL pipelines and implementing data analysis workflows. It includes tutorials for polyglot data processing, offering patterns and examples for using Python, Scala, and Java within a unified environment. The

GarminDB is a local fitness data store and self-hosted health data archive designed to import, archive, and analyze health and activity metrics from Garmin accounts. It functions as a fitness data aggregator and metric analysis tool, maintaining a private database of health records for independent tracking and custom querying. The system features a GPS activity heatmap generator to visualize frequently traveled paths and a plugin system for integrating specialized third-party data fields and custom metrics. It employs a local-first persistence model that retains original source files on disk

Dieses Projekt ist eine Sammlung interaktiver Jupyter Notebooks, die darauf ausgelegt sind, Grundlagen des Machine Learning und Deep Learning durch praktische Programmierübungen zu vermitteln. Es bietet einen strukturierten Lehrplan, der Benutzer durch den gesamten Data-Science-Lebenszyklus führt – von der anfänglichen Datenvorverarbeitung bis zur abschließenden Modellevaluierung. Das Repository zeichnet sich dadurch aus, dass es theoretische Data-Science-Konzepte mit praktischer Implementierung unter Verwendung von Standard-Industriebibliotheken verbindet. Es enthält eine Reihe von Tutorials, die zeigen, wie man prädiktive Modelle und komplexe neuronale Netzwerkarchitekturen, einschließlich konvolutionsbasierter und rekurrenter Modelle, in einer einheitlichen, ausführbaren Umgebung erstellt und trainiert. Der Lehrplan umfasst die Anwendung von Standard-Estimator-Mustern für Machine-Learning-Workflows und die Konstruktion neuronaler Netze durch modulare, schichtbasierte Komposition. Diese Materialien sind so organisiert, dass sie Lernende dabei unterstützen, die mathematischen und programmiertechnischen Abstraktionen zu beherrschen, die für Mustererkennungs- und Entscheidungsaufgaben erforderlich sind.