Awesome GitHub RepositoriesEmbedding Visualizations

FiftyOne ist ein visuelles Tool zum Kuratieren, Analysieren und Verwalten von Bild- und Videodatensätzen für das Training von Machine-Learning-Modellen. Es dient als Plattform zur Identifizierung von Annotationsfehlern, zur Verfeinerung von Ground-Truth-Labels und zur Evaluierung der Performance von Vision-Modellen durch den Vergleich von Vorhersagen mit Ground-Truth, um Fehlermodi zu identifizieren. Das System fungiert als containerisierte Datenplattform, die die Team-Kollaboration an großskaligen visuellen Datensätzen in einer Cloud-Umgebung unterstützt. Es enthält spezialisierte Funktionen zur Erkundung hochdimensionaler Embeddings, um Datencluster zu entdecken und entsprechende visuelle Samples abzurufen. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich 2D- und 3D-Datenannotation, Validierung der Datensatzqualität und visueller Datenexploration. Sie lässt sich in Deep-Learning-Frameworks integrieren, um Daten von der Kuratierung zum Modelltraining zu überführen, und nutzt einen dokumentenbasierten Metadatenspeicher zur Verwaltung von Datensatzstrukturen.

Arize Phoenix is an LLM observability platform and evaluation framework designed to capture execution traces and monitor large language model applications. It serves as a prompt management system for versioning and testing templates, and as a self-hosted AI operations infrastructure for managing telemetry and experiments. The platform differentiates itself through a specialized embedding visualization tool used to detect data drift and optimize vector search. It provides a comprehensive evaluation suite that utilizes judge-based evaluators and ground-truth datasets to score model outputs, and

Embedding Atlas ist ein webbasiertes Interface zur Darstellung hochdimensionaler Vektor-Embeddings und zur Analyse komplexer Datensätze durch interaktives visuelles Clustering. Es fungiert als Analysetool für hochdimensionale Daten, um Trends und Dichtemuster zu entdecken, und dient als Vektor-Ähnlichkeits-Explorer, um Nächste-Nachbarn-Datenpunkte innerhalb umfangreicher Embedding-Datensätze zu lokalisieren. Das Projekt bietet ein synchronisiertes, multimodales Daten-Dashboard, das tabellarische Daten mit Bildern, Audio und Text verknüpft. Es nutzt hardwarebeschleunigtes Rendering, um Millionen von Embedding-Punkten anzuzeigen, und verwendet hochdimensionale Projektions-Mappings, um globale Datenstrukturen und Cluster aufzudecken. Das Toolkit deckt ein breites Spektrum an Analysefunktionen ab, darunter Echtzeit-Ähnlichkeitssuche, räumliche Indizierung für Nächste-Nachbarn und Cross-Filtering-Zustandssynchronisierung über verknüpfte Dashboards hinweg. Es enthält zudem Interfaces für automatisierte Datenexploration, die es Controllern ermöglichen, Abfragen auszuführen und visuelle Diagramme programmatisch zu aktualisieren.

Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,

Lit is a machine learning interpretability framework and model debugging tool designed to analyze model behavior and performance. It serves as an interpretability dashboard for large language models and a general performance analyzer for text, image, and tabular datasets. The project distinguishes itself through a comprehensive suite of interpretability tools, including salience map generation for feature attribution, the creation of synthetic and counterfactual examples to test robustness, and the projection of high-dimensional embeddings into visual spaces via UMAP or PCA. It further enable

TensorFlow Similarity is a Python framework designed for training neural networks to learn high-dimensional vector representations and perform similarity-based retrieval. It provides a comprehensive toolkit for metric learning, enabling the development of systems that group similar items together in vector space and identify them through distance-based comparisons. The library distinguishes itself by integrating specialized training techniques, such as contrastive and triplet-based learning, with robust data management tools that ensure stable model convergence. It supports self-supervised re