4 Repos
The ability to jump directly to and retrieve a specific record in a dataset without sequential scanning.
Distinct from Random Field Accesses: Distinct from randomized sampling; this is about targeted high-speed access to specific known records.
Explore 4 awesome GitHub repositories matching data & databases · Random Access Data Retrieval. Refine with filters or upvote what's useful.
Lance is a columnar data format and storage layer designed for high-performance random access and the persistence of multimodal data. It functions as a vector database storage system, a multimodal data store, and a versioned dataset manager. The project distinguishes itself as a hybrid search engine that combines vector similarity search and full-text indexing on a single dataset. It provides unified storage for diverse data types including images, audio, and video, utilizing a system that lazy-loads large binary objects only when requested. The system manages dataset evolution through schem
Enables high-speed retrieval of specific records without impacting the performance of full table scans.
Lance is a versioned columnar data format and storage engine designed as a multimodal AI lakehouse. It serves as a vector database storage engine and a cloud object store dataset manager, organizing images, video, audio, and embeddings into a unified format optimized for machine learning workflows. The project distinguishes itself by combining a columnar layout for structured data with a specialized blob store for large multimodal tensors. It implements a hybrid search engine that integrates vector similarity search, full-text search, and SQL analytics on a single dataset, supported by a stor
Provides high-speed retrieval of specific records from massive columnar datasets without requiring sequential scans.
Biopython ist eine Bioinformatik-Bibliothek für Python, die Werkzeuge zum Parsen, Manipulieren und Analysieren biologischer Sequenzen, molekularer Strukturen und phylogenetischer Bäume bereitstellt. Sie dient als Parser für biologische Sequenzen für genomische und proteomische Daten in verschiedenen Industriestandard-Formaten und fungiert als Schnittstelle zum Abfragen biologischer Daten und Zitate aus NCBI Entrez-Repositories. Das Projekt zeichnet sich durch spezialisierte Toolkits für die Analyse von Proteinstrukturen und die Konstruktion phylogenetischer Bäume aus. Es enthält einen Proteinstruktur-Analysator zur Verarbeitung von PDB- und mmCIF-Dateien zur Berechnung der Molekulargeometrie sowie ein Toolkit für phylogenetische Bäume zur Analyse evolutionärer Beziehungen zwischen Arten. Die Bibliothek deckt ein breites Spektrum bioinformatischer Funktionen ab, einschließlich der Analyse genomischer Sequenzen für Transkription und Translation, der Verwaltung von Sequenzalignments und populationsgenetischer Berechnungen. Sie bietet zudem Tools zur strukturellen Analyse für die Manipulation von 3D-Atomkoordinaten sowie Dienstprogramme zur Visualisierung genomischer Merkmale und zur Modellierung biogeografischer Daten. Das System integriert externe Bioinformatik-Binärdateien durch Tool-Wrapping und unterstützt die persistente Speicherung biologischer Datensätze durch SQL-basierte Sequenzspeicherung.
Implements index-based random access to retrieve specific biological sequences from large files using offsets.
RoaringBitmap is a compressed integer set library designed for memory-efficient storage and high-speed in-memory analytics. It provides a professional implementation of the Roaring Bitmap format to maintain compact representations of integer collections. The project features a standardized binary serialization format that enables the exchange of compressed bitmap data across different programming languages and hardware architectures. This allows for consistent data portability and cross-language data exchange. The library performs rapid logical set operations, including intersections, unions
Utilizes a two-level hierarchical index to achieve constant-time random access for integer lookups.