4 repository-uri
The ability to jump directly to and retrieve a specific record in a dataset without sequential scanning.
Distinct from Random Field Accesses: Distinct from randomized sampling; this is about targeted high-speed access to specific known records.
Explore 4 awesome GitHub repositories matching data & databases · Random Access Data Retrieval. Refine with filters or upvote what's useful.
Lance is a columnar data format and storage layer designed for high-performance random access and the persistence of multimodal data. It functions as a vector database storage system, a multimodal data store, and a versioned dataset manager. The project distinguishes itself as a hybrid search engine that combines vector similarity search and full-text indexing on a single dataset. It provides unified storage for diverse data types including images, audio, and video, utilizing a system that lazy-loads large binary objects only when requested. The system manages dataset evolution through schem
Enables high-speed retrieval of specific records without impacting the performance of full table scans.
Lance is a versioned columnar data format and storage engine designed as a multimodal AI lakehouse. It serves as a vector database storage engine and a cloud object store dataset manager, organizing images, video, audio, and embeddings into a unified format optimized for machine learning workflows. The project distinguishes itself by combining a columnar layout for structured data with a specialized blob store for large multimodal tensors. It implements a hybrid search engine that integrates vector similarity search, full-text search, and SQL analytics on a single dataset, supported by a stor
Provides high-speed retrieval of specific records from massive columnar datasets without requiring sequential scans.
Biopython este o bibliotecă de bioinformatică pentru Python care oferă instrumente pentru a analiza, manipula și interpreta secvențe biologice, structuri moleculare și arbori filogenetici. Servește ca un parser de secvențe biologice pentru date genomice și proteomice în mai multe formate de fișiere standard din industrie și acționează ca o interfață pentru interogarea datelor biologice și a citărilor din depozitele NCBI Entrez. Proiectul se distinge prin seturi de instrumente specializate pentru analiza structurii proteinelor și construcția arborilor filogenetici. Include un analizor de structură proteică pentru procesarea fișierelor PDB și mmCIF pentru a calcula geometria moleculară, precum și un set de instrumente pentru arbori filogenetici pentru analizarea relațiilor evolutive dintre specii. Biblioteca acoperă o gamă largă de capabilități de bioinformatică, inclusiv analiza secvențelor genomice pentru transcriere și traducere, gestionarea alinierilor de secvențe și calcule de genetică a populațiilor. Oferă, de asemenea, instrumente de analiză structurală pentru manipularea coordonatelor atomice 3D, precum și utilitare pentru vizualizarea caracteristicilor genomice și modelarea datelor biogeografice. Sistemul se integrează cu binare externe de bioinformatică prin „wrapping” și suportă stocarea persistentă a înregistrărilor biologice prin stocare de secvențe bazată pe SQL.
Implements index-based random access to retrieve specific biological sequences from large files using offsets.
RoaringBitmap is a compressed integer set library designed for memory-efficient storage and high-speed in-memory analytics. It provides a professional implementation of the Roaring Bitmap format to maintain compact representations of integer collections. The project features a standardized binary serialization format that enables the exchange of compressed bitmap data across different programming languages and hardware architectures. This allows for consistent data portability and cross-language data exchange. The library performs rapid logical set operations, including intersections, unions
Utilizes a two-level hierarchical index to achieve constant-time random access for integer lookups.