Awesome GitHub RepositoriesStored File Retrieval

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

gdrive is a command line interface client for managing files, folders, and permissions within Google Drive. It functions as a backup utility and synchronization tool, allowing users to interact with their cloud storage through a terminal instead of a web browser. The project supports server-to-server integration by using service accounts and JSON credential files. This enables non-interactive identity verification and session establishment without requiring interactive user login prompts. The tool covers bidirectional and one-way synchronization between local directories and remote storage,

Solid is a protocol and ecosystem for decentralized web applications that separates application logic from data storage. It enables users to store and control their personal information in personal online data stores, known as Pods, ensuring that individuals own their data rather than the applications they use. The project provides a framework for decentralized identity and authentication using WebID and OpenID Connect, decoupling identity from central providers. It implements a resource-level permission system via Web Access Control, allowing users to grant or deny read, write, and append ac

mistral.rs is an inference engine for large language models that runs locally and exposes models behind OpenAI and Anthropic-compatible APIs. It serves as a multi-model serving platform, capable of loading several models in a single server process with per-request routing and on-demand loading and unloading. The engine supports multimodal inference, processing text alongside images, video, audio, and speech inputs, and includes a quantized model deployment runtime that reduces memory use and speeds up inference on consumer hardware. The project distinguishes itself through an agentic tool exe

The AWS SDK for PHP is a software development kit that provides HTTP client classes for every supported Amazon Web Service, enabling PHP applications to send authenticated requests and receive structured, typed response objects. It includes a credential resolution chain that automatically locates credentials from environment variables, instance profiles, or configuration files, and supports promise-based asynchronous execution for running multiple API calls concurrently to improve throughput. The SDK distinguishes itself through a middleware pipeline architecture that allows interception and

The main repository of the Open GApps Project

Suricata is an open-source network intrusion detection and prevention engine that analyzes live network traffic in real-time to identify and alert on malicious activity. It operates as a rule-based threat detection system, matching traffic against user-defined signatures to detect known attack patterns and policy violations, and can be placed inline to actively block malicious packets before they reach their target. The engine inspects a wide range of application-layer protocols including HTTP, DNS, TLS, SMB, and MQTT, and supports high-performance packet capture through specialized hardware a

dlt ist ein Python-Tool zur Datenaufnahme und ein ETL-Pipeline-Framework, das darauf ausgelegt ist, Daten aus verschiedenen Quellen abzurufen und in strukturierten Zielen zu speichern. Es fungiert als Schema-Inferenz-Engine, die automatisch Datentypen erkennt und verschachtelte JSON-Strukturen in relationale Tabellen flacht, wobei Daten von Quellen in Lakehouses, Warehouses oder Vektordatenbanken verschoben werden. Das Projekt zeichnet sich durch KI-gestützte Pipeline-Generierung aus, die Large Language Models nutzt, um Extraktionscode und Konnektoren für REST-APIs zu erstellen. Es unterstützt zudem multimodale Vektorspeicherung und die spezialisierte Befüllung von Vektordatenbanken zur Unterstützung von KI- und Machine-Learning-Anwendungen. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich automatisierter Schema-Evolution, inkrementellem Datenladen mittels Statusverfolgung und Datenqualitätsvalidierung durch die Durchsetzung von Datenverträgen. Es bietet Tools für relationale Datennormalisierung, Pre- und Post-Load-Transformationen sowie eine Vielzahl von Ziel-Adaptern für SQL-Datenbanken und Cloud-Objektspeicher. Die Observability wird durch Pipeline-Ausführungs-Dashboards, Spalten-Lineage-Tracking und Schema-Versionsverifizierung mittels inhaltsbasierter Hashes gehandhabt.

Uploadthing ist ein Tool zur Integration von Datei-Uploads in Webanwendungen und bietet ein System zur Annahme und Speicherung von Dateien durch serverloses Datei-Handling. Es verwaltet den End-to-End-Upload-Prozess, von der Erstellung von Backend-Endpoints bis zur Bereitstellung von Inhalten via Content Delivery Network. Das Projekt nutzt einen Workflow mit vorsignierten URLs, um Clients das direkte Hochladen von Dateien in den Cloud-Speicher zu ermöglichen, was den Server-Ingress reduziert. Es bietet ein routenbasiertes Validierungssystem zur Durchsetzung von Beschränkungen für Dateitypen und -größen, neben Middleware für Request-Autorisierung und sichere Post-Upload-Callback-Webhooks. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich Cloud-Speicherverwaltung zum Umbenennen oder Löschen von Dateien und der Implementierung fortsetzbarer Uploads für große Transfers. Sie bietet eine Suite von UI-Komponenten, wie Upload-Buttons und Dropzones, die gestylt oder durch benutzerdefinierte Interfaces mittels kompostierbarer Hooks ersetzt werden können. Das System ist für den Einsatz in Edge-Runtimes und serverlosen Umgebungen konzipiert, wobei die Konfiguration über Umgebungsvariablen erfolgt.

Empire is a post-exploitation command-and-control (C2) framework designed for red team operations. It deploys and manages agents written in PowerShell, Python, C#, Go, and C across Windows, Linux, and macOS, using encrypted communication channels over HTTP, HTTPS, and SMB. The framework executes over 400 built-in modules for reconnaissance, privilege escalation, credential theft, and lateral movement, and provides a modular engine for authoring custom attack modules. What sets Empire apart is its multi-language agent deployment system, which allows operators to choose implants that suit each

Dieses Projekt ist ein umfassendes Bildungsprogramm und Deep-Learning-Framework, das darauf ausgelegt ist, praktisches Deep Learning mit PyTorch anhand von Notebooks und Codebeispielen zu vermitteln. Es dient als High-Level-Bibliothek zum Erstellen, Trainieren und Bereitstellen neuronaler Netze und fungiert als Modell-Trainings-Orchestrator, der PyTorch-Modelle, Optimierer und Verlustfunktionen koordiniert. Das Projekt bietet spezialisierte Toolkits für Computer Vision, Natural Language Processing und die Vorverarbeitung tabellarischer Daten. Es zeichnet sich durch fortschrittliche Trainingskontrollen aus, wie z. B. diskriminative Lernraten, ein Zwei-Wege-Callback-System zur Anpassung der Trainingslogik und eine High-Level-Learner-Abstraktion, die die Geräteplatzierung und Trainingsschleifen automatisiert. Das Framework deckt ein breites Fähigkeitsspektrum ab, einschließlich der automatisierten Konstruktion von Datenpipelines, der Analyse von Modellarchitekturen und der Leistungsbewertung bei Klassifizierungs-, Regressions- und Segmentierungsaufgaben. Es enthält zudem Dienstprogramme für verteiltes Training über mehrere GPUs, Mixed-Precision-Training zur Speicheroptimierung und spezialisierte Unterstützung für medizinische Bilddaten. Das Projekt wird als eine Reihe von Jupyter Notebooks bereitgestellt.

supabase-js ist eine umfassende Client-Bibliothek, die entwickelt wurde, um Frontend-Anwendungen mit einem gehosteten Backend-as-a-Service zu integrieren. Sie bietet ein einheitliches Interface für die Interaktion mit einer PostgreSQL-Datenbank, Identitätsmanagementsystemen, Cloud-Objektspeicherung und Echtzeit-Datensynchronisierung. Die Bibliothek bietet ein isomorphes Client-Design, das sowohl in Browser- als auch in Serverumgebungen funktioniert. Sie zeichnet sich durch einen Typ-sicheren Ansatz aus, nutzt TypeScript, um Datenbankschemata direkt auf Client-seitige Definitionen zu mappen, und verwendet eine PostgREST-basierte API, um JavaScript-Aufrufe in RESTful-Requests zu übersetzen. Der Client deckt ein breites Spektrum an Funktionen ab, einschließlich Nutzerauthentifizierung via OAuth, OIDC und Passkeys sowie Sitzungsmanagement unter Verwendung signierter Token. Er verwaltet große Binärdaten über ein S3-kompatibles Speicher-Interface und ermöglicht Live-Anwendungsupdates via WebSocket-basierter Abonnements für Datenbankänderungen und Präsenzsynchronisierung. Zusätzliche Funktionalität umfasst den Aufruf von Serverless-Edge-Functions und die Durchführung von Ähnlichkeitssuchen unter Verwendung von Vektor-Embeddings.

trash-cli ist eine Befehlszeilenschnittstelle zur Verwaltung von Dateien und Verzeichnissen gemäß der FreeDesktop.org-Papierkorb-Spezifikation. Es bietet ein Dienstprogramm, um Dateien in einen System-Papierkorb zu verschieben, anstatt sie dauerhaft zu löschen, was versehentlichen Datenverlust bei der Arbeit im Terminal verhindert. Das Tool implementiert das XDG-Papierkorb-Verzeichnislayout und die Metadaten-Standards, was die Interoperabilität mit anderen Desktop-Umgebungen sicherstellt. Es verwendet Metadaten-Sidecar-Dateien, um ursprüngliche absolute Dateipfade und Löschzeitstempel nachzuverfolgen, was eine präzise Wiederherstellung von Dateien ermöglicht. Das Projekt deckt das Dateilebenszyklus-Management ab, mit Funktionen zum Auflisten gelöschter Elemente, zum Wiederherstellen von Dateien an ihren ursprünglichen Speicherort und zur Rückgewinnung von Speicherplatz. Die dauerhafte Entfernung von Daten kann durch vollständiges Leeren des Papierkorbs oder durch das Bereinigen von Dateien basierend auf Namensmustern und Altersschwellen erfolgen.

uds is a binary-to-text storage utility and cloud document storage manager. It converts binary files into encoded text chunks to facilitate storage and retrieval within cloud document platforms, specifically to bypass storage quotas in services like Google Drive. The system utilizes base64 encoding and chunk-based splitting to divide large binary files into smaller segments that fit within the character limits of individual cloud documents. It reassembles these original files through sequential block reconstruction. The project covers cloud file management, including the ability to list, sea

GAM is a command-line tool for administering Google Workspace and Cloud Identity. It translates command-line arguments into structured API calls, enabling administrators to manage users, groups, organizational units, and domain settings across a Google Workspace environment. The tool handles authentication through OAuth2 flows, service accounts, and workload identity federation, and supports multi-tenant configurations for managing multiple domains or cloud projects from a single installation. GAM distinguishes itself through its batch processing and automation capabilities. It can process la

NX_Firmware is a binary repository manager and firmware distribution server designed to store and serve versioned system update files to hardware devices. It functions as a stateless file host that organizes compiled firmware binaries in a structured directory for automated retrieval via a REST API. The system maps specific firmware builds to compatible hardware revisions using schema-based metadata. It utilizes a flat-file asset hosting model, serving binary blobs directly from the filesystem to avoid the overhead of a database management system. The server handles hardware version control

This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen

The Hugging Face Hub Python client is a library that provides programmatic access to the Hugging Face Hub, a centralized platform for hosting and collaborating on machine learning models, datasets, and demo applications. It serves as the primary SDK for interacting with the Hub's API, enabling users to download and upload models and datasets, manage repositories, authenticate via tokens or OAuth, and run inference on hosted models through a unified interface. The client distinguishes itself through a comprehensive set of capabilities that go beyond basic file transfer. It includes a CLI exten

MadelineProto is an asynchronous PHP library that provides a programmatic interface for interacting with the Telegram API using the MTProto protocol, the same protocol used by official Telegram clients. It functions as both a Telegram bot SDK and a userbot automation library, enabling PHP applications to connect to Telegram as either a bot account or a regular user account, sending and receiving messages, media, and other data directly without relying on the Bot API intermediary. The library is built on an event-driven architecture with Amp v3 fiber-based concurrency, allowing for non-blockin

S3Scanner is a security tool for auditing public access and misconfigured permissions across S3-compatible storage providers. It functions as a storage auditor and security scanner designed to identify open buckets, enumerate publicly accessible objects, and exfiltrate data from misconfigured cloud environments. The project is distinguished by its integration with message brokers, allowing it to consume target lists for large-scale cloud infrastructure audits. It also provides utilities for dumping the entire contents of misconfigured buckets to local directories and calculating the total siz