Awesome GitHub RepositoriesTraining Data Compression

Open-Sora-Plan is a text-to-video framework and distributed video training system. It utilizes a diffusion transformer architecture and large language model components to transform written descriptions or image prompts into high-quality video sequences. The system features a distributed infrastructure designed for large-scale video training and inference. It employs sequence parallelism to split high-resolution or long-duration video samples across multiple GPUs and uses a sparse attention mechanism to increase processing speed. The project includes capabilities for both text-to-video and im

Starspace ist ein Vektor-Embedding-Framework, das für das Training hochdimensionaler Repräsentationen von Text und Bildern entwickelt wurde. Es fungiert als Machine-Learning-System für neuronales Ranking, Textklassifizierung und Knowledge-Graph-Embedding und bildet verschiedene Objekttypen in einen gemeinsamen numerischen Raum ab, um Abruf- und Vorhersageaufgaben zu erleichtern. Das System enthält spezialisierte Tools für die Vervollständigung von Knowledge-Graphen und Link-Vorhersagen, indem Entitäten und ihre Beziehungen innerhalb eines multirelationalen Vektorraums dargestellt werden. Es bietet zudem Funktionen für semantische Inhaltsempfehlungen und groß angelegte Textklassifizierung durch Abbildung von Eingaben auf Ziel-Labels oder Kandidatenelemente. Das Framework deckt breite Funktionsbereiche ab, einschließlich ähnlicher Entitäts-Rankings, Vektor-Embedding-Extraktion aus Dokumenten oder N-Grammen und der Verwendung von Random-Walk-basiertem Training. Um große Datensätze zu verwalten, integriert es diskbasiertes komprimiertes Datenladen und Negative-Sampling-Optimierung.