Awesome GitHub RepositoriesDocument Content Hashing

ArduinoJson is a C++ library for parsing and manipulating JSON data and MessagePack binary streams on microcontrollers with limited memory and processing power. It provides the core primitives necessary for embedded data serialization and parsing, enabling devices to exchange structured data over serial or network interfaces. The library is distinguished by its focus on microcontroller memory management, employing strategies such as pool-based allocation, string deduplication, and non-owning string views to minimize RAM usage. It further optimizes for constrained environments by allowing cons

RedPajama-Data este un set de instrumente pentru preprocesarea seturilor de date text la scară largă utilizate pentru antrenarea modelelor de limbaj mari (LLM). Oferă un pipeline de preprocesare axat pe curățarea, deduplicarea și punctarea unor colecții masive de text pentru a asigura calitatea și diversitatea datelor. Proiectul utilizează un framework de punctare a calității documentelor care folosește machine learning și euristici statistice pentru a evalua dacă documentele sunt potrivite pentru antrenare. Include un pipeline de filtrare a seturilor de date care utilizează clasificatori și liste de blocare pentru a elimina cuvintele sau URL-urile nedorite. Sistemul dispune de un set de instrumente de deduplicare a textului care elimină conținutul redundant folosind tehnici de potrivire exactă și fuzzy. Aceste capabilități permit identificarea și eliminarea documentelor duplicate sau aproape identice dintr-un corpus.