3 रिपॉजिटरी
Awesome GitHub RepositoriesDistributed Dataframes
Dataframe abstractions that distribute computation across multiple nodes or cores to handle large-scale datasets.
Distinct from Dataframe Processing: Distinct from general Dataframe Processing: specifically focuses on the distributed orchestration of tabular data across clusters.
Explore 3 awesome GitHub repositories matching data & databases · Distributed Dataframes. Refine with filters or upvote what's useful.
Awesome Distributed Dataframes GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- eventual-inc/daft
Eventual-Inc/Daft
5,225GitHub पर देखेंDaft is a distributed dataframe library and multimodal data processor designed to handle large-scale structured and unstructured data. It functions as a vectorized execution engine that processes tables alongside images, audio, and video, utilizing a unified schema to manage diverse data types. The project distinguishes itself by combining distributed data engineering with large-scale AI inference. It provides an AI data pipeline for batch-optimizing model prompts and generating high-dimensional text embeddings, while utilizing zero-copy memory sharing to execute custom Python functions witho
Provides a distributed dataframe library for processing large-scale structured and unstructured data across local cores or Kubernetes clusters.
Rustai-engineeringai-pipelinearrow - johnsnowlabs/spark-nlp
JohnSnowLabs/spark-nlp
4,135GitHub पर देखेंSpark NLP, Apache Spark वितरित कंप्यूटिंग फ्रेमवर्क पर निर्मित स्केलेबल टेक्स्ट विश्लेषण और मशीन लर्निंग के लिए एक टूलकिट है। यह बड़े पैमाने पर भाषाई डेटा को प्रोसेस करने के लिए एनोटेटर को अनुक्रमित करने के लिए एक मल्टीमॉडल मशीन लर्निंग फ्रेमवर्क और एक वितरित पाइपलाइन सिस्टम प्रदान करता है। लाइब्रेरी में प्रासंगिक वेक्टर एम्बेडिंग उत्पन्न करने के लिए एक ट्रांसफॉर्मर टेक्स्ट प्रोसेसर और बड़े भाषा मॉडल के प्रबंधन के लिए एक समर्पित अनुमान इंजन शामिल है। यह प्रोजेक्ट एक एकीकृत विज़न-भाषा आर्किटेक्चर के भीतर टेक्स्ट, ऑडियो और छवियों सहित विषम डेटा प्रकारों को प्रोसेस करने की अपनी क्षमता के माध्यम से खुद को अलग करता है। यह उन्नत जेनरेटिव AI क्षमताओं का समर्थन करता है जैसे कि प्रॉम्प्ट इंजीनियरिंग, प्रतिबंधित JSON आउटपुट के साथ संरचित एंटिटी निष्कर्षण, और नेटवर्क विलंबता को समाप्त करने के लिए स्थानीय अनुमान। इसके अतिरिक्त, यह टेक्स्ट और इमेज दोनों तौर-तरीकों में क्रॉस-भाषा अनुवाद और ज़ीरो-शॉट वर्गीकरण के लिए टूल प्रदान करता है। फ्रेमवर्क एंटिटी पहचान और भावना विश्लेषण के लिए पर्यवेक्षित मॉडल प्रशिक्षण, साथ ही निष्कर्षण प्रश्न उत्तर और दस्तावेज़ सारांश सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह समानता खोज के लिए वेक्टर डेटाबेस समर्थन को एकीकृत करता है और GPU त्वरण और केंद्रीकृत रजिस्ट्री के माध्यम से मॉडल लाइफसाइकिल प्रबंधन के लिए बुनियादी ढांचा प्रदान करता है। टूलकिट एक सार्वजनिक रिपॉजिटरी के माध्यम से कस्टम मॉडल और पाइपलाइनों के वितरण की अनुमति देता है और REST API के माध्यम से मॉडल की तैनाती का समर्थन करता है।
Leverages distributed computing clusters to execute natural language processing tasks across massive datasets using distributed dataframes.
Scala - databricks/spark-the-definitive-guide
databricks/Spark-The-Definitive-Guide
3,099GitHub पर देखेंThis project is an educational resource and technical manual for Apache Spark, focused on the architecture and practical application of large-scale data processing. It serves as a guide for big data engineering and distributed computing, covering the principles of parallel processing and fault-tolerant data distribution. The material provides instructional content on designing distributed ETL pipelines and implementing data analysis workflows. It includes tutorials for polyglot data processing, offering patterns and examples for using Python, Scala, and Java within a unified environment. The
Explains the abstraction of distributed dataframes for parallel processing across compute clusters.
Scala
