Awesome GitHub RepositoriesAI Integration SDKs

Cactus est un moteur d'inférence IA embarqué conçu pour exécuter des grands modèles de langage (LLM), des modèles de vision et des systèmes de synthèse vocale sur mobile et objets connectés. Il fournit un graphe de calcul de tenseurs programmable pour définir des séquences d'opérations matricielles et de fonctions d'activation, ainsi qu'un framework de RAG (Retrieval Augmented Generation) local qui base les réponses du modèle sur des fichiers texte locaux. Le projet propose un SDK multiplateforme avec des bindings pour intégrer des capacités d'IA dans des applications mobiles, ainsi qu'un système de conversion de modèles qui transforme des formats externes pour une exécution locale optimisée. Il utilise un système de routage hybride pour rediriger les charges de travail entre l'exécution sur l'appareil et des fournisseurs cloud selon la capacité matérielle. Le moteur couvre une large surface de capacités, incluant le traitement audio sur l'appareil pour la détection d'activité vocale et la transcription, la génération d'embeddings vectoriels pour la recherche de similarité, et l'intégration d'outils pour parser les sorties des modèles en appels de fonctions externes. Ces processus sont supportés par des noyaux natifs optimisés pour une faible latence sur matériel mobile.