Awesome GitHub RepositoriesAI Integration SDKs

Cactus este un motor de inferență AI on-device conceput pentru executarea modelelor de limbaj mari (LLM), a modelelor de viziune și a sistemelor de tip speech-to-text pe hardware mobil și wearable. Oferă un graf de calcul tensorial programabil pentru definirea secvențelor de operații matriceale și funcții de activare, alături de un framework local de tip retrieval augmented generation (RAG) care fundamentează răspunsurile modelului folosind fișiere text locale. Proiectul include un SDK multiplatformă cu binding-uri de limbaj pentru integrarea capacităților AI în aplicații mobile și un sistem de conversie a modelelor care transformă formatele externe pentru execuție locală optimizată. Utilizează un sistem de rutare hibrid pentru a redirecționa sarcinile de lucru între execuția on-device și furnizorii cloud, în funcție de capacitatea hardware-ului. Motorul acoperă o suprafață largă de capabilități, inclusiv procesarea audio on-device pentru detectarea activității vocale și transcriere, generarea de vectori embedding pentru căutarea prin similaritate și integrarea de instrumente pentru parsarea output-urilor modelului în apeluri de funcții externe. Aceste procese sunt susținute de nuclee native optimizate, reglate pentru performanță cu latență scăzută pe hardware mobil.