Awesome GitHub RepositoriesOn-Device LLM Flutter Plugins

LiteRT-LM este un framework de inferență de înaltă performanță conceput pentru a executa modele de limbaj mari local pe hardware mobil, desktop și IoT. Acesta servește ca un runtime de model on-device care utilizează accelerarea CPU, GPU și NPU pentru a oferi procesare cu latență scăzută. Framework-ul se distinge prin capacitatea sa de a procesa intrări de text, viziune și audio printr-un singur motor de inferență multimodal. Dispune de un server HTTP local care emulează endpoint-uri API compatibile cu OpenAI și un runtime bazat pe WebGPU pentru executarea modelelor direct într-un browser web. Pentru a asigura fiabilitatea output-ului, include un generator de text constrâns care impune scheme JSON sau reguli gramaticale asupra răspunsurilor modelului. Proiectul oferă capabilități largi pentru gestionarea conversațiilor stateful, decodare speculativă pentru viteze crescute de generare a token-urilor și o interfață de apelare a instrumentelor (tool-calling) care mapează cererile modelului către funcții externe. Include, de asemenea, integrare specializată pentru ecosistemul Apple și un plugin dedicat pentru rularea modelelor în Flutter. Utilizatorii pot executa modele printr-o interfață în linie de comandă (CLI) sau le pot integra în aplicații prin API-uri native.