Awesome GitHub RepositoriesRemote Model Execution

ollama-js ist eine JavaScript-Client-Bibliothek und ein API-Wrapper, der eine programmatische Schnittstelle für die Interaktion mit und die Verwaltung von Large Language Models bietet. Sie ermöglicht die Ausführung von Modellen sowohl in lokalen als auch in Cloud-Umgebungen und erleichtert die Generierung von Konversationstexten sowie die Verwaltung von Modell-Lebenszyklen. Das Projekt zeichnet sich durch spezialisierte Tools für die Modelladministration aus, einschließlich der Möglichkeit, Modelle herunterzuladen, zu erstellen und zu entfernen, sowie der Kapazität, benutzerdefinierte Modell-Blueprints und Prompt-Templates zu definieren. Es bietet zudem einen Vektor-Embedding-Client zur Generierung numerischer Textrepräsentationen, um semantische Such- und Retrieval-Pipelines zu unterstützen. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich multimodaler Analyse zur Bildverarbeitung, Erfassung interner Reasoning-Traces und die Durchsetzung strukturierter JSON-Schemata für die Datenextraktion. Sie unterstützt zudem fortgeschrittene Modellinteraktion durch Tool-Invocation und das Streamen von Antworten via asynchroner Generatoren. Die Bibliothek ist in TypeScript geschrieben.