Awesome GitHub RepositoriesUnstructured Text Processing

Knwl.js est une bibliothèque JavaScript de reconnaissance d'entités nommées et un analyseur de texte basé sur des règles. Il sert d'outil d'extraction d'informations extensible conçu pour identifier et extraire des entités structurées, telles que des dates, des heures et des lieux, à partir de chaînes de texte non structurées. La bibliothèque permet la définition de règles spécialisées et de plugins personnalisés pour identifier et extraire des éléments d'information uniques. Cette extensibilité permet l'automatisation de la récupération d'informations en convertissant du texte lisible par l'homme en formats structurés pour les applications et les bases de données. Le système utilise la correspondance d'expressions régulières et l'extraction basée sur des règles pour traiter des blocs de texte bruts. Des résolveurs d'entités modulaires gèrent la transformation des segments de texte correspondants en formats standardisés.

Mmlspark est un framework distribué pour exécuter des modèles de machine learning, des transformations de données et des intégrations de services d'IA à travers des clusters Apache Spark. Il fonctionne comme une bibliothèque de machine learning distribuée et un orchestrateur de pipeline, permettant aux utilisateurs d'intégrer des services cognitifs pré-entraînés et des modèles personnalisés dans des workflows de traitement par lots et de streaming à grande échelle. Le projet se distingue par sa capacité à incorporer des services d'IA externes et des API web directement dans des pipelines de big data pour l'analyse de texte et de vision. Il fournit un framework d'entraînement de modèle évolutif qui coordonne les tâches de gradient boosting et de classification à travers des clusters de calcul redimensionnables élastiquement, utilisant l'accélération matérielle pour l'inférence de modèle distribuée. L'ensemble d'outils couvre un large éventail de capacités, incluant l'analyse de contenu multimodal pour l'image, la parole et le texte, ainsi qu'une détection avancée d'anomalies pour les données de séries temporelles et multivariées. Il inclut des utilitaires pour la caractérisation des données, l'exécution de modèles ONNX et des outils d'IA responsable pour l'audit d'équité des modèles et l'interprétation des prédictions utilisant des valeurs de contribution additives. Le framework fournit également une interface d'accès aux données unifiée pour lire et écrire à travers diverses bases de données et systèmes de stockage cloud.

Learn_Prompting est un projet éducatif axé sur le prompt engineering, fournissant les principes et techniques nécessaires pour concevoir des entrées efficaces et améliorer la qualité des sorties d'IA générative. Le projet couvre des stratégies de prompting avancées pour améliorer le raisonnement, la fiabilité et la qualité des résultats. Cela inclut des techniques de décomposition de tâches, le raisonnement par chaîne de pensée (chain-of-thought), et l'utilisation de guidage few-shot et zero-shot. Il aborde également la sécurité des modèles à travers l'étude du prompt hacking, l'analyse de vulnérabilité et l'audit de confidentialité pour prévenir les fuites de données sensibles. La portée s'étend à l'application pratique de l'IA générative à travers divers médias et workflows, incluant la génération de texte, la création d'images photoréalistes et la production audiovisuelle. Il couvre en outre le développement d'agents autonomes, la programmation assistée par IA et l'automatisation des workflows métier pour le marketing et la communication. Le projet fournit des ressources pour l'optimisation des modèles, l'évaluation et la gestion des cycles de vie des prompts au sein d'un environnement d'expérimentation interactif.

Ce projet est une bibliothèque de web scraping Python et une suite d'automatisation de collecte de données. Il fournit des outils pour extraire des données structurées à partir de sites web, implémenter des crawlers pour naviguer entre les liens et analyser les structures DOM HTML pour isoler des éléments et attributs spécifiques. La boîte à outils inclut un pipeline pour traiter le texte non structuré et nettoyer le contenu web brut afin d'extraire des informations significatives. Elle propose également des capacités d'extraction de données d'image et l'intégration d'API externes pour récupérer des données structurées depuis des endpoints distants. Le système couvre de larges domaines de fonctionnalités, notamment l'extraction automatisée de données web, les workflows de crawling et des techniques pour contourner les obstacles au scraping via des proxys et des résolveurs de CAPTCHA.

Open Semantic Search est une plateforme de découverte d'entreprise open-source conçue pour indexer, analyser et explorer de grandes collections de documents diverses. Elle fonctionne comme un moteur de recherche complet et une suite analytique qui transforme les données non structurées en informations structurées via des pipelines de traitement automatisés. La plateforme se distingue en intégrant l'exploration sémantique aux méthodes de récupération traditionnelles. Elle utilise le liage d'entités par graphe de connaissances et l'expansion de requêtes pilotée par thésaurus pour connecter des concepts liés, permettant aux utilisateurs de naviguer dans les jeux de données au-delà de la simple correspondance par mots-clés. Ceci est complété par une interface web qui fournit un filtrage à facettes et une visualisation de données interactive, permettant aux utilisateurs d'identifier des patterns et des relations au sein de leurs dépôts de documents. Le système couvre un large éventail de capacités, incluant l'exploration de texte automatisée, la reconnaissance optique de caractères (OCR) et l'annotation collaborative de documents. Il prend en charge l'ingestion continue de données depuis diverses sources, maintenant des index à jour via une surveillance automatisée et une orchestration de tâches en arrière-plan. L'architecture repose sur des microservices conteneurisés pour gérer efficacement ces flux d'indexation et d'analyse.