Awesome GitHub RepositoriesUnstructured Text Processing

Knwl.js este o bibliotecă JavaScript de recunoaștere a entităților numite și un parser de text bazat pe reguli. Servește drept instrument extensibil de extracție a informațiilor, conceput pentru a identifica și extrage entități structurate, cum ar fi date, ore și locații, din șiruri de text nestructurate. Biblioteca permite definirea de reguli specializate și plugin-uri personalizate pentru a identifica și extrage piese unice de informații. Această extensibilitate permite automatizarea regăsirii informațiilor prin convertirea textului lizibil pentru oameni în formate structurate pentru aplicații și baze de date. Sistemul utilizează potrivirea expresiilor regulate și extracția bazată pe reguli pentru a procesa blocuri brute de text. Resolvere-le de entități modulare gestionează transformarea segmentelor de text potrivite în formate standardizate.

Mmlspark este un framework distribuit pentru executarea modelelor de machine learning, transformărilor de date și integrărilor de servicii AI în clusterele Apache Spark. Funcționează ca o bibliotecă distribuită de machine learning și orchestrator de pipeline, permițând utilizatorilor să integreze servicii cognitive pre-antrenate și modele personalizate în fluxuri de lucru de batch și streaming la scară largă. Proiectul se distinge prin capacitatea sa de a încorpora servicii AI externe și API-uri web direct în pipeline-uri de big data pentru analiza textului și a viziunii. Oferă un framework de antrenare a modelelor scalabil care coordonează sarcinile de gradient boosting și clasificare în clustere de calcul redimensionabile elastic, utilizând accelerarea hardware pentru inferența distribuită a modelelor. Setul de instrumente acoperă o gamă largă de capabilități, inclusiv analiza conținutului multimodal pentru imagine, vorbire și text, precum și detectarea avansată a anomaliilor pentru date de serie temporală și multivariate. Include utilitare pentru featurizarea datelor, execuția modelelor ONNX și instrumente AI responsabile pentru auditarea echității modelelor și interpretarea predicțiilor folosind valori de contribuție aditivă. Framework-ul oferă, de asemenea, o interfață unificată de acces la date pentru citirea și scrierea în diverse baze de date și sisteme de stocare în cloud.

Learn_Prompting este un proiect educațional axat pe prompt engineering, oferind principiile și tehnicile necesare pentru a crea input-uri eficiente și a îmbunătăți calitatea output-urilor AI generative. Proiectul acoperă strategii avansate de prompting pentru a îmbunătăți raționamentul, fiabilitatea și calitatea output-ului. Aceasta include tehnici pentru descompunerea sarcinilor, raționamentul chain-of-thought și utilizarea ghidării few-shot și zero-shot. De asemenea, abordează securitatea modelelor prin studiul prompt hacking-ului, analiza vulnerabilităților și auditarea confidențialității pentru a preveni scurgerile de date sensibile. Domeniul de aplicare se extinde la aplicarea practică a AI-ului generativ în diverse medii și fluxuri de lucru, inclusiv generarea de text, crearea de imagini fotorealiste și producția audio-vizuală. Mai mult, acoperă dezvoltarea de agenți autonomi, programarea asistată de AI și automatizarea fluxurilor de lucru de afaceri pentru marketing și comunicare. Proiectul oferă resurse pentru optimizarea modelelor, evaluare și gestionarea ciclurilor de viață ale prompt-urilor într-un mediu de experimentare interactiv.

Acest proiect este o bibliotecă Python pentru web scraping și o suită de colectare automată a datelor. Oferă instrumente pentru extragerea datelor structurate de pe site-uri web, implementarea de web crawlere pentru a naviga prin link-urile site-urilor și parsarea structurilor DOM HTML pentru a izola elemente și atribute specifice. Toolkit-ul include un pipeline pentru procesarea textului nestructurat și curățarea conținutului web brut pentru a extrage informații relevante. De asemenea, dispune de capabilități pentru extragerea datelor din imagini și integrarea API-urilor externe pentru a prelua date structurate de la endpoint-uri remote. Sistemul acoperă domenii largi de capabilități, inclusiv extragerea automată a datelor web, fluxuri de lucru de web crawling și tehnici pentru a ocoli obstacolele de scraping folosind proxy-uri și rezolvatoare de CAPTCHA.

Open Semantic Search este o platformă de descoperire enterprise open-source, concepută pentru a indexa, analiza și explora colecții mari și diverse de documente. Funcționează ca un motor de căutare complet și o suită de analiză care transformă datele nestructurate în informații structurate prin pipeline-uri de procesare automatizate. Platforma se distinge prin integrarea explorării semantice cu metodele tradiționale de regăsire. Utilizează legarea entităților în grafuri de cunoștințe și expansiunea interogărilor bazată pe tezaur pentru a conecta concepte conexe, permițând utilizatorilor să navigheze prin seturi de date dincolo de simpla potrivire a cuvintelor cheie. Aceasta este completată de o interfață web care oferă filtrare fațetată și vizualizarea interactivă a datelor, permițând utilizatorilor să identifice tipare și relații în cadrul repository-urilor lor de documente. Sistemul acoperă o gamă largă de capabilități, inclusiv text mining automat, recunoașterea optică a caracterelor (OCR) și adnotarea colaborativă a documentelor. Suportă ingestia continuă de date din diverse surse, menținând indici actualizați prin monitorizare automată și orchestrarea sarcinilor în fundal. Arhitectura se bazează pe microservicii containerizate pentru a gestiona eficient aceste fluxuri de lucru de indexare și analiză.