Awesome GitHub RepositoriesMulti-Format Data Persistence

This project is a comprehensive educational guide and framework for building web scrapers using Python. It provides a course-based approach to data extraction, combining a Python crawler framework with tutorials on web reverse engineering and network traffic analysis. The project distinguishes itself by covering advanced extraction challenges, including the decryption of obfuscated JavaScript and the bypass of anti-scraping measures. It specifically addresses mobile application scraping through the simulation of user interactions and the interception of network traffic. The capability surfac

weiboSpider is a Python web scraper and social media crawler designed to extract user profiles, posts, and engagement metrics from Sina Weibo. It functions as an automated data pipeline for academic research and trend analysis, collecting long-form text and multimedia content. The tool distinguishes itself through the use of browser session cookies to authenticate requests and access protected profiles. It implements randomized request pacing and global pauses to manage traffic and avoid platform rate limits, while supporting incremental crawling to capture only new content based on timestamp

This project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p

TiddlyWiki5 is a modular wiki engine and non-linear knowledge base that organizes information into small, linked chunks. It can function as a single-file personal wiki where all content and application logic are stored within one HTML file for local-first use, or as a self-hosted wiki server that serves content over HTTP. The project is distinguished by a data-driven architecture where plugins and extensions are treated as stored data entries. It features a filter-based query engine for manipulating structured data and a transclusion system that allows the live content of one entry to be embe

big-AGI is a self-hosted AI frontend and multi-model client that provides a unified workspace for interacting with various large language models. It functions as an orchestration dashboard, allowing users to connect to cloud-based AI providers, aggregator services, and locally hosted model servers. The project is distinguished by its ability to execute prompts across multiple models simultaneously for side-by-side comparison and response synthesis. It enables the merging of outputs from different models to reduce hallucinations and improve accuracy, while using persona-based configuration map

libigl este o bibliotecă C++ de procesare geometrică utilizată pentru analizarea și manipularea mesh-urilor 3D triunghiulare și tetraedrice. Funcționează ca o suită de algebră liniară numerică și un framework de manipulare a mesh-urilor, integrând un motor de deformare geometrică pentru a implementa transformări rigide și poliharmonice. Proiectul se distinge prin designul de bibliotecă header-only și implementarea tehnicilor de deformare specializate, inclusiv deformarea rigid-as-possible și cea poliharmonică. De asemenea, oferă un instrument de vizualizare pentru randarea suprafețelor și a câmpurilor scalare cu controale interactive ale scenei și selecția mesh-urilor. Biblioteca acoperă o gamă largă de capabilități, inclusiv analiza geometrică pentru curbură și distanțe geodezice, generarea de mesh-uri prin extracția iso-suprafețelor și triangulare, și remeshing prin warping anizotrop. Suportă, de asemenea, operațiuni booleene pe mesh-uri, parametrizarea suprafețelor și optimizarea numerică pentru rezolvarea ecuațiilor Laplace și a programelor pătratice. Toolkit-ul include utilitare pentru importul și exportul diverselor formate de geometrie 3D și suportă interoperabilitatea cu Matlab pentru executarea scripturilor și partajarea matricelor.

ArrayFire este un framework de calcul hardware-agnostic și un motor de tensori compilat JIT, conceput pentru calcul numeric de înaltă performanță. Acesta servește ca bibliotecă de calcul numeric GPU și toolkit de procesare paralelă a semnalelor care abstractizează backend-urile hardware, permițând aceluiași cod să ruleze pe diverse arhitecturi GPU și CPU. Proiectul se distinge printr-un motor JIT care utilizează compilarea expresiilor pentru a fuziona operațiunile și a minimiza consumul de memorie. Acesta folosește un graf de execuție amânată pentru a optimiza lanțurile de calcul și oferă primitive de interoperabilitate pentru a partaja date și contexte de execuție cu platforme de calcul externe precum CUDA și OpenCL. Biblioteca acoperă o gamă largă de capabilități, inclusiv algebră liniară paralelă, procesarea digitală a semnalelor și viziune computerizată accelerată. Oferă instrumente pentru implementarea învățării automate, simularea modelării financiare și rezolvarea ecuațiilor diferențiale parțiale pentru simulări de sisteme fizice. Sistemul său de gestionare a tensorilor se ocupă de alocarea array-urilor multidimensionale, felierea (slicing) și transferurile de date gazdă-dispozitiv.

Acest proiect este un scraper web pentru Sina Weibo și un pipeline de date pentru social media, conceput pentru a extrage profiluri de utilizatori, postări, comentarii și active multimedia. Acesta funcționează ca un crawler de date containerizat care automatizează colectarea și stocarea locală a conținutului de social media și a metricilor de engagement. Sistemul include un strat de procesare care utilizează modele de limbaj mari (LLM) pentru a analiza textul extras, generând rezumate și analize de sentiment. Se diferențiază printr-un model de container gata de deployment, care dispune de o interfață HTTP pentru gestionarea sarcinilor de extracție și monitorizarea progresului joburilor. Crawler-ul acoperă o gamă largă de capabilități, inclusiv monitorizarea social media prin actualizări incrementale programate, arhivarea activelor multimedia pe discuri locale și exportul de date în formate multiple către fișiere plate sau baze de date. De asemenea, captează interacțiuni sociale detaliate, cum ar fi comentariile de prim nivel și repostările.

Joblib este o suită de utilitare pentru paralelizarea sarcinilor de calcul și optimizarea stocării seturilor de date numerice mari și a rezultatelor funcțiilor. Acesta funcționează ca o bibliotecă de calcul paralel și un wrapper de multiprocesare care distribuie execuția funcțiilor pe mai multe nuclee CPU pentru a accelera sarcinile independente și buclele de calcul. Proiectul oferă un framework de caching pe disc care persistă output-urile funcțiilor costisitoare pe sistemul de fișiere, reevaluându-le doar atunci când argumentele de intrare se modifică. Se specializează în continuare în serializarea matricelor numerice mari, utilizând compresia eficientă și maparea memoriei pentru a optimiza stocarea și recuperarea seturilor de date masive. Toolkit-ul include capabilități pentru maparea funcțiilor paralele și utilizarea backend-urilor de execuție pluggable pentru a controla modul în care sarcinile sunt distribuite pe hardware-ul disponibil. Stratul său de stocare acoperă persistența obiectelor complexe și compresia transparentă pentru datele serializate.

CrawlerTutorial este un tutorial cuprinzător de web scraping în Python și un framework conceput pentru extragerea datelor de pe site-uri web statice și dinamice. Acesta funcționează ca o conductă de extracție a datelor web și un orchestrator de cereri HTTP, acoperind întregul ciclu de viață al aplicațiilor de scraping, de la preluarea inițială până la stocarea finală a datelor. Proiectul oferă îndrumări specializate privind tehnicile de evitare a sistemelor anti-bot și ingineria inversă a API-urilor web. Include metode pentru evitarea detectării browserului prin mascarea identității și rotația proxy-urilor, precum și tehnici pentru identificarea endpoint-urilor API ascunse prin analizarea traficului de rețea și a semnăturilor cererilor. Framework-ul cuprinde un set larg de capabilități, inclusiv automatizarea browserului pentru pagini cu conținut JavaScript intens, autentificarea automată a utilizatorilor prin coduri QR sau SMS și gestionarea persistenței sesiunii. De asemenea, dispune de instrumente de preprocesare a datelor pentru curățarea textului brut, eliminarea înregistrărilor duplicate și persistența informațiilor colectate în fișiere plate sau baze de date relaționale.

xtensor is a C++ multidimensional array library for numerical computing that provides N-dimensional containers with an interface mirroring the NumPy API. It utilizes a lazy evaluation expression engine to defer numerical computations until assignment, which minimizes memory allocations and intermediate copies. The library features a foreign memory array adaptor that allows it to wrap external buffers, such as NumPy arrays, to perform numerical operations in-place without duplicating data. It further optimizes performance through lazy broadcasting and a system that manages the lifetime of temp

This project is a NestJS testing boilerplate and reference implementation. It provides a structured monorepo workspace designed to demonstrate various architectural and testing patterns for NestJS applications. The project features a dockerized test environment and an integration testing framework. It includes a dedicated GraphQL API test suite to validate graph-based endpoints and schemas for queries and mutations. The suite covers a layered testing hierarchy consisting of unit, integration, and end-to-end tests. These capabilities extend across the application and data layers, including da