Awesome GitHub RepositoriesWeb Data Scraping

Helium este o bibliotecă Python și un wrapper de nivel înalt pentru Selenium, conceput pentru automatizarea browserului, testarea funcțională a UI și web scraping. Oferă o interfață simplificată pentru interacțiunea cu aplicațiile web pe diferite motoare de browser. Biblioteca se distinge prin faptul că permite utilizatorilor să identifice și să interacționeze cu elementele web folosind etichete de text vizibile, în loc să se bazeze exclusiv pe identificatori tehnici precum XPath-uri sau selectori CSS. Această abordare permite crearea de scripturi de automatizare bazate pe etichete lizibile pentru oameni. Toolkit-ul acoperă o gamă largă de capabilități de automatizare a browserului, inclusiv interacțiunea cu elementele, sincronizarea prin așteptarea condițiilor paginii și gestionarea ferestrelor și popup-urilor. Suportă acțiuni UI complexe, cum ar fi atașamentele de fișiere și operațiunile drag-and-drop, precum și extracția în masă a elementelor pentru colectarea datelor. Utilitarele suplimentare includ interacțiunea automatizată cu iFrame-uri imbricate și capturarea de screenshot-uri ale paginii.

This project is an administrative GIS toolset that provides a comprehensive dataset of China's administrative divisions, including provinces, cities, districts, and townships. It functions as a coordinate system transformer and a boundary converter for transforming geographic data into standard formats. The toolset distinguishes itself through the ability to convert administrative boundary data between CSV, GeoJSON, Shapefiles, and SQL. It includes specialized utilities for coordinate system transformation between GCJ-02, BD-09, WGS-84, and CGCS2000 standards to ensure accuracy across differe

This project is a Model Context Protocol server that connects large language models to web scraping and crawling tools. It functions as a bridge, allowing LLM clients to utilize a web crawling engine and scraping utilities to extract and process web data. The server integrates a markdown web converter that transforms dynamic web pages and PDF documents into clean markdown to optimize consumption by AI models. It also provides a browser automation interface for controlling headless sessions and bypassing access restrictions. The system covers broad capabilities including large-scale website d

ECommerceCrawlers is an educational collection of Python-based crawler scripts designed to extract data from a variety of public websites, including e-commerce platforms, social media sites, news outlets, and multimedia sources. The project serves as a learning resource for web scraping techniques, offering ready-to-run examples that demonstrate practical data extraction methods. The toolkit covers a broad range of data types, including product listings and prices from online retail platforms, public posts and profiles from social networking sites, articles from news and blogging platforms, p

Acest proiect este o colecție de scripturi Python și exemple de cod sursă concepute pentru învățarea fundamentelor programării prin aplicații practice. Servește drept set de instrumente pentru web scraping și automatizarea browserului, alături de o bibliotecă de utilitare pentru procesarea datelor. Repository-ul include scripturi pentru simularea interacțiunilor umane în vederea automatizării sarcinilor web repetitive și a proceselor de rezervare online. De asemenea, oferă o bază de date structurată cu diviziuni administrative, inclusiv provincii, orașe și districte, pentru gestionarea datelor geografice și validarea adreselor. Colecția acoperă capabilități pentru extragerea datelor structurate și a imaginilor de pe site-uri web, utilizând atât drivere de browser, cât și cereri de rețea. Utilitarele suplimentare gestionează manipularea fișierelor de tip tabel și gestionarea arhivelor comprimate.

Acest proiect este o colecție cuprinzătoare de materiale educaționale de programare Python, incluzând tutoriale, exerciții și mostre de cod curate. Acesta servește drept curriculum de învățare și set de instrumente de inginerie software, utilizând Jupyter Notebooks pentru a combina codul executabil cu text educațional descriptiv. Repository-ul oferă ghiduri practice de implementare pentru construirea de aplicații cu modele de limbaj mari, cum ar fi sisteme de generare augmentată prin regăsire (RAG), agenți AI cu stare și fluxuri de lucru de machine learning. Se distinge prin oferirea unei abordări structurate a fluxurilor de lucru de codare agentică, acoperind distilarea ferestrei de context, rutarea modelelor agnostice la furnizor și output-uri structurate impuse prin schemă. Materialele acoperă o gamă largă de capabilități de inginerie software, inclusiv programarea asincronă cu cozi de sarcini distribuite, dezvoltarea de aplicații web cu API-uri REST și fluxuri de lucru de analiză a datelor. Include, de asemenea, resurse pentru stăpânirea designului orientat pe obiecte, implementarea pipeline-urilor CI/CD și aplicarea standardelor profesionale de linting și formatare.

Acest proiect este o resursă de descoperire open source care oferă liste curate de cod reutilizabil și biblioteci pentru a ajuta dezvoltatorii să găsească soluții tehnice pentru sarcini specifice. Utilizează un sistem de indexare bazat pe categorii pentru a organiza diverse instrumente software în funcție de capabilitățile lor funcționale. Repository-ul este structurat ca o colecție de documentație bazată pe Markdown și conținut static, servind drept director pentru descoperire manuală și referință. Directorul acoperă o gamă largă de domenii de capabilități, inclusiv dezvoltarea de aplicații cross-platform, crearea de instrumente de securitate cibernetică, implementarea protocoalelor de rețea și fluxuri de lucru pentru calcul științific. Include, de asemenea, resurse pentru automatizarea web scraping-ului, stocarea datelor și interfețe multimedia.

Acest proiect este o colecție de implementări Python pentru web scraping, interceptarea traficului de rețea, analiza datelor și analiza sentimentelor. Oferă metode pentru extragerea datelor structurate de pe site-uri web și interfețe de aplicații mobile. Colecția include instrumente pentru capturarea și analizarea pachetelor de rețea din aplicațiile mobile pentru a identifica endpoint-uri API interne ascunse. De asemenea, conține scripturi pentru evaluarea tonului emoțional și a percepției publice a datelor text. Proiectul acoperă manipularea și transformarea datelor din seturi mari de date, precum și generarea de grafice și diagrame pentru a identifica tendințele și modelele demografice.

Mechanize is a Ruby library for web browser automation and headless browser emulation. It allows for programmatically navigating websites and simulating human behavior without a graphical user interface. The library provides an automated interface for populating and submitting web forms, including text fields, checkboxes, and file uploads. It manages stateful sessions by automatically storing and sending cookies across multiple requests to maintain user authentication and identity. Additional capabilities include web data scraping, the ability to download remote web content, and the maintena

img2dataset este un pipeline de seturi de date de imagini de înaltă performanță și un instrument de preprocesare conceput pentru a descărca și procesa milioane de imagini de la URL-uri pentru antrenarea modelelor de machine learning. Funcționează ca un downloader distribuit de imagini și exportator de date în cloud storage, mutând seturi de date vizuale mari din surse web direct în formate structurate. Sistemul prioritizează achiziția de date cu throughput ridicat prin distribuirea sarcinilor pe mai multe nuclee CPU și mașini. Se integrează direct cu bucket-uri de stocare cloud remote și folosește un sistem de urmărire bazat pe manifest pentru a relua descărcările întrerupte fără a reprocesa datele existente. Instrumentul oferă o suită completă de preprocesare pentru pregătirea seturilor de date de machine learning, inclusiv redimensionarea imaginilor, decuparea și filtrarea proprietăților bazată pe dimensiune sau aspect ratio. De asemenea, verifică integritatea imaginilor prin compararea hash-urilor și asigură conformitatea cu directivele roboților în timpul fluxului de lucru de scraping. Proiectul este implementat în Python.

DotnetSpider este un framework .NET de web crawling și un instrument C# de extracție a datelor conceput pentru descoperirea automată a paginilor web și recuperarea datelor structurate de pe internet la scară largă. Funcționează ca o bibliotecă de web scraping de nivel înalt pentru colectarea informațiilor de pe diverse site-uri web. Framework-ul oferă capabilități pentru web crawling automat și web scraping la scară largă. Permite extracția conținutului web pentru a facilita crearea de baze de date locale sau analiza informațiilor online prin automatizarea web programatică în ecosistemul .NET. Sistemul utilizează un model de procesare a datelor bazat pe pipeline, cu gestionarea asincronă a cererilor și execuția concurentă a worker-ilor. Dispune de un scheduler bazat pe cozi de sarcini, furnizori de stocare modulari și o implementare bazată pe interfețe pentru logica de scraping personalizată.

This project is a Python quantitative finance library designed for gathering, manipulating, and analyzing stock market data. It provides a suite of tools for quantitative stock analysis, including an equity screening framework for filtering stocks based on technical and fundamental criteria. The library features a machine learning price predictor for classifying stock movements and forecasting future price directions. It also includes a financial technical analysis tool to calculate indicators such as Bollinger Bands, RSI, and MACD, alongside an algorithmic trading simulator for testing portf

Scraperjs is a JavaScript web scraping library and headless browser automation tool designed to extract structured data from both static HTML and JavaScript-rendered websites. It functions as an asynchronous scraping workflow orchestrator and a selector-based engine for transforming unstructured web content into usable data. The library distinguishes itself by managing a shared browser instance across multiple tasks to optimize resource usage and reduce startup latency. It supports custom script injection into sandboxed browser environments to manipulate the DOM or execute browser-side logic

This project is a web scraping and automation tool designed to collect public data from Instagram and perform automated social media interactions. It functions by gathering profile details, captions, media files, and engagement metrics directly from web pages, bypassing the need for official developer interfaces or platform-specific credentials. The tool distinguishes itself by combining data extraction with automated engagement capabilities. It allows users to programmatically interact with content by liking posts that match specific search criteria or hashtags, aiming to increase account vi