An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way.
29
Kamu depoları
74.276
Toplam yıldız
808
Takipçiler
Scrapy, açık kaynaklı bir çerçeve olarak, web sitelerinden veri çıkarmak için geniş bir yelpazede bir dizi halka açık GitHub deposuna sahiptir. Python, HTML ve C++ gibi dilleri kullanan Scrapy, web tarama ve veri kazıma alanında önemli projeler sunmaktadır. Özellikle scrapy ve scrapyd gibi önemli depoları ile dikkat çekmektedir.
Scrapy, a fast high-level web crawling & scraping framework for Python.
A service daemon to run Scrapy spiders
A pure-python HTML screen-scraping library
Scrapy project to scrape public web directories (educational) [DEPRECATED]
This is a sample Scrapy project for educational purposes
Parsel lets you extract data from XML/HTML documents using XPath or CSS selectors
Command line client for Scrapyd server
Python library of web-related functions
CSS Selectors for Python
Collection of persistent (disk-based) and non-persistent (memory-based) queues for Python
Fill HTML login forms automatically
Bu depo için açıklama sağlanmadı.
A pure-Python robots.txt parser with support for modern conventions.
Common interface for data container classes
The scrapy.org website (old code)
Library to populate items using XPath and CSS with a convenient API
A crawler for http://books.toscrape.com
A CLI for benchmarking Scrapy.
A linter for Scrapy projects.
Performance-focused replacement for Python urllib
A fork of http://pydispatcher.sourceforge.net/ with PyPy support
https://mimesniff.spec.whatwg.org/ implementation for Python
base component forked from Chromium source https://chromium.googlesource.com/chromium/src/base/
[Archived] Library to populate Scrapy items using XPath and CSS with a convenient API
Python library to build HTTP requests out of HTML forms
url component from Chromium source code, forked from https://chromium.googlesource.com/chromium/src/url
GSoC2014 - Scrapy Integration tests project
Codespeed for scrapy-bench
Sphinx extension for documentation in the Scrapy ecosystem
Scrapy, web tarama ve veri kazıma üzerine odaklanan projeler geliştirmektedir. Özellikle scrapy, scrapyd ve parsel gibi önemli kütüphaneler, kullanıcıların web verileriyle etkili bir şekilde çalışmasını sağlamaktadır.
Scrapy, başlıca Python, HTML, C++ ve Shell gibi programlama dillerini kullanmaktadır. Bu diller, projelerin geliştirilmesinde ve veri işleme süreçlerinde önemli rol oynamaktadır.
Evet, Scrapy'nin GitHub üzerindeki tüm depoları halka açıktır. Kullanıcılar, bu depolar aracılığıyla projelere katkıda bulunabilir veya kaynak kodunu inceleyebilir.
Scrapy project ile RepoGuard'ı izleyin ve yeni bir kamu deposu belirdiğinde anında uyarı alın.
Bu hesabı izleyin