An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way.
29
Öffentliche Repositories
74.276
Sterne gesamt
808
Follower
Das Scrapy-Projekt ist eine Organisation auf GitHub, die ein Open-Source-Framework für das Scraping von Websites bereitstellt. Die öffentliche Präsenz umfasst eine Vielzahl von Repositories, die hauptsächlich in Python, HTML und C++ entwickelt wurden. Zu den bemerkenswerten Projekten gehören Scrapy, scrapyd und parsel, die von vielen Entwicklern genutzt werden.
Top-Sprachen
Öffentliche Repositories
scrapy
Scrapy, a fast high-level web crawling & scraping framework for Python.
scrapyd
A service daemon to run Scrapy spiders
scrapely
A pure-python HTML screen-scraping library
dirbot
Scrapy project to scrape public web directories (educational) [DEPRECATED]
quotesbot
This is a sample Scrapy project for educational purposes
parsel
Parsel lets you extract data from XML/HTML documents using XPath or CSS selectors
scrapyd-client
Command line client for Scrapyd server
w3lib
Python library of web-related functions
cssselect
CSS Selectors for Python
queuelib
Collection of persistent (disk-based) and non-persistent (memory-based) queues for Python
loginform
Fill HTML login forms automatically
slybot
Keine Beschreibung für dieses Repository vorhanden.
protego
A pure-Python robots.txt parser with support for modern conventions.
itemadapter
Common interface for data container classes
scrapy.org
The scrapy.org website (old code)
itemloaders
Library to populate items using XPath and CSS with a convenient API
booksbot
A crawler for http://books.toscrape.com
scrapy-bench
A CLI for benchmarking Scrapy.
scrapy-lint
A linter for Scrapy projects.
scurl
Performance-focused replacement for Python urllib
pypydispatcher
A fork of http://pydispatcher.sourceforge.net/ with PyPy support
xtractmime
https://mimesniff.spec.whatwg.org/ implementation for Python
base-chromium
base component forked from Chromium source https://chromium.googlesource.com/chromium/src/base/
scrapy-itemloader
[Archived] Library to populate Scrapy items using XPath and CSS with a convenient API
form2request
Python library to build HTTP requests out of HTML forms
url-chromium
url component from Chromium source code, forked from https://chromium.googlesource.com/chromium/src/url
gsoc2014-integration-tests
GSoC2014 - Scrapy Integration tests project
scrapy-bench-speedcenter
Codespeed for scrapy-bench
sphinx-scrapy
Sphinx extension for documentation in the Scrapy ecosystem
Häufige Fragen
Welche Programmiersprachen verwendet scrapy?
Die Repositories von scrapy sind hauptsächlich in Python, HTML, C++, DIGITAL Command Language und Shell geschrieben. Diese Sprachen unterstützen die Entwicklung von Tools zum Web-Scraping und zur Datenextraktion.
Was entwickelt scrapy auf GitHub?
Scrapy entwickelt eine Reihe von Tools und Bibliotheken, die sich auf Web-Crawling und Scraping konzentrieren. Zu den bekanntesten Projekten gehören Scrapy, scrapyd und scrapely, die eine breite Palette von Funktionen bieten.
Sind die Repositories von scrapy öffentlich?
Ja, die Repositories von scrapy sind öffentlich zugänglich. Jeder kann die Projekte einsehen, nutzen und zur Verbesserung beitragen, was die Zusammenarbeit und den Austausch in der Entwicklergemeinschaft fördert.
Ist diese Sichtbarkeit gewollt?
Überwache Scrapy project mit RepoGuard und werde benachrichtigt, sobald ein neues öffentliches Repository auftaucht.
Diesen Account überwachen