An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way.
29
Publieke repositories
74.276
Totaal aantal sterren
808
Volgers
Het Scrapy-project heeft een breed scala aan openbare repositories op GitHub, met een focus op webscraping en gegevensextractie. De belangrijkste programmeertalen die worden gebruikt zijn Python, HTML en C++. Enkele opmerkelijke repositories zijn scrapy, scrapyd en parsel, die veelvuldig worden gebruikt in de ontwikkeling van webtoepassingen.
Top talen
Publieke repositories
scrapy
Scrapy, a fast high-level web crawling & scraping framework for Python.
scrapyd
A service daemon to run Scrapy spiders
scrapely
A pure-python HTML screen-scraping library
dirbot
Scrapy project to scrape public web directories (educational) [DEPRECATED]
quotesbot
This is a sample Scrapy project for educational purposes
parsel
Parsel lets you extract data from XML/HTML documents using XPath or CSS selectors
scrapyd-client
Command line client for Scrapyd server
w3lib
Python library of web-related functions
cssselect
CSS Selectors for Python
queuelib
Collection of persistent (disk-based) and non-persistent (memory-based) queues for Python
loginform
Fill HTML login forms automatically
slybot
Geen beschrijving gegeven voor deze repository.
protego
A pure-Python robots.txt parser with support for modern conventions.
itemadapter
Common interface for data container classes
scrapy.org
The scrapy.org website (old code)
itemloaders
Library to populate items using XPath and CSS with a convenient API
booksbot
A crawler for http://books.toscrape.com
scrapy-bench
A CLI for benchmarking Scrapy.
scrapy-lint
A linter for Scrapy projects.
scurl
Performance-focused replacement for Python urllib
pypydispatcher
A fork of http://pydispatcher.sourceforge.net/ with PyPy support
xtractmime
https://mimesniff.spec.whatwg.org/ implementation for Python
base-chromium
base component forked from Chromium source https://chromium.googlesource.com/chromium/src/base/
scrapy-itemloader
[Archived] Library to populate Scrapy items using XPath and CSS with a convenient API
form2request
Python library to build HTTP requests out of HTML forms
url-chromium
url component from Chromium source code, forked from https://chromium.googlesource.com/chromium/src/url
gsoc2014-integration-tests
GSoC2014 - Scrapy Integration tests project
scrapy-bench-speedcenter
Codespeed for scrapy-bench
sphinx-scrapy
Sphinx extension for documentation in the Scrapy ecosystem
Veelgestelde vragen
Wat bouwt scrapy op GitHub?
Scrapy ontwikkelt een open source framework voor webscraping en gegevensextractie. Het biedt verschillende repositories zoals scrapy, scrapyd en parsel, die samen een uitgebreide toolkit vormen voor ontwikkelaars.
Welke programmeertalen gebruikt scrapy?
De primaire programmeertalen die door scrapy worden gebruikt zijn Python, HTML, C++, DIGITAL Command Language en Shell. Dit maakt het mogelijk om complexe webscraping-taken efficiënt uit te voeren.
Zijn de repositories van scrapy openbaar?
Ja, alle repositories van scrapy zijn openbaar op GitHub. Dit stelt ontwikkelaars in staat om de code te bekijken, bij te dragen aan projecten en de tools te gebruiken voor hun eigen toepassingen.
Is deze blootstelling bedoeld?
Monitor Scrapy project met RepoGuard en krijg een waarschuwing op het moment dat er een nieuwe publieke repository verschijnt.
Monitor dit account