An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way.
29
Publiczne repozytoria
74 276
Łączna liczba gwiazdek
808
Obserwujący
Organizacja Scrapy na GitHubie prowadzi szereg projektów open source, które koncentrują się na ekstrakcji danych z witryn internetowych. Wśród jej publicznych repozytoriów znajdują się znane projekty, takie jak scrapy, scrapyd oraz parsel, które są napisane głównie w językach Python, HTML oraz C++. Ich obecność na GitHubie zwiększa widoczność i dostępność tych narzędzi dla społeczności programistycznej.
Najpopularniejsze języki
Publiczne repozytoria
scrapy
Scrapy, a fast high-level web crawling & scraping framework for Python.
scrapyd
A service daemon to run Scrapy spiders
scrapely
A pure-python HTML screen-scraping library
dirbot
Scrapy project to scrape public web directories (educational) [DEPRECATED]
quotesbot
This is a sample Scrapy project for educational purposes
parsel
Parsel lets you extract data from XML/HTML documents using XPath or CSS selectors
scrapyd-client
Command line client for Scrapyd server
w3lib
Python library of web-related functions
cssselect
CSS Selectors for Python
queuelib
Collection of persistent (disk-based) and non-persistent (memory-based) queues for Python
loginform
Fill HTML login forms automatically
slybot
Brak opisu dla tego repozytorium.
protego
A pure-Python robots.txt parser with support for modern conventions.
itemadapter
Common interface for data container classes
scrapy.org
The scrapy.org website (old code)
itemloaders
Library to populate items using XPath and CSS with a convenient API
booksbot
A crawler for http://books.toscrape.com
scrapy-bench
A CLI for benchmarking Scrapy.
scrapy-lint
A linter for Scrapy projects.
scurl
Performance-focused replacement for Python urllib
pypydispatcher
A fork of http://pydispatcher.sourceforge.net/ with PyPy support
xtractmime
https://mimesniff.spec.whatwg.org/ implementation for Python
base-chromium
base component forked from Chromium source https://chromium.googlesource.com/chromium/src/base/
scrapy-itemloader
[Archived] Library to populate Scrapy items using XPath and CSS with a convenient API
form2request
Python library to build HTTP requests out of HTML forms
url-chromium
url component from Chromium source code, forked from https://chromium.googlesource.com/chromium/src/url
gsoc2014-integration-tests
GSoC2014 - Scrapy Integration tests project
scrapy-bench-speedcenter
Codespeed for scrapy-bench
sphinx-scrapy
Sphinx extension for documentation in the Scrapy ecosystem
Najczęściej zadawane pytania
Co buduje scrapy na GitHubie?
Scrapy buduje framework do web scrapingu i crawlowania, który pozwala na łatwe i szybkie wydobywanie danych z różnych witryn internetowych. Wspiera wiele projektów, takich jak scrapy, scrapyd oraz parsel.
Jakie języki programowania wykorzystuje scrapy?
Scrapy głównie wykorzystuje język Python, ale także HTML, C++, DIGITAL Command Language oraz Shell. Te języki są używane do rozwoju różnych narzędzi i bibliotek dostępnych w repozytoriach organizacji.
Czy repozytoria scrapy są publiczne?
Tak, wszystkie repozytoria organizacji scrapy są publiczne na GitHubie. Dzięki temu społeczność programistyczna ma dostęp do ich kodu źródłowego oraz możliwości wnoszenia wkładu w rozwój projektów.
Czy to ujawnienie jest zamierzone?
Monitoruj Scrapy project z RepoGuard i otrzymuj powiadomienia w momencie, gdy pojawi się nowe publiczne repozytorium.
Monitoruj to konto