An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way.
29
सार्वजनिक रिपोजिटरी
74,276
कुल सितारे
808
अनुयायी
Scrapy, एक ओपन सोर्स और सहयोगी ढांचा है जो वेबसाइटों से डेटा निकालने के लिए प्रयोग किया जाता है। इसके GitHub खाते में Python, HTML, और C++ जैसी प्रमुख भाषाएँ शामिल हैं। Scrapy का मुख्य प्रोजेक्ट, scrapy, एक तेज़ वेब क्रॉलिंग और स्क्रैपिंग फ्रेमवर्क है, जो कई अन्य महत्वपूर्ण प्रोजेक्ट्स जैसे scrapyd और scrapely के साथ उपलब्ध है।
शीर्ष भाषाएँ
सार्वजनिक रिपोजिटरी
scrapy
Scrapy, a fast high-level web crawling & scraping framework for Python.
scrapyd
A service daemon to run Scrapy spiders
scrapely
A pure-python HTML screen-scraping library
dirbot
Scrapy project to scrape public web directories (educational) [DEPRECATED]
quotesbot
This is a sample Scrapy project for educational purposes
parsel
Parsel lets you extract data from XML/HTML documents using XPath or CSS selectors
scrapyd-client
Command line client for Scrapyd server
w3lib
Python library of web-related functions
cssselect
CSS Selectors for Python
queuelib
Collection of persistent (disk-based) and non-persistent (memory-based) queues for Python
loginform
Fill HTML login forms automatically
slybot
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
protego
A pure-Python robots.txt parser with support for modern conventions.
itemadapter
Common interface for data container classes
scrapy.org
The scrapy.org website (old code)
itemloaders
Library to populate items using XPath and CSS with a convenient API
booksbot
A crawler for http://books.toscrape.com
scrapy-bench
A CLI for benchmarking Scrapy.
scrapy-lint
A linter for Scrapy projects.
scurl
Performance-focused replacement for Python urllib
pypydispatcher
A fork of http://pydispatcher.sourceforge.net/ with PyPy support
xtractmime
https://mimesniff.spec.whatwg.org/ implementation for Python
base-chromium
base component forked from Chromium source https://chromium.googlesource.com/chromium/src/base/
scrapy-itemloader
[Archived] Library to populate Scrapy items using XPath and CSS with a convenient API
form2request
Python library to build HTTP requests out of HTML forms
url-chromium
url component from Chromium source code, forked from https://chromium.googlesource.com/chromium/src/url
gsoc2014-integration-tests
GSoC2014 - Scrapy Integration tests project
scrapy-bench-speedcenter
Codespeed for scrapy-bench
sphinx-scrapy
Sphinx extension for documentation in the Scrapy ecosystem
अक्सर पूछे जाने वाले प्रश्न
scrapy GitHub पर क्या बनाता है?
Scrapy GitHub पर वेब क्रॉलिंग और स्क्रैपिंग के लिए कई प्रोजेक्ट्स बनाता है, जिसमें scrapy, scrapyd, और scrapely शामिल हैं। ये प्रोजेक्ट्स डेटा निकालने की प्रक्रिया को सरल और प्रभावी बनाते हैं।
scrapy किन प्रोग्रामिंग भाषाओं का उपयोग करता है?
Scrapy मुख्य रूप से Python, HTML, C++, DIGITAL Command Language और Shell जैसी प्रोग्रामिंग भाषाओं का उपयोग करता है। यह विविधता इसे विभिन्न प्रकार के प्रोजेक्ट्स के लिए उपयुक्त बनाती है।
क्या scrapy के रिपोजिटरी सार्वजनिक हैं?
हाँ, scrapy के सभी रिपोजिटरी सार्वजनिक हैं। ये GitHub पर उपलब्ध हैं, जिससे कोई भी इनका उपयोग कर सकता है या इनमें योगदान दे सकता है।
क्या यह एक्सपोजर इरादा है?
RepoGuard के साथ Scrapy project की निगरानी करें और जैसे ही एक नया सार्वजनिक रिपोजिटरी बनता है, सूचित हों।
इस खाते की निगरानी करें