RepoGuard
Diperbarui 10 h ago
Scrapy project

Organization

Jejak publik GitHub Scrapy project

@scrapy
Lihat profil di GitHub

An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way.

29

Repositori publik

74.276

Total bintang

808

Pengikut

Scrapy adalah organisasi di GitHub yang berfokus pada pengembangan kerangka kerja open source untuk ekstraksi data dari situs web. Dengan menggunakan bahasa pemrograman seperti Python, HTML, dan C++, Scrapy memiliki berbagai repositori publik, termasuk proyek notable seperti scrapy dan scrapyd, yang banyak digunakan dalam pengembangan web crawling dan scraping.

Bahasa teratas

Python 22HTML 2C++ 2DIGITAL Command Language 1Shell 1

Repositori publik

scrapy

62.224

Scrapy, a fast high-level web crawling & scraping framework for Python.

Python
Diperbarui 13 Jun 2026

scrapyd

3.094

A service daemon to run Scrapy spiders

Python
Diperbarui 13 Jun 2026

scrapely

1.888

A pure-python HTML screen-scraping library

HTML
Diperbarui 9 Jun 2026

dirbot

1.628

Scrapy project to scrape public web directories (educational) [DEPRECATED]

Python
Diperbarui 12 Jun 2026

quotesbot

1.357

This is a sample Scrapy project for educational purposes

Python
Diperbarui 8 Jun 2026

parsel

1.333

Parsel lets you extract data from XML/HTML documents using XPath or CSS selectors

Python
Diperbarui 11 Jun 2026

scrapyd-client

773

Command line client for Scrapyd server

Python
Diperbarui 3 Jun 2026

w3lib

419

Python library of web-related functions

Python
Diperbarui 10 Jun 2026

cssselect

309

CSS Selectors for Python

Python
Diperbarui 1 Jun 2026

queuelib

299

Collection of persistent (disk-based) and non-persistent (memory-based) queues for Python

Python
Diperbarui 1 Jun 2026

loginform

279

Fill HTML login forms automatically

Python
Diperbarui 29 Mar 2026

slybot

224

Tidak ada deskripsi yang diberikan untuk repositori ini.

Bahasa Tidak Dikenal
Diperbarui 12 Jun 2026

protego

88

A pure-Python robots.txt parser with support for modern conventions.

DIGITAL Command Language
Diperbarui 11 Jun 2026

itemadapter

70

Common interface for data container classes

Python
Diperbarui 1 Jun 2026

scrapy.org

66

The scrapy.org website (old code)

HTML
Diperbarui 3 Jun 2026

itemloaders

49

Library to populate items using XPath and CSS with a convenient API

Python
Diperbarui 2 Jun 2026

booksbot

42

A crawler for http://books.toscrape.com

Python
Diperbarui 8 Des 2025

scrapy-bench

32

A CLI for benchmarking Scrapy.

Python
Diperbarui 15 Sep 2025

scrapy-lint

22

A linter for Scrapy projects.

Python
Diperbarui 15 Apr 2026

scurl

21

Performance-focused replacement for Python urllib

Python
Diperbarui 26 Mei 2026

pypydispatcher

16

A fork of http://pydispatcher.sourceforge.net/ with PyPy support

Python
Diperbarui 12 Jun 2024

xtractmime

13

https://mimesniff.spec.whatwg.org/ implementation for Python

Python
Diperbarui 10 Jun 2026

base-chromium

8

base component forked from Chromium source https://chromium.googlesource.com/chromium/src/base/

C++
Diperbarui 10 Mar 2026

scrapy-itemloader

7

[Archived] Library to populate Scrapy items using XPath and CSS with a convenient API

Python
Diperbarui 10 Mar 2026

form2request

5

Python library to build HTTP requests out of HTML forms

Python
Diperbarui 12 Jun 2026

url-chromium

4

url component from Chromium source code, forked from https://chromium.googlesource.com/chromium/src/url

C++
Diperbarui 10 Mar 2026

gsoc2014-integration-tests

3

GSoC2014 - Scrapy Integration tests project

Shell
Diperbarui 6 Jul 2017

scrapy-bench-speedcenter

2

Codespeed for scrapy-bench

Python
Diperbarui 26 Mei 2026

sphinx-scrapy

1

Sphinx extension for documentation in the Scrapy ecosystem

Python
Diperbarui 11 Jun 2026

Pertanyaan yang sering diajukan

Apa yang dibangun oleh scrapy di GitHub?

Scrapy membangun berbagai proyek yang mendukung ekstraksi data dari web, termasuk repositori terkenal seperti scrapy untuk web crawling dan scrapyd sebagai daemon layanan untuk menjalankan spider Scrapy.

Bahasa pemrograman apa yang digunakan oleh scrapy?

Scrapy menggunakan beberapa bahasa pemrograman dalam proyeknya, dengan fokus utama pada Python, HTML, C++, DIGITAL Command Language, dan Shell untuk mendukung berbagai fitur dan fungsi dalam ekstraksi data.

Apakah repositori scrapy bersifat publik?

Ya, semua repositori yang dimiliki oleh scrapy di GitHub bersifat publik. Ini memungkinkan kolaborasi dan aksesibilitas bagi pengembang lain yang tertarik dalam proyek ekstraksi data dan web scraping.

Apakah paparan ini dimaksudkan?

Pantau Scrapy project dengan RepoGuard dan dapatkan pemberitahuan saat repositori publik baru muncul.

Pantau akun ini