RepoGuard
Đã cập nhật 10 h ago
Scrapy project

Organization

Dấu chân GitHub công khai của Scrapy project

@scrapy
Xem hồ sơ trên GitHub

An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way.

29

Kho lưu trữ công khai

74.276

Tổng số sao

808

Người theo dõi

Tài khoản GitHub của tổ chức Scrapy có nhiều kho mã nguồn mở phục vụ cho việc trích xuất dữ liệu từ các trang web. Các ngôn ngữ chính được sử dụng bao gồm Python, HTML và C++. Một số kho nổi bật như scrapy, scrapyd và scrapely thể hiện sự đa dạng trong các dự án của họ.

Ngôn ngữ hàng đầu

Python 22HTML 2C++ 2DIGITAL Command Language 1Shell 1

Kho lưu trữ công khai

scrapy

62.224

Scrapy, a fast high-level web crawling & scraping framework for Python.

Python
Đã cập nhật 13 thg 6, 2026

scrapyd

3.094

A service daemon to run Scrapy spiders

Python
Đã cập nhật 13 thg 6, 2026

scrapely

1.888

A pure-python HTML screen-scraping library

HTML
Đã cập nhật 9 thg 6, 2026

dirbot

1.628

Scrapy project to scrape public web directories (educational) [DEPRECATED]

Python
Đã cập nhật 12 thg 6, 2026

quotesbot

1.357

This is a sample Scrapy project for educational purposes

Python
Đã cập nhật 8 thg 6, 2026

parsel

1.333

Parsel lets you extract data from XML/HTML documents using XPath or CSS selectors

Python
Đã cập nhật 11 thg 6, 2026

scrapyd-client

773

Command line client for Scrapyd server

Python
Đã cập nhật 3 thg 6, 2026

w3lib

419

Python library of web-related functions

Python
Đã cập nhật 10 thg 6, 2026

cssselect

309

CSS Selectors for Python

Python
Đã cập nhật 1 thg 6, 2026

queuelib

299

Collection of persistent (disk-based) and non-persistent (memory-based) queues for Python

Python
Đã cập nhật 1 thg 6, 2026

loginform

279

Fill HTML login forms automatically

Python
Đã cập nhật 29 thg 3, 2026

slybot

224

Không có mô tả nào được cung cấp cho kho lưu trữ này.

Ngôn ngữ không xác định
Đã cập nhật 12 thg 6, 2026

protego

88

A pure-Python robots.txt parser with support for modern conventions.

DIGITAL Command Language
Đã cập nhật 11 thg 6, 2026

itemadapter

70

Common interface for data container classes

Python
Đã cập nhật 1 thg 6, 2026

scrapy.org

66

The scrapy.org website (old code)

HTML
Đã cập nhật 3 thg 6, 2026

itemloaders

49

Library to populate items using XPath and CSS with a convenient API

Python
Đã cập nhật 2 thg 6, 2026

booksbot

42

A crawler for http://books.toscrape.com

Python
Đã cập nhật 8 thg 12, 2025

scrapy-bench

32

A CLI for benchmarking Scrapy.

Python
Đã cập nhật 15 thg 9, 2025

scrapy-lint

22

A linter for Scrapy projects.

Python
Đã cập nhật 15 thg 4, 2026

scurl

21

Performance-focused replacement for Python urllib

Python
Đã cập nhật 26 thg 5, 2026

pypydispatcher

16

A fork of http://pydispatcher.sourceforge.net/ with PyPy support

Python
Đã cập nhật 12 thg 6, 2024

xtractmime

13

https://mimesniff.spec.whatwg.org/ implementation for Python

Python
Đã cập nhật 10 thg 6, 2026

base-chromium

8

base component forked from Chromium source https://chromium.googlesource.com/chromium/src/base/

C++
Đã cập nhật 10 thg 3, 2026

scrapy-itemloader

7

[Archived] Library to populate Scrapy items using XPath and CSS with a convenient API

Python
Đã cập nhật 10 thg 3, 2026

form2request

5

Python library to build HTTP requests out of HTML forms

Python
Đã cập nhật 12 thg 6, 2026

url-chromium

4

url component from Chromium source code, forked from https://chromium.googlesource.com/chromium/src/url

C++
Đã cập nhật 10 thg 3, 2026

gsoc2014-integration-tests

3

GSoC2014 - Scrapy Integration tests project

Shell
Đã cập nhật 6 thg 7, 2017

scrapy-bench-speedcenter

2

Codespeed for scrapy-bench

Python
Đã cập nhật 26 thg 5, 2026

sphinx-scrapy

1

Sphinx extension for documentation in the Scrapy ecosystem

Python
Đã cập nhật 11 thg 6, 2026

Câu hỏi thường gặp

Scrapy xây dựng gì trên GitHub?

Scrapy chủ yếu xây dựng các thư viện và công cụ hỗ trợ cho việc thu thập dữ liệu từ web. Các dự án như scrapy và scrapyd cung cấp khung và dịch vụ để chạy các spider thu thập dữ liệu hiệu quả.

Ngôn ngữ lập trình nào được sử dụng trong dự án của Scrapy?

Scrapy sử dụng nhiều ngôn ngữ lập trình, với Python là ngôn ngữ chính. Ngoài ra, họ cũng sử dụng HTML, C++, DIGITAL Command Language và Shell trong các kho mã nguồn của mình.

Các kho mã nguồn của Scrapy có công khai không?

Có, tất cả các kho mã nguồn của Scrapy trên GitHub đều là công khai. Điều này cho phép cộng đồng đóng góp và sử dụng các công cụ mà họ phát triển để thu thập dữ liệu từ các trang web.

Liệu việc lộ thông tin này có dự định không?

Theo dõi Scrapy project với RepoGuard và nhận cảnh báo ngay khi có kho lưu trữ công khai mới xuất hiện.

Theo dõi tài khoản này