RepoGuard
Обновлено 10 h ago
Scrapy project

Organization

Публичный след на GitHub Scrapy project

@scrapy
Просмотреть профиль на GitHub

An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way.

29

Публичные репозитории

74 276

Всего звезд

808

Подписчики

Организация Scrapy на GitHub представляет собой обширный набор репозиториев, включая такие проекты, как Scrapy, Scrapyd и Parsel. Основные языки программирования, используемые в их репозиториях, включают Python, HTML и C++. Эти проекты нацелены на упрощение извлечения данных из веб-сайтов.

Основные языки

Python 22HTML 2C++ 2DIGITAL Command Language 1Shell 1

Публичные репозитории

scrapy

62 224

Scrapy, a fast high-level web crawling & scraping framework for Python.

Python
Обновлено 13 июн. 2026 г.

scrapyd

3 094

A service daemon to run Scrapy spiders

Python
Обновлено 13 июн. 2026 г.

scrapely

1 888

A pure-python HTML screen-scraping library

HTML
Обновлено 9 июн. 2026 г.

dirbot

1 628

Scrapy project to scrape public web directories (educational) [DEPRECATED]

Python
Обновлено 12 июн. 2026 г.

quotesbot

1 357

This is a sample Scrapy project for educational purposes

Python
Обновлено 8 июн. 2026 г.

parsel

1 333

Parsel lets you extract data from XML/HTML documents using XPath or CSS selectors

Python
Обновлено 11 июн. 2026 г.

scrapyd-client

773

Command line client for Scrapyd server

Python
Обновлено 3 июн. 2026 г.

w3lib

419

Python library of web-related functions

Python
Обновлено 10 июн. 2026 г.

cssselect

309

CSS Selectors for Python

Python
Обновлено 1 июн. 2026 г.

queuelib

299

Collection of persistent (disk-based) and non-persistent (memory-based) queues for Python

Python
Обновлено 1 июн. 2026 г.

loginform

279

Fill HTML login forms automatically

Python
Обновлено 29 мар. 2026 г.

slybot

224

Описание для этого репозитория не предоставлено.

Неизвестный язык
Обновлено 12 июн. 2026 г.

protego

88

A pure-Python robots.txt parser with support for modern conventions.

DIGITAL Command Language
Обновлено 11 июн. 2026 г.

itemadapter

70

Common interface for data container classes

Python
Обновлено 1 июн. 2026 г.

scrapy.org

66

The scrapy.org website (old code)

HTML
Обновлено 3 июн. 2026 г.

itemloaders

49

Library to populate items using XPath and CSS with a convenient API

Python
Обновлено 2 июн. 2026 г.

booksbot

42

A crawler for http://books.toscrape.com

Python
Обновлено 8 дек. 2025 г.

scrapy-bench

32

A CLI for benchmarking Scrapy.

Python
Обновлено 15 сент. 2025 г.

scrapy-lint

22

A linter for Scrapy projects.

Python
Обновлено 15 апр. 2026 г.

scurl

21

Performance-focused replacement for Python urllib

Python
Обновлено 26 мая 2026 г.

pypydispatcher

16

A fork of http://pydispatcher.sourceforge.net/ with PyPy support

Python
Обновлено 12 июн. 2024 г.

xtractmime

13

https://mimesniff.spec.whatwg.org/ implementation for Python

Python
Обновлено 10 июн. 2026 г.

base-chromium

8

base component forked from Chromium source https://chromium.googlesource.com/chromium/src/base/

C++
Обновлено 10 мар. 2026 г.

scrapy-itemloader

7

[Archived] Library to populate Scrapy items using XPath and CSS with a convenient API

Python
Обновлено 10 мар. 2026 г.

form2request

5

Python library to build HTTP requests out of HTML forms

Python
Обновлено 12 июн. 2026 г.

url-chromium

4

url component from Chromium source code, forked from https://chromium.googlesource.com/chromium/src/url

C++
Обновлено 10 мар. 2026 г.

gsoc2014-integration-tests

3

GSoC2014 - Scrapy Integration tests project

Shell
Обновлено 6 июл. 2017 г.

scrapy-bench-speedcenter

2

Codespeed for scrapy-bench

Python
Обновлено 26 мая 2026 г.

sphinx-scrapy

1

Sphinx extension for documentation in the Scrapy ecosystem

Python
Обновлено 11 июн. 2026 г.

Часто задаваемые вопросы

Что разрабатывает scrapy на GitHub?

Scrapy разрабатывает фреймворк для веб-скрейпинга и краулинга, а также инструменты, такие как Scrapyd для управления пауками. Их репозитории содержат решения для извлечения и обработки данных с веб-сайтов.

Какие языки программирования использует scrapy?

Scrapy в основном использует Python, но также включает HTML, C++, DIGITAL Command Language и Shell. Это разнообразие языков позволяет разработать эффективные инструменты для веб-скрейпинга.

Являются ли репозитории scrapy публичными?

Да, все репозитории организации Scrapy на GitHub являются публичными. Это позволяет разработчикам и исследователям изучать, использовать и вносить вклад в их проекты.

Это раскрытие намеренно?

Следите за Scrapy project с помощью RepoGuard и получайте уведомления в момент появления нового публичного репозитория.

Следить за этим аккаунтом