L'organisation vllm-project sur GitHub se concentre sur le développement d'outils pour l'inférence et le déploiement des modèles d'apprentissage automatique. Elle possède plusieurs répertoires publics écrits principalement en Python, C++, Rust, et Go, avec des projets notables tels que vllm et vllm-omni, qui sont largement utilisés dans la communauté.
Langues principales
Dépôts publics
vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
vllm-omni
A framework for efficient model inference with omni-modality models
aibrix
Cost-efficient and pluggable Infrastructure components for GenAI inference
semantic-router
System Level Intelligent Router for Mixture-of-Models at Cloud, Data Center and Edge
llm-compressor
Transformers-compatible library for applying various compression algorithms to LLMs for optimized deployment with vLLM
production-stack
vLLM’s reference system for K8S-native cluster-wide deployment with community-driven performance optimization
vllm-ascend
Community maintained hardware plugin for vLLM on Ascend
vllm-metal
Community maintained hardware plugin for vLLM on Apple Silicon
guidellm
Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs
recipes
Common recipes to run vLLM
speculators
A unified library for building, evaluating, and storing speculative decoding algorithms for LLM inference in vLLM
tpu-inference
TPU inference for vLLM, with unified JAX and PyTorch support.
compressed-tensors
A safetensors extension to efficiently store sparse quantized tensors on disk
router
A high-performance and light-weight router for vLLM large scale deployment
vime
An LLM post-training framework with vLLM for RL Scaling
flash-attention
Fast and memory-efficient exact attention
vllm-skills
Agent skills for vLLM
vllm-openvino
Aucune description fournie pour ce dépôt.
vllm-daily
vLLM Daily Summarization of Merged PRs
vllm-xpu-kernels
The vLLM XPU kernels for Intel GPU
vllm-project.github.io
Aucune description fournie pour ce dépôt.
ci-infra
This repo hosts code for vLLM CI & Performance Benchmark infrastructure.
vllm-gaudi
Community maintained hardware plugin for vLLM on Intel Gaudi
agentic-api
Stateful API logic for agentic applications using vLLM
vllm-neuron
Community maintained hardware plugin for vLLM on AWS Neuron
dllm-plugin
vLLM plugin for block-based diffusion language model (dLLM) support
vllm-nccl
Manages vllm-nccl dependency
FlashMLA
Aucune description fournie pour ce dépôt.
bart-plugin
vLLM Model plugin for the encoder-decoder BART model
vLLM-in-PyTorch-Conference-2025
Aucune description fournie pour ce dépôt.
media-kit
vLLM Logo Assets
vllm-project.github.io-static
Aucune description fournie pour ce dépôt.
vllm-gguf-plugin
vLLM Quantization plugin for GGUF
perf-eval
Performance benchmark & accuracy evaluation for vLLM
vllm-dashboard
Aucune description fournie pour ce dépôt.
perf-dashboard
Performance dashboard for vLLM
vllm-bnb-plugin
vLLM Quantization plugin for bitsandbytes
rfcs
Aucune description fournie pour ce dépôt.
MSA
Aucune description fournie pour ce dépôt.
DeepGEMM
DeepGEMM: clean and efficient FP8 GEMM kernels with fine-grained scaling
vllm-docs
Aucune description fournie pour ce dépôt.
llm-multimodal
Standalone fork of llm-multimodal from SMG
Questions fréquemment posées
Que construit vllm-project sur GitHub ?
vllm-project développe des outils et des frameworks pour l'inférence de modèles d'apprentissage automatique. Ses principaux projets incluent vllm, un moteur d'inférence efficace, et vllm-omni, un cadre pour l'inférence de modèles omni-modaux.
Quelles langues de programmation utilise vllm-project ?
vllm-project utilise principalement Python, C++, Rust, et Go pour ses développements. Ces langages sont adaptés à la création d'outils performants pour l'inférence de modèles d'apprentissage automatique.
Les dépôts de vllm-project sont-ils publics ?
Oui, tous les dépôts de vllm-project sur GitHub sont publics. Cela permet à la communauté de consulter, d'utiliser et de contribuer aux projets liés à l'inférence et au déploiement des modèles d'apprentissage automatique.
Cette exposition est-elle intentionnelle ?
Surveillez vLLM avec RepoGuard et soyez alerté dès qu'un nouveau dépôt public apparaît.
Surveiller ce compte