vllm-project का सार्वजनिक GitHub उपस्थिति कई महत्वपूर्ण प्रोजेक्ट्स के साथ है, जिसमें vllm, vllm-omni, और aibrix शामिल हैं। यह संगठन मुख्य रूप से Python, C++, Rust, Go, HTML, और TypeScript जैसी भाषाओं का उपयोग करता है। vllm-project के प्रोजेक्ट्स उच्च-थ्रूपुट और मेमोरी-कुशल इंफेरेंस और सर्विंग के लिए जाने जाते हैं।
शीर्ष भाषाएँ
सार्वजनिक रिपोजिटरी
vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
vllm-omni
A framework for efficient model inference with omni-modality models
aibrix
Cost-efficient and pluggable Infrastructure components for GenAI inference
semantic-router
System Level Intelligent Router for Mixture-of-Models at Cloud, Data Center and Edge
llm-compressor
Transformers-compatible library for applying various compression algorithms to LLMs for optimized deployment with vLLM
production-stack
vLLM’s reference system for K8S-native cluster-wide deployment with community-driven performance optimization
vllm-ascend
Community maintained hardware plugin for vLLM on Ascend
vllm-metal
Community maintained hardware plugin for vLLM on Apple Silicon
guidellm
Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs
recipes
Common recipes to run vLLM
speculators
A unified library for building, evaluating, and storing speculative decoding algorithms for LLM inference in vLLM
tpu-inference
TPU inference for vLLM, with unified JAX and PyTorch support.
compressed-tensors
A safetensors extension to efficiently store sparse quantized tensors on disk
router
A high-performance and light-weight router for vLLM large scale deployment
vime
An LLM post-training framework with vLLM for RL Scaling
flash-attention
Fast and memory-efficient exact attention
vllm-skills
Agent skills for vLLM
vllm-openvino
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
vllm-daily
vLLM Daily Summarization of Merged PRs
vllm-xpu-kernels
The vLLM XPU kernels for Intel GPU
vllm-project.github.io
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
ci-infra
This repo hosts code for vLLM CI & Performance Benchmark infrastructure.
vllm-gaudi
Community maintained hardware plugin for vLLM on Intel Gaudi
agentic-api
Stateful API logic for agentic applications using vLLM
vllm-neuron
Community maintained hardware plugin for vLLM on AWS Neuron
dllm-plugin
vLLM plugin for block-based diffusion language model (dLLM) support
vllm-nccl
Manages vllm-nccl dependency
FlashMLA
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
bart-plugin
vLLM Model plugin for the encoder-decoder BART model
vLLM-in-PyTorch-Conference-2025
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
media-kit
vLLM Logo Assets
vllm-project.github.io-static
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
vllm-gguf-plugin
vLLM Quantization plugin for GGUF
perf-eval
Performance benchmark & accuracy evaluation for vLLM
vllm-dashboard
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
perf-dashboard
Performance dashboard for vLLM
vllm-bnb-plugin
vLLM Quantization plugin for bitsandbytes
rfcs
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
MSA
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
DeepGEMM
DeepGEMM: clean and efficient FP8 GEMM kernels with fine-grained scaling
vllm-docs
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
llm-multimodal
Standalone fork of llm-multimodal from SMG
अक्सर पूछे जाने वाले प्रश्न
vllm-project GitHub पर क्या बनाता है?
vllm-project GitHub पर उच्च-थ्रूपुट और मेमोरी-कुशल इंजीनियरिंग से संबंधित कई प्रोजेक्ट्स बनाता है, जैसे कि vllm और vllm-omni। ये प्रोजेक्ट्स LLMs के लिए इंफेरेंस और सर्विंग को अनुकूलित करते हैं।
vllm-project कौन सी प्रोग्रामिंग भाषाएँ उपयोग करता है?
vllm-project मुख्य रूप से Python, C++, Rust, Go, HTML और TypeScript जैसी प्रोग्रामिंग भाषाओं का उपयोग करता है। ये भाषाएँ इनके प्रोजेक्ट्स की विविधता और कार्यक्षमता में योगदान करती हैं।
क्या vllm-project के रिपॉजिटरी सार्वजनिक हैं?
हाँ, vllm-project के सभी रिपॉजिटरी सार्वजनिक हैं। यह संगठन GitHub पर अपने काम को साझा करता है, जिससे अन्य डेवलपर्स को सहयोग और उपयोग करने का अवसर मिलता है।
क्या यह एक्सपोजर इरादा है?
RepoGuard के साथ vLLM की निगरानी करें और जैसे ही एक नया सार्वजनिक रिपोजिटरी बनता है, सूचित हों।
इस खाते की निगरानी करें