vllm-project는 GitHub에서 다양한 공개 리포지토리를 운영하는 조직입니다. 주요 프로그래밍 언어로는 Python, C++, Rust, Go, HTML, TypeScript가 있으며, vllm, vllm-omni, aibrix와 같은 주목할 만한 프로젝트들이 포함되어 있습니다. 이들은 LLM 모델의 효율적인 추론 및 배포를 위한 솔루션을 제공합니다.
주요 언어
공개 저장소
vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
vllm-omni
A framework for efficient model inference with omni-modality models
aibrix
Cost-efficient and pluggable Infrastructure components for GenAI inference
semantic-router
System Level Intelligent Router for Mixture-of-Models at Cloud, Data Center and Edge
llm-compressor
Transformers-compatible library for applying various compression algorithms to LLMs for optimized deployment with vLLM
production-stack
vLLM’s reference system for K8S-native cluster-wide deployment with community-driven performance optimization
vllm-ascend
Community maintained hardware plugin for vLLM on Ascend
vllm-metal
Community maintained hardware plugin for vLLM on Apple Silicon
guidellm
Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs
recipes
Common recipes to run vLLM
speculators
A unified library for building, evaluating, and storing speculative decoding algorithms for LLM inference in vLLM
tpu-inference
TPU inference for vLLM, with unified JAX and PyTorch support.
compressed-tensors
A safetensors extension to efficiently store sparse quantized tensors on disk
router
A high-performance and light-weight router for vLLM large scale deployment
vime
An LLM post-training framework with vLLM for RL Scaling
flash-attention
Fast and memory-efficient exact attention
vllm-skills
Agent skills for vLLM
vllm-openvino
이 저장소에 대한 설명이 제공되지 않았습니다.
vllm-daily
vLLM Daily Summarization of Merged PRs
vllm-xpu-kernels
The vLLM XPU kernels for Intel GPU
vllm-project.github.io
이 저장소에 대한 설명이 제공되지 않았습니다.
ci-infra
This repo hosts code for vLLM CI & Performance Benchmark infrastructure.
vllm-gaudi
Community maintained hardware plugin for vLLM on Intel Gaudi
agentic-api
Stateful API logic for agentic applications using vLLM
vllm-neuron
Community maintained hardware plugin for vLLM on AWS Neuron
dllm-plugin
vLLM plugin for block-based diffusion language model (dLLM) support
vllm-nccl
Manages vllm-nccl dependency
FlashMLA
이 저장소에 대한 설명이 제공되지 않았습니다.
bart-plugin
vLLM Model plugin for the encoder-decoder BART model
vLLM-in-PyTorch-Conference-2025
이 저장소에 대한 설명이 제공되지 않았습니다.
media-kit
vLLM Logo Assets
vllm-project.github.io-static
이 저장소에 대한 설명이 제공되지 않았습니다.
vllm-gguf-plugin
vLLM Quantization plugin for GGUF
perf-eval
Performance benchmark & accuracy evaluation for vLLM
vllm-dashboard
이 저장소에 대한 설명이 제공되지 않았습니다.
perf-dashboard
Performance dashboard for vLLM
vllm-bnb-plugin
vLLM Quantization plugin for bitsandbytes
rfcs
이 저장소에 대한 설명이 제공되지 않았습니다.
MSA
이 저장소에 대한 설명이 제공되지 않았습니다.
DeepGEMM
DeepGEMM: clean and efficient FP8 GEMM kernels with fine-grained scaling
vllm-docs
이 저장소에 대한 설명이 제공되지 않았습니다.
llm-multimodal
Standalone fork of llm-multimodal from SMG
자주 묻는 질문
vllm-project는 GitHub에서 무엇을 개발하나요?
vllm-project는 LLMs를 위한 추론 및 서빙 엔진을 비롯하여 다양한 모델 추론 프레임워크와 인프라 구성 요소를 개발합니다. 이들은 AI 및 머신러닝 분야에서 널리 사용되고 있습니다.
vllm-project에서 사용하는 프로그래밍 언어는 무엇인가요?
vllm-project의 주요 프로그래밍 언어는 Python, C++, Rust, Go, HTML, TypeScript입니다. 이러한 언어들은 다양한 프로젝트에서 효율적인 성능을 발휘하는 데 사용됩니다.
vllm-project의 리포지토리는 공개인가요?
네, vllm-project의 모든 리포지토리는 공개되어 있습니다. 이를 통해 사용자들은 다양한 프로젝트를 탐색하고 기여할 수 있습니다.