KVCache.AI is a joint research project between MADSys and top industry collaborators, focusing on efficient LLM serving.
15
公開リポジトリ
22,973
合計スター
1,146
フォロワー
kvcache-aiは、MADSysと業界の主要なコラボレーターによる共同研究プロジェクトで、効率的なLLMサービングに焦点を当てています。GitHub上では、Python、Cuda、C++、Go、JavaScriptを使用した多様なリポジトリを公開しており、特にktransformersやMooncakeなどの注目プロジェクトがあります。
主要な言語
公開リポジトリ
ktransformers
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
Mooncake
Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonshot AI.
TrEnv-X
このリポジトリに関する説明は提供されていません。
vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
kvcache-blog
このリポジトリに関する説明は提供されていません。
sglang
SGLang is a fast serving framework for large language models and vision language models.
custom_flashinfer
FlashInfer: Kernel Library for LLM Serving
DeepEP_fault_tolerance
DeepEP: an efficient expert-parallel communication library that supports fault tolerance
sglang_awq
SGLang is a fast serving framework for large language models and vision language models.
accelerate
🚀 A simple way to launch, train, and use PyTorch models on almost any device and distributed configuration, automatic mixed precision (including fp8), and easy-to-configure FSDP and DeepSpeed support
Model-Optimizer
A unified library of SOTA model optimization techniques like quantization, pruning, distillation, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
evalscope
A streamlined and customizable framework for efficient large model (LLM, VLM, AIGC) evaluation and performance benchmarking.
transformers
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
gpustack
GPU cluster manager for optimized AI model deployment
sglang-npu
SGLang is a fast serving framework for large language models and vision language models.
よくある質問
kvcache-aiはGitHubで何を構築していますか？
kvcache-aiは、LLMの効率的なサービングを目的としたさまざまなツールとフレームワークを開発しています。特にktransformersやMooncakeなどのリポジトリが注目されています。
kvcache-aiはどのプログラミング言語を使用していますか？
kvcache-aiは、主にPython、Cuda、C++、Go、JavaScriptを使用しています。これらの言語は、彼らのプロジェクトにおける効率的なLLMサービングに重要な役割を果たしています。
kvcache-aiのリポジトリは公開されていますか？
はい、kvcache-aiのリポジトリはすべて公開されています。これにより、他の開発者や研究者が彼らのプロジェクトにアクセスし、貢献することが可能です。