sgl-project की सार्वजनिक GitHub उपस्थिति में 26 विभिन्न रिपॉजिटरी शामिल हैं, जिनमें Python, Go, C++, HTML, Cuda, और JavaScript जैसी भाषाएँ प्रमुख हैं। इसके प्रमुख प्रोजेक्ट्स में SGLang और mini-sglang शामिल हैं, जो बड़े भाषा मॉडल और मल्टीमॉडल मॉडल के लिए उच्च प्रदर्शन वाले फ्रेमवर्क प्रदान करते हैं।
SGLang is a high-performance serving framework for large language models and multimodal models.
A compact implementation of SGLang, designed to demystify the complexities of modern LLM serving systems.
Train speculative decoding models effortlessly and port them smoothly to SGLang serving.
Materials for learning SGLang
SGLang Omni: High-Performance Multi-Stage Pipeline Framework for Omni Models
Genai-bench is a powerful benchmark tool designed for comprehensive token-level performance evaluation of large language model (LLM) serving systems.
JAX backend for SGL
A workload for deploying LLM inference services on Kubernetes
SGLang kernel library for NPU
This is the documentation repository for SGLang. It is auto-generated from https://github.com/sgl-project/sglang
DeepGEMM: clean and efficient FP8 GEMM kernels with fine-grained scaling
SGLang kernel library for Intel XPU
SGLang Kernel Wheel Index
Fast and memory-efficient exact attention
SGLang wheels for multiple platforms
Cookbook of SGLang - Recipe
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
Fast Hadamard transform in CUDA, with a PyTorch interface
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
The test files for SGLang.
FlashMLA: Efficient Multi-head Latent Attention Kernels
इस रिपोजिटरी के लिए कोई विवरण प्रदान नहीं किया गया।
sgl-project मुख्य रूप से बड़े भाषा मॉडल के लिए सर्वर फ्रेमवर्क विकसित करता है, जिसमें SGLang और उसके छोटे संस्करण mini-sglang शामिल हैं। इसके अलावा, यह विभिन्न उपकरणों और दस्तावेज़ों का भी निर्माण करता है जो LLM सर्विंग से संबंधित हैं।
sgl-project मुख्य रूप से Python, Go, C++, HTML, Cuda, और JavaScript जैसी भाषाओं का उपयोग करता है। ये भाषाएँ इसके विभिन्न प्रोजेक्ट्स और रिपॉजिटरी में देखी जा सकती हैं।
हाँ, sgl-project की सभी रिपॉजिटरी सार्वजनिक हैं। यह उपयोगकर्ताओं को उनके प्रोजेक्ट्स और विकास कार्यों का उपयोग करने और उन पर योगदान करने की अनुमति देती हैं।
RepoGuard के साथ sgl-project की निगरानी करें और जैसे ही एक नया सार्वजनिक रिपोजिटरी बनता है, सूचित हों।
इस खाते की निगरानी करें