sgl-project, GitHub'da geniş bir kamu varlığına sahiptir ve Python, Go, C++, Jupyter Notebook gibi birçok programlama dilinde projeler geliştirmektedir. SGLang ve mini-sglang gibi dikkat çekici repoları, büyük dil modelleri ve çok modlu modeller için yüksek performanslı sunum çerçeveleri sunmaktadır.
SGLang is a high-performance serving framework for large language models and multimodal models.
A compact implementation of SGLang, designed to demystify the complexities of modern LLM serving systems.
Train speculative decoding models effortlessly and port them smoothly to SGLang serving.
Materials for learning SGLang
SGLang Omni: High-Performance Multi-Stage Pipeline Framework for Omni Models
Genai-bench is a powerful benchmark tool designed for comprehensive token-level performance evaluation of large language model (LLM) serving systems.
JAX backend for SGL
A workload for deploying LLM inference services on Kubernetes
SGLang kernel library for NPU
This is the documentation repository for SGLang. It is auto-generated from https://github.com/sgl-project/sglang
DeepGEMM: clean and efficient FP8 GEMM kernels with fine-grained scaling
SGLang kernel library for Intel XPU
SGLang Kernel Wheel Index
Fast and memory-efficient exact attention
SGLang wheels for multiple platforms
Cookbook of SGLang - Recipe
Bu depo için açıklama sağlanmadı.
Bu depo için açıklama sağlanmadı.
Bu depo için açıklama sağlanmadı.
Fast Hadamard transform in CUDA, with a PyTorch interface
Bu depo için açıklama sağlanmadı.
Bu depo için açıklama sağlanmadı.
Bu depo için açıklama sağlanmadı.
The test files for SGLang.
FlashMLA: Efficient Multi-head Latent Attention Kernels
Bu depo için açıklama sağlanmadı.
sgl-project, büyük dil modelleri için sunum çerçeveleri ve eğitim materyalleri gibi projeler geliştirmektedir. SGLang ve SpecForge gibi repolar, bu alandaki önemli çalışmalardır.
sgl-project, başlıca Python, Go, C++, Jupyter Notebook ve Cuda dillerinde projeler geliştirmektedir. Bu diller, projelerin çeşitliliğini ve işlevselliğini artırmaktadır.
Evet, sgl-project'in tüm repoları kamuya açıktır. Bu, kullanıcıların projelere erişimini ve katkıda bulunmalarını kolaylaştırmaktadır.
sgl-project ile RepoGuard'ı izleyin ve yeni bir kamu deposu belirdiğinde anında uyarı alın.
Bu hesabı izleyin