De organisatie sgl-project heeft een aanzienlijke aanwezigheid op GitHub, met een breed scala aan openbare repositories. De belangrijkste programmeertalen die worden gebruikt zijn Python, Go en C++. Opvallende projecten zijn onder andere sglang, een framework voor het serveren van grote taalmodellen, en mini-sglang, een compacte implementatie van sglang.
SGLang is a high-performance serving framework for large language models and multimodal models.
A compact implementation of SGLang, designed to demystify the complexities of modern LLM serving systems.
Train speculative decoding models effortlessly and port them smoothly to SGLang serving.
Materials for learning SGLang
SGLang Omni: High-Performance Multi-Stage Pipeline Framework for Omni Models
Genai-bench is a powerful benchmark tool designed for comprehensive token-level performance evaluation of large language model (LLM) serving systems.
JAX backend for SGL
A workload for deploying LLM inference services on Kubernetes
SGLang kernel library for NPU
This is the documentation repository for SGLang. It is auto-generated from https://github.com/sgl-project/sglang
DeepGEMM: clean and efficient FP8 GEMM kernels with fine-grained scaling
SGLang kernel library for Intel XPU
SGLang Kernel Wheel Index
Fast and memory-efficient exact attention
SGLang wheels for multiple platforms
Cookbook of SGLang - Recipe
Geen beschrijving gegeven voor deze repository.
Geen beschrijving gegeven voor deze repository.
Geen beschrijving gegeven voor deze repository.
Fast Hadamard transform in CUDA, with a PyTorch interface
Geen beschrijving gegeven voor deze repository.
Geen beschrijving gegeven voor deze repository.
Geen beschrijving gegeven voor deze repository.
The test files for SGLang.
FlashMLA: Efficient Multi-head Latent Attention Kernels
Geen beschrijving gegeven voor deze repository.
sgl-project ontwikkelt verschillende softwareprojecten, waaronder sglang, een framework voor het serveren van grote taalmodellen en mini-sglang, dat gericht is op het vereenvoudigen van moderne LLM-servering.
De belangrijkste programmeertalen die sgl-project gebruikt zijn Python, Go, C++, HTML, Cuda en JavaScript, wat de veelzijdigheid van hun projecten benadrukt.
Ja, de repositories van sgl-project zijn openbaar. Dit maakt het mogelijk voor anderen om de projecten te verkennen en bij te dragen aan de ontwikkeling van hun software.
Monitor sgl-project met RepoGuard en krijg een waarschuwing op het moment dat er een nieuwe publieke repository verschijnt.
Monitor dit account