Die Organisation sgl-project hat eine bedeutende Präsenz auf GitHub mit einer Vielzahl öffentlicher Repositories. Zu den Hauptprogrammiersprachen gehören Python, Go und C++. Bedeutende Projekte wie sglang und mini-sglang konzentrieren sich auf die Bereitstellung von Lösungen für große Sprachmodelle und deren einfache Nutzung.
SGLang is a high-performance serving framework for large language models and multimodal models.
A compact implementation of SGLang, designed to demystify the complexities of modern LLM serving systems.
Train speculative decoding models effortlessly and port them smoothly to SGLang serving.
Materials for learning SGLang
SGLang Omni: High-Performance Multi-Stage Pipeline Framework for Omni Models
Genai-bench is a powerful benchmark tool designed for comprehensive token-level performance evaluation of large language model (LLM) serving systems.
JAX backend for SGL
A workload for deploying LLM inference services on Kubernetes
SGLang kernel library for NPU
This is the documentation repository for SGLang. It is auto-generated from https://github.com/sgl-project/sglang
DeepGEMM: clean and efficient FP8 GEMM kernels with fine-grained scaling
SGLang kernel library for Intel XPU
SGLang Kernel Wheel Index
Fast and memory-efficient exact attention
SGLang wheels for multiple platforms
Cookbook of SGLang - Recipe
Keine Beschreibung für dieses Repository vorhanden.
Keine Beschreibung für dieses Repository vorhanden.
Keine Beschreibung für dieses Repository vorhanden.
Fast Hadamard transform in CUDA, with a PyTorch interface
Keine Beschreibung für dieses Repository vorhanden.
Keine Beschreibung für dieses Repository vorhanden.
Keine Beschreibung für dieses Repository vorhanden.
The test files for SGLang.
FlashMLA: Efficient Multi-head Latent Attention Kernels
Keine Beschreibung für dieses Repository vorhanden.
sgl-project entwickelt verschiedene Tools und Frameworks, insbesondere im Bereich der großen Sprachmodelle. Zu den wichtigsten Repositories zählen sglang, mini-sglang und SpecForge, die alle auf die Effizienz von Sprachmodellen abzielen.
sgl-project nutzt hauptsächlich Python, Go und C++. Diese Sprachen sind in den meisten ihrer Repositories vertreten, darunter sglang und rbg, die sich mit der Bereitstellung und dem Betrieb von LLM-Diensten beschäftigen.
Ja, alle Repositories von sgl-project sind öffentlich zugänglich. Dies ermöglicht es der Entwicklergemeinschaft, die Projekte zu nutzen, zu studieren und zur Weiterentwicklung beizutragen.
Überwache sgl-project mit RepoGuard und werde benachrichtigt, sobald ein neues öffentliches Repository auftaucht.
Diesen Account überwachen