AI Repo
Stats
Repo
Danh mục
Nhà phát triển
Quốc gia
VI
microsoft/sarathi-serve · AI Repo Stats
Repo
Danh mục
Nhà phát triển
Quốc gia
VI
EN
MI
microsoft/
sarathi-serve
A low-latency & high-throughput serving engine for LLMs
LLM & mô hình nền tảng
Python
Apache-2.0
68
tạo 2023-11-02
GitHub
#llama
#llm-inference
#pytorch
#transformer