AI Repo
Stats
Repo
Danh mục
Nhà phát triển
Quốc gia
VI
flashinfer-ai/flashinfer · AI Repo Stats
Repo
Danh mục
Nhà phát triển
Quốc gia
VI
EN
FL
flashinfer-ai/
flashinfer
FlashInfer: Kernel Library for LLM Serving
Suy luận & chạy LLM cục bộ
Cuda
Apache-2.0
1.8K
tạo 2023-07-22
Website
GitHub
#attention
#cuda
#distributed-inference
#gpu
#jit
#large-large-models
#llm-inference
#moe
#nvidia
#pytorch