efeslab/Nanoflow

A throughput-oriented high-performance serving framework for LLMs

LLM & mô hình nền tảngJupyter Notebook 55tạo 2024-08-19

Sao

978

Tăng 1 ngày

Tăng 7 ngày

—

Tăng 30 ngày

—

Lịch sử sao

Bắt đầu theo dõi: 2026-11-13

#cuda#inference#llama2#llm#llm-serving#model-serving

Người đóng góp nhiều nhất

Chưa thu thập (chạy job contributors).

efeslab/Nanoflow · AI Repo Stats