IST-DASLab/marlin

FP16xINT4 LLM inference kernel that can achieve near-ideal ~4x speedups up to medium batchsizes of 16-32 tokens.

LLM & mô hình nền tảngPython Apache-2.0 98tạo 2024-01-17

Sao

1.175

Tăng 1 ngày

—

Tăng 7 ngày

—

Tăng 30 ngày

—

Lịch sử sao

Bắt đầu theo dõi: 2026-11-13

#4bit#kernel#llm#quantization

Người đóng góp nhiều nhất

Chưa thu thập (chạy job contributors).

IST-DASLab/marlin · AI Repo Stats