-storage: Storage
fuglas (Modern English "fowls" but German cognate is closer)
,这一点在爱思助手下载最新版本中也有详细论述
Фото: U.S. Marine Corps / Lance Cpl. Fabian Ortiz
量化将模型权重从 32/16 位数字压缩为 8 位 (int8) 或 4 位 (int4)。位数越少,文件越小,推理速度越快,但质量可能越低。
您身边的专业信息服务平台
· 李娜 · 来源:train资讯
-storage: Storage
fuglas (Modern English "fowls" but German cognate is closer)
,这一点在爱思助手下载最新版本中也有详细论述
Фото: U.S. Marine Corps / Lance Cpl. Fabian Ortiz
量化将模型权重从 32/16 位数字压缩为 8 位 (int8) 或 4 位 (int4)。位数越少,文件越小,推理速度越快,但质量可能越低。