跳到正文
原文
Reddit r/LocalLLaMA (开源AI)· /u/do_u_think_im_spooky·· 2 小时前AI 评分37

Infermeld:基于 llama.cpp 在 AMD + NVIDIA 双显卡上运行同一 GGUF 的开源 Linux 工具包

Infermeld: a Linux kit for running one GGUF across AMD + NVIDIA GPUs with llama.cpp

AI 导读

Infermeld 是一个开源实验性 Linux 工具包(v0.1.0),基于 llama.cpp 让一块 AMD GPU 和一块 NVIDIA GPU 共同运行同一 GGUF 模型,提供 Vulkan + CUDA 设备选择、可复现构建和只读温度守护。

来源:Reddit r/LocalLLaMA (开源AI) · reddit.com