首页 > 新闻中心
sudo apt update && sudo apt install -y build-essential cmake git
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp # 开启CUDA加速进行编译 cmake -B build -DGGML_CUDA=ON cmake --build build --config Release
llama-clibash编辑./build/bin/llama-cli \ --model your_model_path/model.q4_k_m.gguf \ --prompt "你好,请介绍一下人工智能的未来" \ --n-predict 128 \ --gpu-layers 99 \ --color参数解释:--gpu-layers 99 表示将尽可能多的模型层卸载到GPU上计算,这是发挥GPU算力的关键。结语:轻量高效,玩转开源大模型通过GGUF格式和llama.cpp,您可以在闪电云算力上快速验证各类开源大模型的效果。这种方式资源占用低、兼容性极强,是AI开发者进行模型选型和效果测试的必备技能。
./build/bin/llama-cli \ --model your_model_path/model.q4_k_m.gguf \ --prompt "你好,请介绍一下人工智能的未来" \ --n-predict 128 \ --gpu-layers 99 \ --color
--gpu-layers 99