CUDAホスト対応ビルド NVIDIAグラボならこれがベストか ■ 事前確認 ~$ nvidia-smi CUDA Version: 13.2 (対応する nvcc の最大バージョンらしい) ~$ nvcc -V release 12.0, V12.0.140 ■ CUDAホスト対応でビルド(CPU版ビルド後の環境です) ~/git/llama.cpp$ sudo apt install nvidia-cuda-toolkit ~/git/llama.cpp$ cmake -B build-cuda -DGGML_CUDA=ON -DGGML_CUDA_NCCL=OFF -DCMAKE_CUDA_ARCHITECTURES="86" [注意1] nccl (マルチGPU) について警告が出ます -DGGML_CUDA_NCCL=OFF を追加 [注意2] Linux Mint 22.3 の nvcc V12.0 は古いらしい、エラーになる -DCMAKE_CUDA_ARCHITECTURES="86" を追加 失敗したらbuild-cudaを削除し、原因を修正し "cmake -B build-cuda ..." を繰り返します ~/git/llama.cpp$ rm -rf build-cuda ~/git/llama.cpp$ cmake -B build-cuda -DGGML_CUDA=ON ... そしてビルド ~/git/llama.cpp$ cmake --build build-cuda --config Release -j 4 ■ コンソールから実行(モデルは同じ) ~/git/llama.cpp$ Model=/data/models/gemma-4-12b-it-qat-q4_0.gguf ~/git/llama.cpp$ build-cuda/bin/llama-cli -m "$Model" _______________________________________________________ > こんにちは↵ こんにちは！何かお手伝いできることはありますか？ ご質問や、相談したいこと、またはただの雑談など、何でもお気軽にお話しください。 > /exit↵ _______________________________________________________ さすがに速い! 約50トークン/秒くらい。

llama.cppインストール CPUホスト版なら、大きなGPUが無くても動くらしい ■ まずは llama.cpp をダウンロード ~$ sudo apt install git git-lfs ~$ mkdir git ~$ cd ~/git ~/git$ git clone https://github.com/ggml-org/llama.cpp.git ~/git$ ls llama.cpp/ ~/git$ cd llama.cpp/ ■ CPUホストに設定してビルド ~/git/llama.cpp$ sudo apt install cmake g++ libcurlpp-dev ccache libssl-dev ~/git/llama.cpp$ cmake -B build-cpu ~/git/llama.cpp$ cmake --build build-cpu --config Release -j 4 ■ コンソールから実行 gemma-4-12bモデル(ggufファイル)をダウンロード https://www.kaggle.com/models/google/gemma-4/gguf そして起動 ~/git/llama.cpp$ Model=/data/models/gemma-4-12b-it-qat-q4_0.gguf ~/git/llama.cpp$ build-cpu/bin/llama-cli -m "$Model" _______________________________________________________ build : b11294-185103dcf model : /data/models/gemma-4-12b-it-qat-q4_0.gguf ftype : Q4_0 modalities : text available commands: /exit or Ctrl+C stop or exit /regen regenerate the last response /clear clear the chat history /read <file> add a text file /glob <pattern> add text files using globbing pattern _______________________________________________________ > こんにちは↵ こんにちは！何かお手伝いできることはありますか？ > /exit↵ _______________________________________________________ 毎秒数トークンでした。