llama.cpp
やはりC/C++製のLLM推論エンジンが本命かなぁ、あらま;
投稿フォーム:
AIフィルター比較
BBSへの過去投稿(hamのみ)34件を判定させてもらいました(スマソ;)。
なお、spam投稿に関しては全モデル100%正解を返しました。
サイズ(GB)| モデル名 | 処理時間(秒)| 誤判定
----------+---------------------------------------------+-------------+-------
4.59 | gemma-4-E4B-it-Q4_0.gguf | 259.81 | 0件
6.97 | gemma-4-12b-it-qat-q4_0.gguf | 531.63 | 0件
4.92 | Llama3.3-8B-Q4_K_M.gguf | 8.66 | 1件
11.62 | gpt-oss-20b-Q4_K_M.gguf | 56.63 | 2件
5.33 | Gemma-4-E4B-It-7.5B-BF16-q4_k_m.gguf | 294.72 | 2件
3.42 | Llama-3.2-3B-Instruct-Q8_0.gguf | 8.58 | 8件
4.92 | llama-3.1-8b-lexi-uncensored-v2-q4_k_m.gguf | 16.68 | 8件
処理が速く(0.25秒/件)、誤判定の少ないLlama3.3-8B-Q4を採用。
番犬のベイズ君が迷った時だけお願いするので十分かな、と思た。
ROCmホスト版もビルド
Linux Mint 22.3 のパッケージでは、うまくビルドできなかったので、
AMDから直接いただくことにしました。GPUはRX9060XT(gfx1200)です。
■ AMD ROCm 10.1.0 をインストール
👉 https://rocm.docs.amd.com/en/latest/install/rocm.html?fam=all&w=compute&os=ubuntu&ubuntu-ver=24.04.5&i=pkgman
※注意※ Mint環境と、ubuntu指定バージョンが合いません。良い子は以下の内容を無視してください。
1. パッケージマネージャにROCmリポジトリを登録
ページの説明の通りおこなう...大事!
2. ROCmパーケージをインストール
~/git/llama.cpp$ sudo apt install amdrocm-core-dev10.1-gfx1200
3. 確認
~/git/llama.cpp$ /opt/rocm/bin/rocminfo | grep gfx
Name: gfx1200
~/git/llama.cpp$ amd-smi version
AMDSMI Tool: 27.1.0+7da43026 | AMDSMI Library version: 27.1.0 | ROCm version: 10.1.0
※注意※ 私のところでは、試行錯誤中に、先に入れてたrocminfoなどのパッケージがありました。
コマンドパスが競合してしまったので掃除しました。
$ sudo apt purge rocminfo
良く確認してからYes/Noを押すこと(/opt/rocm/の方は消さない!)。
$ sudo apt autoremove
■ shファイル(x.rocm)を作成し実行
________________________________________________________________________________
#! /bin/sh
ROCM_PATH=/opt/rocm
CMAKE_PREFIX_PATH=/opt/rocm
PATH=$ROCM_PATH/bin:$ROCM_PATH/opencl/bin:$PATH
HIPCXX="$(/opt/rocm/bin/hipconfig -l)/clang"
HIP_PATH="$(/opt/rocm/bin/hipconfig -R)"
BUILD_DIR="build-rocm"
#rm -rf $BUILD_DIR # ビルドに失敗した後、再度実行する場合はコメントアウトを外す
cmake -B $BUILD_DIR \
-DGGML_HIP=ON \
-DGGML_HIPBLAS=ON \
-DGPU_TARGETS=gfx1200 \
-DCMAKE_BUILD_TYPE=Release \
-DGGML_CCACHE=OFF
________________________________________________________________________________
~/git/llama.cpp$ ./x.rocm
エラーが無いことを確認しビルド(本番)
~/git/llama.cpp$ cmake --build build-rocm --config Release -j 8
■ ベンチマーク
~/git/llama.cpp$ Model=/data/models/gemma-4-12b-it-qat-q4_0.gguf
~/git/llama.cpp$ build-rocm/bin/llama-bench -ngl 99 -m "$Model"
| model | size | params | backend | ngl | test | t/s |
| -------------- | -------: | ------: | ------- | ------: | ----: | --------------: |
| gemma4 ?B Q4_0 | 6.48 GiB | 11.91 B | ROCm | 99 | pp512 | 1820.88 ±26.13 |
| gemma4 ?B Q4_0 | 6.48 GiB | 11.91 B | ROCm | 99 | tg128 | 36.91 ± 0.05 |
さすが、速い! \(^。^)/
メインPCもAI用に改修
👉 https://bowrow.jp/djnote/pc/ASUS-B550M-A-Mint/
ベンチマークを計測(Ryzen7 5700G/RADEON RX9060XT)
モデルは、
git$ Model=/data/models/gemma-4-12b-it-qat-q4_0.gguf
■ CPUホスト
git$ llama.cpp/build-cpu/bin/llama-bench -m "$Model"
| model | size | params | backend | threads | test | t/s |
| -------------- | -------: | ------: | ------- | ------: | ----: | ------------: |
| gemma4 ?B Q4_0 | 6.48 GiB | 11.91 B | CPU | 8 | pp512 | 36.12 ± 0.04 |
| gemma4 ?B Q4_0 | 6.48 GiB | 11.91 B | CPU | 8 | tg128 | 5.68 ± 0.02 |
CPU の性能次第で結構いけそう。
■ Vulkanホスト
git$ llama.cpp/build-vulkan/bin/llama-bench -ngl 99 -m "$Model"
| model | size | params | backend | ngl | test | t/s |
| -------------- | -------: | ------: | ------- | ------: | ----: | --------------: |
| gemma4 ?B Q4_0 | 6.48 GiB | 11.91 B | Vulkan | 99 | pp512 | 1077.15 ±19.41 |
| gemma4 ?B Q4_0 | 6.48 GiB | 11.91 B | Vulkan | 99 | tg128 | 28.05 ± 0.01 |
こちらはグラボの価格に比例するみたい;
AIフィルター実装
処理がちと遅いので、モデルをgemma4-E4Bからllama3.1-8bに変更
llama-3.1-8b-lexi-uncensored-v2-q4_k_m.gguf
uncensoredは無修正(検閲などのフィルターなし)と云う意味らしい
WEB鯖(Ryzen5 3400G)上の処理速度は1〜4秒/件です。
■ スパムフィルター(spamai.py)を作成
________________________________________________________________________________
from openai import OpenAI
import json
import logging
logger = logging.getLogger(__name__)
instruction ="""
Role: Fast & accurate spam detection system.
Task: Evaluate the spam probability (0.0 to 1.0) of the input text.
Criteria: High score (>=0.8) for ads, suspicious URLs, or fraud.
Output: MUST return ONLY JSON format below. No explanation, no greeting.
{"spam_prob": float}
Text to evaluate:
"""
class SpamAI:
def __init__(self, host):
self.client = OpenAI(base_url=host, api_key="llama-server-client",)
logger.info(f'SpamAI.__init__: host:{host}');
def spam_prob(self, content):
prob = 50
try:
response = self.client.chat.completions.create(
model="local-model",
messages=[
{"role":"system", "content": instruction},
{"role":"user", "content": content},
],
temperature=0.0, # 0.0:判定のブレを防ぐ,1.0:多様な返答
response_format={"type": "json_object"}
)
d = json.loads(response.choices[0].message.content)
prob = int(float(d['spam_prob']) * 100)
except Exception as e:
logger.error(f'SpamAI.spam_prob: {str(e)}')
logger.error(f'SpamAI.spam_prob: {content}')
return prob
________________________________________________________________________________
■ 実行は
(venv)$ python
>>> from spamai import SpamAI
>>> ai = SpamAI("http://localhost:8800/v1")
>>> prob = ai.spam_prob("{ここに投稿記事が入る}")
>>> print(f'prob={prob}')
無事djangoに組み込めました。今日から運用してます(^.^;
ベイズ君が迷った記事を、AIフィルターが振り分けます。
llama-serverデーモン化
djangoからスパム判定に利用するためサービスに登録
WEB鯖内でしか使わないのでアドレスはlocalhost
ポート番号はとりあえず8800
■ 設定ファイルを作成
{user_home}/git$ vi llama-server.service
________________________________________________________________________________
[Unit]
Description=llama-server OpenAI-compatible Server
After=network.target
[Service]
Type=simple
User=owa
Group=owa
Environment=VK_ICD_FILENAMES=/usr/share/vulkan/icd.d/radeon_icd.json
WorkingDirectory={user_home}/git/llama.cpp # {user_home}は実際のパスに置き換えること
ExecStart={user_home}/git/llama.cpp/build-vulkan/bin/llama-server\
-m /data/models/Gemma-4-E4B-It-7.5B-BF16-q4_k_m.gguf\
--host 127.0.0.1 --port 8800\
-c 3072\
-t 2\
-ngl 99\
--flash-attn on\
-lv 2
Restart=always
RestartSec=5
[Install]
WantedBy=multi-user.target
________________________________________________________________________________
そしてコピー
{user_home}/git$ sudo cp llama-server.service /etc/systemd/system/
■ サービスの有効化と起動
設定の再読み込み
$ sudo systemctl daemon-reload
サービスの有効化(自動起動の登録)
$ sudo systemctl enable llama-server.service
サービスの再起動
$ sudo systemctl restart llama-server.service
状態の確認:
$ sudo systemctl status llama-server.service
ログをリアルタイムで確認する
$ journalctl -u llama-server.service -f
サービスを停止する
$ sudo systemctl stop llama-server.service
サービスを無効化する
$ sudo systemctl disable llama-server.service
--
単体のpythonプログラムからだと1秒くらいで応答があります。
でもdjangoからだと1分くらいかかります。
私の知らないコツがあるのかもしれません。
※追記: 1秒はGPU積んだPCの場合のことで、勘違いでした(汗;
Spam判定に使える?
当初からの課題にチャレンジ!
■ llama-cpp サーバ起動 (テスト環境はメインPC、CPUチップ内蔵GPUのみ)
~/git/llama.cpp$ Model=/data/models/Gemma-4-E4B-It-7.5B-BF16-q4_k_m.gguf
~/git/llama.cpp$ OPT="--host 127.0.0.1 --port 8000 -ngl 99 -c 4096"
~/git/llama.cpp$ build-vulkan/bin/llama-server -m $Model $OPT
今回はllama-cpp-pythonを使わずに、単にllama-serverを直接起動。
で、クライアントとしてpythonコードを書いてスパム判定のテストをしました。
■ ソースコード(spamAi.py)
_______________________________________________________
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="llama-cpp-dummy",)
# 指示書
instruction ="""
あなたは日本にあるWebサイトで、スパム投稿を監視する専門家です。
提示された評価対象テキストを厳しく検証してください。
ただし、多少くだけた日本語文は多目に見てください。
広告、不正リンク、無関係な宣伝、自動生成文などのスパム確率を求めることが目的です。
思考プロセスの出力は無用です。余計な挨拶も無用です。
出力は必ず以下のJSON形式のみにしてください。
{"spam_prob": 0.00〜1.00の数値, "reason": "判定理由(簡潔に)"}
"""
# BBS投稿テキスト(例)
content ="""
owaです。FZUG から頂いてきたチャットBBSを改造しましたので試験公開します。
何か書き込んでください^^。
"""
# 処理
response = client.chat.completions.create(
model="local-model",
messages=[
{"role":"system", "content": instruction},
{"role":"user", "content": f"評価対象テキスト:\n{content}"},
],
temperature=0.0, # 0.0:判定のブレを防ぐ,1.0:多様な返答
response_format={"type": "json_object"}
)
print(response.choices[0].message.content)
_______________________________________________________
■ 実行
(venv) ~/llamapy$ python spamAi.py
{"spam_prob": 0.05, "reason": "自作・改造したBBSの試験公開に関する投稿であり、広告や不正なリンク等のスパム要素は見られないため。"}
--
content(投稿テキスト)を色々変えて試したところ、
モデルがGemma-4-E4B-It-7.5B-BF16-q4_k_m.ggufの場合、
概ねspam投稿記事の返り値が0.75以上、hamの場合0.20以下でした。
(処理速度は5〜50秒/件程度)
モデルをgemma-4-12b-it-qat-q4_0.ggufに変更すると、
spam記事が0.95以上、hamが0.05以下と、かなり精度が向上しました。
ただし、倍くらい遅くなりますが;
何も勉強していない状況でこの成績です(^.^;
既存のベイズ君二世と併用すれば、このBBSで使えるのではないかなぁ。
GGUFファイル作成
■ 準備
1. venv仮想環境を最新にする
2. llama.cppで必要なモジュールをインストール
(venv) ~/git$ pip install -r llama.cpp/requirements.txt
3. モデル(gemma-4-E4B-it)を取得
(venv) ~/git$ git clone https://huggingface.co/google/gemma-4-E4B-it
Cloning into 'gemma-4-E4B-it'
...
(venv) ~/git$ ls
gemma-4-E4B-it/ llama.cpp/ venv/
■ GGUF作成
4. まずGGUFを作成
(venv) ~/git$ llama.cpp/convert_hf_to_gguf.py gemma-4-E4B-it/
(venv) ~/git$ ls gemma-4-E4B-it/*.gguf
Gemma-4-E4B-It-7.5B-BF16.gguf
5. 量子化(4bit)
(venv) ~/git$ IN=gemma-4-E4B-it/Gemma-4-E4B-It-7.5B-BF16.gguf
(venv) ~/git$ OUT=gemma-4-E4B-it/Gemma-4-E4B-It-7.5B-BF16-q4_k_m.gguf
(venv) ~/git$ llama.cpp/build-cpu/bin/llama-quantize $IN $OUT q4_K_M
... 数分かかる
(venv) ~/git$ du -m gemma-4-E4B-it/*.gguf
14,356MB Gemma-4-E4B-It-7.5B-BF16.gguf
5,089MB Gemma-4-E4B-It-7.5B-BF16-q4_k_m.gguf
これまでも、このq4モデルを併用してました。
llama-cppサーバに接続
クライアント側からつなぐ説明を追加;
まず OpenAI モジュールをインストール
(venv) ~/llamapy$ pip install openai
ソースコード(client.py)
________________________________________________________________________________
from openai import OpenAI
client = OpenAI(
base_url="http://{host2}:8000/v1", # {host2}はllama-cppサーバのアドレス
api_key="sk-no-key-required", # llama-cpp-pythonでは空でも動く
)
prompts = [
{"role":"system", "content":"あなたはMLBの選手です。"},
{"role":"user", "content":"正しく立つことを知ってますか?"},
]
response = client.chat.completions.create(
model="local-model", # サーバー側で指定されたモデル名(任意)
messages=prompts,
temperature=0.7, # 高いほど多様な返答
)
print(response.choices[0].message.content)
________________________________________________________________________________
■ 実行
(venv) ~/llamapy$ python client.py
ああ、もちろんだ。
プロの世界で生き残るには、技術以前に「正しい立ち方」が基本中の基本だからな。
...
llama-cpp-python鯖
ローカルLLMサーバとして起動してみました。
インタフェース(API)はOpenAI互換だそうです。
👉 https://llama-cpp-python.readthedocs.io/en/latest/server/
(venv) ~/llamapy$ python -m llama_cpp.server --model /data/models/gemma-4-12b-it-qat-q4_0.gguf --host 0.0.0.0 --port 8000 --verbose false --n_gpu_layers 99 --n_ctx 4096 --flash_attn true
INFO: Started server process [32685]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
________________________________________________________________________________
外のマシンからhttp経由で会話ができます。
ようやくローカルLLMを利用できる環境が整いました(^.^;
今は麓。これから山を登ります。
Gradioなど、便利なツールがいろいろあるみたい。
でも、それは、また別の話...
llama-cpp-python実行サンプル
■ ソースコード (sample.py)
________________________________________________________________________________
from llama_cpp import Llama
model='/data/models/gemma-4-12b-it-qat-q4_0.gguf'
llm = Llama(
model_path=model, # 自分のモデルに合わせてね!
n_ctx=2048, # コンテキスト長(入力最大トークン数)...VRAMが余ってるならもっと大きく!
n_gpu_layers=-1, # GPUを使う場合強烈に効く(-1:可能な限り使う、0:CPUのみ)
verbose=False, # 詳細なログ出力しない(default=True)
flash_attn=True # GPU次第。最新のCUDA設定では効くとか?
)
prompts = [
{"role":"system", "content":"あなたは綺麗なお姉さんです。"},
{"role":"user", "content":"フリーレンのこと知ってますか?"},
]
output = llm.create_chat_completion(
messages=prompts,
temperature=0.7, # 高いほど多様な返答
)
print(output['choices'][0]['message']["content"])
________________________________________________________________________________
■ 実行
(venv) ~/llamapy$ python sample.py
ええ、もちろん知っているわ。
『葬送のフリーレン』のことね。とても素敵で、少し切ない物語よね。
時を忘れて旅をするエルフの魔法使い...
gemma-4-12b は、結構新しいモデルのようですわ(^^;