RTX4070Ti Super(VRAM 16GB)とRAM 64GBで125B級モデルをStrataで動かす
「VRAM 12GB級で125Bのモデルが動く」という触れ込みの推論エンジン Strata を、RTX 4070 Ti Super（VRAM 16GB）と RAM 64GB の環境で実測しました。量子化の異なる3つのセットで、速度・メモリ・...
声優人名辞書 MS-IME形式ユーザ変換辞書
日本の男性声優および女性声優のwikipediaダンプファイルから名前と読み仮名を抽出し、MS-IME形式のユーザ変換辞書にしたものです。経緯以前にも公開していましたが、ちょっと抽出スクリプトを刷新しましたので改めて。重複とかを軽減したのと...
ダークモード（にも切り替えられる）ボタンを設置できるWordPressプラグイン「ColorSwitch」を公開しました
ColorSwitchWordPress用のカラースキーム切替プラグイン「ColorSwitch」をGitHubで公開しました。もともとは、このブログ用に作ったダークモード切替プラグインが始まりです。汎用性を高めついでに公開してしまおうとい...
llama.cppのベンチマーク補助ツールできました
llama-bench-helperllama.cpp 向けのベンチマーク補助 CLI です。モデルの入手、速度計測、品質確認を、予め設定した内容で回し、結果を出力します。githubリポジトリ：v2.0.0にて単一実行ファイルになりPyt...
VRAM 16GBでローカルLLM 5モデルの速度・VRAM使用量・ロード時間・回答品質を実測してみた
llama.cppを使いVRAM 16GB の環境で 5 つのモデルを動かし、処理速度・VRAM 使用量・ロード時間に加えて、共通プロンプトによる回答品質まで計測していきます。計測の前提と方法計測環境は次のとおりです。項目内容GPURTX ...
llama.cpp (CUDA)を導入してみる
OllamaとかLM Studioとか、なんならStrataとか出てきている昨今。 llama.cpp の導入手順をまとめました。この記事で入れるのは、ggml-org 公式の Windows x64 / CUDA 版バイナリです。ベンチマ...
自宅サーバーを安全に公開する VPS＋frp＋Caddy＋Tailscale の「入口だけVPS」構成
自宅で動かしているサーバー（Webサイトやゲームサーバーなど）を外から見られるようにしたい。でも、自宅回線に固定IPがない（IPが変わる／CGNATでそもそも外から届かない）ルーターのポート開放はセキュリティ的に怖い証明書（HTTPS）の管...
声優人名MS-IMEユーザ辞書
声優さんの人名をwikipediaのダンプから抽出したもの.txtです。MS-IMEユーザー辞書形式、abstractは省いています。声優さんのお名前を一発変換できていいですねのやつ。抽出スクリプトを刷新した関係で以降は以下の記事にてファイ...
Firefoxの拡張機能が無効化される問題について(修正済)
2019年5月4日以降、Firefoxの拡張機能(アドオン)やテーマのほとんどが無効化される問題が発生しているようです。