Tonerico

サイドバーまたは上部のセレクトからモデルを選び、起動 を押してください。

エンドポイントが /v1 に表示されたら、OpenAI 互換クライアントから接続できます。

• POST /v1/chat/completions に JSON を投げる
• GET /v1/models でモデル一覧

HuggingFace の GGUF モデルを Modal Volume に直接ダウンロードします。

ログ抜粋

ログはありません

モデルのコンテキストサイズ (c) や GPU レイヤー (n-gpu-layers) などを直接編集できます。