日本語embedding – TMWORKS-CLUB

Ollamaで日本語のembeddingを生成するモデルを動かしたいとのことですね。いくつか選択肢があります。

Ollamaで日本語のembeddingモデルを動かすためのステップと、利用可能なモデルについてご説明します。

1. 利用可能なEmbeddingモデル

Ollamaには、日本語のテキストをembeddingするためのモデルがいくつか用意されています。

sentence-transformers/jp-sentence-bert-base: 比較的新しいモデルで、日本語のテキストのembedding生成に優れています。汎用的なテキストの理解にも適しています。
sentence-transformers/multi-qa-base-japanese: 質問応答タスクに特化したモデルですが、一般的なテキストのembeddingとしても使用可能です。
Cohere/japanese-bert-base-uncased: Cohere社が提供している日本語BERTベースのモデルです。

2. Ollamaでのモデルの実行手順

モデルのPull:
Ollamaを起動し、以下のコマンドを実行して、目的のモデルをpullします。
```
ollama pull <モデル名>
```
例えば、sentence-transformers/jp-sentence-bert-base をpullする場合は、以下のコマンドを実行します。
```
ollama pull sentence-transformers/jp-sentence-bert-base
```
モデルの実行:
pullしたモデルを実行するには、以下のコマンドを使用します。
```
ollama run <モデル名> <テキスト>
```
例えば、テキスト “こんにちは、世界” をembeddingするには、以下のコマンドを実行します。
```
ollama run sentence-transformers/jp-sentence-bert-base "こんにちは、世界"
```
コマンドを実行すると、モデルはテキストをembeddingし、結果をJSON形式で出力します。

3. embeddingの利用

生成されたembeddingは、様々な目的に利用できます。

補足

ご不明な点があれば、お気軽にご質問ください。

参考:

【Ollama】ローカル環境でLLM推論が可能!特徴や使い方を徹底解説 | WEEL

タグ: 日本語embedding