[embcli開発日誌] マルチモーダル埋め込みモデルCLIPで遊ぶ

2025-06-01

マルチモーダル埋め込みモデルCLIPをコマンドラインから遊べるembcliプラグインembcli-clipをリリースしました。

CLIPとは

2021年にOpenAIが発表した，テキストと画像を同じベクトル空間上で扱えるマルチモーダル埋め込みモデル。より正確には，「画像とテキストのペアをトレーニングデータとしてContrastive Learningを行ったVisual Transformer」とのことです。商用利用可能なオープンソースライセンス（MIT）で公開されています。

embcli-clipプラグイン

PyPIからインストールできます。

pip install embcli-clip

embcliについては，以前の記事embeddingのためのOSSコマンドラインツールを作っているを参照ください。

画像から埋め込み表現を作る

gingercat.jpeg

以下のコマンドで，gingercat.jpeg という画像から，CLIPでエンコードしたembeddingが作れます。

emb embed -m clip --image gingercat.jpeg

テキストと画像の類似度を計算する

desc.txt

A ginger cat with bright green eyes, lazily stretching out on a sun-drenched windowsill.

というテキストと，gingercat.jpegの類似度を計算してみます。（正しくは，テキストをCLIPモデルでエンコードして得られるembeddingと画像をCLIPモデルでエンコードして得られるembeddingのコサイン類似度を測っているのですが，長いので「テキストと画像の類似度」と表現してます。）

emb simscore -m clip -f1 desc.txt --image2 gingercat.jpeg 
0.33982698978267567

0.34くらいの類似度・・・がどのくらい妥当なのかわからないので，同じテキストと他の画像の類似度も計算してみます。

blackcat.jpeg

との類似度は

emb simscore -m clip -f1 desc.txt --image2 blackcat.jpeg 
0.2251996520708121

orangehouse.jpeg

との類似度は

emb simscore -m clip -f1 desc.txt --image2 orangehouse.jpeg 
0.16374113114522493

purplerose.jpeg

との類似度は

emb simscore -m clip -f1 desc.txt --image2 purplerose.jpeg 
0.10988502060326195

なんとなく直感と合っていそう？

画像をクエリにしてコーパスを検索する

テキストと画像が同じベクトル空間上に埋め込まれるので，「画像をクエリとしてテキストを検索する」ことができます。

まず，embcliに付属しているサンプルコーパスdishes-enをCLIPでエンコードしてベクトルデータベースにインデックスします。

# dishes-enコーパスに含まれるテキストを，CLIPでエンコードして，menuというChromaDBコレクションに格納
emb ingest-sample -m clip -c menu --corpus dishes-en
Documents ingested successfully.
Vector store: chroma (collection: menu)

検索に使う画像は，（存在しない）カレーライスの画像。

ricecurry.jpeg

emb search -m clip -c menu --image ricecurry.jpeg 
Found 5 results:
Score: 0.00871434027958996, Document ID: 13, Text: Massaman Curry (Thailand): Rich mild sweet curry with origins from Persia. Contains potatoes peanuts and tender meat like beef or chicken. Complex fragrant spices create a deeply comforting and flavorful dish.
Score: 0.00856720166794799, Document ID: 4, Text: Green Curry (Thailand): Aromatic creamy coconut milk curry vibrant with green chilies and fragrant herbs. Packed with tender meat like chicken and various vegetables. Its spicy exotic taste transports your senses to Thailand with every bite.
Score: 0.008291618090874418, Document ID: 30, Text: Chicken Tikka Masala (India/UK): Pieces of chicken tikka grilled chicken simmered rich creamy spiced tomato gravy. Comforting flavorful dish enjoyed worldwide. Slightly sweet spiced.
Score: 0.008202290799093813, Document ID: 45, Text: Ratatouille (France): Flavorful Provençal vegetable stew eggplant zucchini bell peppers tomatoes onions garlic simmered herbs. Colorful healthy aromatic dish.
Score: 0.008183849397490686, Document ID: 26, Text: Butter Chicken (India): Tender marinated chicken simmered creamy tomato based gravy enriched with butter aromatic spices. Mildly spiced rich comforting. Globally popular Indian dish.

それっぽい検索結果です。

なお，画像からChatGPTでキャプションを生成して，生成したキャプションを検索クエリにしても，似たような結果になりました（ランキングは多少変わるものの上位５件中４件が同じ）。

emb search -m clip -c menu -q "A warm and comforting bowl of creamy chicken curry served with fluffy white rice."
Found 5 results:
Score: 0.03536559881204484, Document ID: 13, Text: Massaman Curry (Thailand): Rich mild sweet curry with origins from Persia. Contains potatoes peanuts and tender meat like beef or chicken. Complex fragrant spices create a deeply comforting and flavorful dish.
Score: 0.03304049320760643, Document ID: 26, Text: Butter Chicken (India): Tender marinated chicken simmered creamy tomato based gravy enriched with butter aromatic spices. Mildly spiced rich comforting. Globally popular Indian dish.
Score: 0.032370656263859175, Document ID: 4, Text: Green Curry (Thailand): Aromatic creamy coconut milk curry vibrant with green chilies and fragrant herbs. Packed with tender meat like chicken and various vegetables. Its spicy exotic taste transports your senses to Thailand with every bite.
Score: 0.030957274204826232, Document ID: 30, Text: Chicken Tikka Masala (India/UK): Pieces of chicken tikka grilled chicken simmered rich creamy spiced tomato gravy. Comforting flavorful dish enjoyed worldwide. Slightly sweet spiced.
Score: 0.0268596218357381, Document ID: 75, Text: Beef Stroganoff (Russia): Sautéed pieces beef served in sauce smetana sour cream often mushrooms onions. Typically served over noodles or rice. Creamy savory comforting.

もっと詳しく

より詳しい使い方はドキュメンテーションを参照ください。

(追記) その他のマルチモーダルモデル

embcli-jina 0.1.1で，Jina CLIP v2をサポートしました。また，embcli-voyage 0.1.1で，VoyageAIのMultimodal Embeddingsをサポートしました。

使い方はCLIPと同じです。