DifyとOllamaを連携する方法を6ステップで解説！　ローカルで立ち上げるメリットも紹介

クラウド型AIは立ち上げが簡単ですが、外部へのデータ送信による情報漏えいに不安を感じている方も少なくありません。

ローカル環境でLLMを実行できるOllamaでDifyを立ち上げれば、クラウドサービスを介さずにAIを利用できるため、セキュリティ面でのリスクを抑えながらAIを活用できます。

本記事では、DifyとOllamaの連携方法やローカルで立ち上げるメリット、活用事例を紹介します。

【この記事で分かること】

• Dify・Ollamaの概要
• DifyとOllamaを連携させるメリット
• DifyとOllamaを連携する方法
• Dify × Ollama の活用事例

Difyとは？

Difyとは、業務で活用できるAIアプリを、プログラミングの知識や経験がなくても簡単に開発できるノーコードツールです。
チャットボットやワークフロー、エージェントなどを作成でき、顧客対応や分析作業などさまざまな業務で利用されています。

社内ドキュメントをLLM（大規模言語モデル）に参照させる、RAG（検索拡張生成）機能もあるため、正確性を重視したチャットボットの開発に使われているツールです。

Ollamaとは？

Ollamaとは、自社のパソコンやサーバー上でLLMを動かすためのソフトウェアです。
クラウドサービスに依存せず、ローカル環境でモデルを実行できるため、機密性の高い情報を扱う業務で導入が進んでいます。

主な特徴はMeta LlamaやGoogle Gemma、DeepSeek-R1、Open-source GPTなどの多様なオープンソースモデルに対応している点です。
用途や目的に合わせてモデルを選び、必要に応じて切り替えながら活用することで、自社環境に合ったAI活用が可能になります。

DifyとOllamaを連携させるメリット

DifyとOllamaを連携させることで、以下のようなメリットがあります。

• ランニングコストを抑えられる
• 情報漏えいのリスクを軽減できる
• 自社環境に合わせて仕様をカスタマイズできる

それぞれのメリットを詳しく見てみましょう。

ランニングコストを抑えられる

DifyとOllamaを連携させれば、クラウド型LLMを利用したときに発生する利用料金や通信費などのランニングコストを抑えられます。

クラウドサービスを介してLLMを動かす場合、利用回数や生成するデータ量に応じて通信費が発生します。
月額料金が発生するプランでは、ランニングコストがさらに膨らむでしょう。

Ollamaはローカル環境でLLMを動かすため、外部のAPI（ソフトウェアやサービスをつなぐ窓口）やLLMの利用料以外の通信費は発生しません。
Difyは基本的に無料で導入でき、有料プランも月額59ドル（8000円台後半）から使用できるため、比較的コストを抑えながら質の高いAI活用が進められます。

情報漏えいのリスクを軽減できる

DifyをOllamaで立ち上げれば、クラウドサービスにデータを送信せずにAIを利用できるため、情報漏えいのリスクを軽減できます。

クラウドサービスにデータを送信した場合、入力内容は外部サーバーを経由して処理されるため、顧客情報や社内の機密情報が漏えいするリスクがあります。

DifyをOllamaでローカル環境に設定すれば、AI上でやり取りする情報は全て自社のパソコンやサーバーでの完結が可能です。
結果として、情報漏えいの懸念を抑えながら、セキュリティ要件の厳しい分野でもAIを活用できます。

自社環境に合わせて仕様をカスタマイズできる

DifyとOllamaを組み合わせれば、自社環境に合わせて仕様をカスタマイズできます。
Difyはオープンソースとして公開されているため、プログラミングの知識があれば、ソースコードの改変や外部ツールとの連携など、高度な使い方もできるでしょう。

またOllamaは多様なモデルに対応しており、利用する分野や用途に応じて適切なモデルを選択できます。
テキスト生成やコード補完など、自社のニーズに合わせてモデルを使い分ければ、精度や速度、コストのバランスが取れたAI環境を構築可能です。

DifyとOllamaを連携する方法【6ステップ】

DifyとOllamaを連携させる方法を、6ステップで分かりやすく解説します。

1. Ollamaをインストールする

まずは、Ollamaをインストールしましょう。
インストール方法はmacOSやLinuxなどによって異なりますが、今回はWindowsにインストールする手順を解説します。

Ollamaの公式Webサイト（https://ollama.com）にアクセスし、トップページ中央の「ダウンロード」をクリックします。
選択画面に切り替わったら、画面中央部の右側にある「Windows」をクリックし、Ollamaのファイルをダウンロードしましょう。

次にダウンロードしたファイルを開き、表示された画面右下の「Install」を選択します。
自動的にインストールが進むため、完了するまで待機しましょう。

インストールが完了したら、コマンドプロンプトを起動して下記のコマンドを実行してください。

ollama –help

Ollamaのインストールが完了していれば「Usage」から始まるヘルプ画面が表示されます。
その後はターミナルで「Ollama」を実行し「Usage」が表示されるか確認しましょう。
インストールと動作確認ができれば、ステップ1は完了です。

2. Ollamaのモデルをインストールして起動する

次にOllamaで使いたいAIモデルをインストールして起動します。

まずはモデルをダウンロードします。
コマンドプロンプトを開き、以下のコマンドを入力してください。

ollama pull llama2

上記コマンドの「llama2」の部分は、利用したいモデル名に置き換えます。
Ollama公式が提供するものに加え、Hugging Face（さまざまなモデルが公開されているオープンソース）で公開されているモデルも利用できます。

Hugging Faceのモデルを使う場合は、以下のようにコマンドを入力してください。

ollama run hf.co/{ユーザー名}/{リポジトリ}

自社の環境に応じて、適切なモデルを選択しましょう。

3. Dockerを使ってDifyをインストールする

Ollamaのモデルを選択したら、Dockerを使ってDifyをインストールしましょう。
Dockerとは、アプリとその実行環境を「コンテナ」と呼ばれる単位でまとめ、どこでも同じように動作させるための技術です。

まずはDocker Desktopを起動し、コマンドプロンプトで以下を実行してください。

git clone https://github.com/langgenius/dify.git

その後は、以下の順番でコマンドを実行します。

cd dify/docker

cp .env.example .env

docker compose up -d

上記を実行すると、Difyに必要なコンテナが自動で作成・起動され、Difyがローカル環境で利用できる状態になります。

Dockerのインストール方法

Dockerをインストールしていない場合は、まずはDockerの公式Webサイトにアクセスしましょう。
アクセスしたら「Download Docker Desktop」をクリックします。
ダウンロードしたインストーラをダブルクリックし、インストーラの起動を確認した後「OK」をクリックしてください。
インストールが正常に完了すると、「Installation succeeded」と表示されます。
「Close」をクリックして、インストール完了です。

インストール後は、パソコンのデスクトップに「Docker Desktop」のアイコンが表示されます。
アイコンをクリックして起動したら、ライセンスの確認画面が表示されるため「Accept」をクリックしましょう。
チュートリアルが完了したら、Dockerを利用できるようになります。

4. Difyにログインする

次はローカル版Difyにログインします。
ブラウザから「https://cloud.dify.ai/signin」にアクセスすると、Difyのログイン画面が表示されます。

初回はアカウントが存在しないため、メールアドレスとパスワードを登録しましょう。

5. DifyのモデルプロバイダーをOllamaに設定する

Difyを起動したら、利用するモデルプロバイダーをOllamaに設定します。

まずはDifyトップ画面の右上のアイコンをクリックし、「設定」を選択しましょう。
画面が切り替わったら、左側のメニューから「モデルプロバイダー」を選びます。
モデル一覧から「Ollama」を探し、インストールしましょう。

6. 「モデルを追加」からモデルタイプやモデル名などを設定する

使用モデルをOllamaに設定したら「＋モデルを追加」をクリックします。
そうすると「追加 Ollama」という設定画面が表示されるため、ここからモデルタイプやモデル名などを入力しましょう。

設定項目は、以下の8項目です。

• Model Type：利用するモデルのタイプ（今回はLLMで設定する）
• Model Name：Ollamaでダウンロード済みのモデル名（例：llama2、gemmaなど）
• Base URL：ローカル版Difyを起動したときのURL（http://（ローカルIPアドレス）:11434）
• Completion mode：基本は「Chat」を選択
• Model context size：一度に処理できるトークン数（AIが文章を処理する際の単位）の上限
• Upper bound for max tokens：生成されるテキストの最大トークン数
• Vision support：画像入力を利用するかどうか
• Function call support：関数呼び出しを利用するかどうか

これらを自社の用途に合わせて設定し、「保存」をクリックすればOllamaのモデルがDify上で利用できるようになります。

DifyとOllamaを使ってAIチャットボットを作ってみよう

DifyとOllamaの連携が完了したら、実際にAIチャットボットを作成して動かしてみましょう。
Difyでは、チャットボットの他にもワークフローやエージェントなどを作成できます。

次に例に挙げるのは、社内ドキュメントから必要な情報を参照し、ユーザーに回答を提供するチャットボットの作り方です。

1.Difyのホーム画面から「チャットボット」を選択する

まずはローカル環境のDifyを起動し、チャットボットの開発画面を立ち上げましょう。
Difyトップ画面上部の「スタジオ」をクリックし、右側の「最初から作成」をクリックします。

選択画面から「チャットボット」を選び、アプリのアイコンと名前、説明（任意）を入力します。
入力したら「作成する」をクリックしましょう。

2.モデルプロバイダーを「Ollama」に設定する

チャットボットの設定画面が表示されたら、モデルプロバイダーをOllamaに設定します。

画面右上の言語設定から「Ollama」を選び、必要に応じてPARAMETERS（パラメータ）も設定しましょう。

Ollamaをインストールしていない場合は、設定のモデルプロバイダーからインストールします。
インストール後は「＋モデルを追加」からモデル名やURLなどを設定します。
詳しい流れは、前項の「6.「モデルを追加」からモデルタイプやモデル名などを設定する」をご覧ください。

3.プロンプトを入力する

次は設定画面でプロンプトを入力します。
プロンプトとは、AIに与える指示文です。
例えば「ユーザーの質問に簡潔に回答してください」「これらのデータを参照してユーザーの質問に回答してください」などが該当します。

プロンプトは、単に「〇〇して」と指示するだけでなく、具体的に指示するのがポイントです。
AIの役割や回答に必要な情報、出力形式を組み込むと、期待通りの回答を得やすくなります。

今回は以下のようなプロンプトを入力します。

あなたは社内サポート担当者です。 ユーザーの質問に対して、社内ドキュメントの内容を参照しながら回答してください。 必要に応じて箇条書きを使用し、理解しやすいように回答してください。 ドキュメントを参照しても分からない場合は「関連情報は見つかりませんでした。直接担当者に問い合わせてください。」と回答してください。

4.「コンテキスト」から参照してほしいデータを追加する

次は「コンテキスト」からAIに参照してほしいデータを追加しましょう。
コンテキストとは、文章の前後関係や文脈を指します。
社内マニュアルなどのドキュメントを追加することで、正確かつ根拠のある回答が返せるようになります。

まずは設定画面上部の「ナレッジ」をクリックし、「ナレッジベースを作成」から指定のドキュメントをアップロードしましょう。
アップロードできたら「次へ」をクリックします。
チャンク設定やインデックス方法の選択画面が出てきますが、今回は変更せずに「保存して処理」をクリックします。

立ち上げたチャットボットに戻り、設定画面にある「コンテキスト」から「＋追加」をクリックし、事前に作成したナレッジベースを選択して追加しましょう。
アップロードしたら「追加」をクリックします。

5.プレビューでチャットボットを動かしてみる

それでは、実際にプレビュー（右側）でチャットボットを動かしてみましょう。
応答が期待通りか、参照したいドキュメントの内容が反映されているかを確認し、不自然な回答があればプロンプトやコンテキストの設定を調整します。

6.問題なければ画面右上の「公開する」をクリックする

期待通りの回答が得られ、問題がなければ画面右上の「公開する」をクリックし、公開方法を選びましょう。

公開方法は、以下の4通りです。

• アプリを実行：リンクを知っている人がアクセスできるURLを発行できる
• 探索ページで開く：Difyの探索ページからチャットボットを起動できるようになる
• Webサイトに埋め込む：生成したコードをコピーして自社サイトや社内ポータルに埋め込む
• APIリファレンス：自社システムやアプリケーションに組み込む

用途や規模に合った公開方法を選んだら、チャットボットの設定は完了です。

Dify × Ollamaの活用事例2選

DifyとOllamaを連携させると、通信コストを抑えながら高セキュリティなAI運用が可能になります。

ここでは、主な活用事例を2つ紹介します。
導入を検討する際の参考にしてみてください。

1. FAQチャットボット

DifyとOllamaを組み合わせると、社内や顧客向けのFAQチャットボットを手軽に構築できます。

外部のチャットサービスを使うと、自社環境での運用が難しくなりがちです。
しかしOllamaでDifyを立ち上げれば、自社の環境や顧客に合わせてチャットボットを設定できます。

カスタマーサポートや社内の問い合わせ窓口が自動化すれば、人件費や業務負担の削減にもつながるでしょう。

2. LLM連携のドキュメントQAシステム

社内ドキュメントやマニュアルを参照しながら回答する、LLM連携のドキュメントQAシステムの構築も可能です。

Difyには、LLMが与えたドキュメントを参照して回答を生成するRAG機能が搭載されています。
RAG機能を活用すれば「マニュアルを探すのに時間がかかる」「どの資料に記載されているか分からない」といった課題の解消にもつながります。

またOllamaは外部にデータが流出するリスクが少ないため、Difyのチャットボットに重要なデータを参照させたいときにもおすすめです。

DifyとOllamaを連携して柔軟なAI活用を進めよう

ノーコードでアプリを構築できるDifyと、ローカルでLLMを動かせるOllamaを組み合わせれば、クラウドサービスに依存しないAI環境を整えられます。
コスト削減やセキュリティ強化に加え、自社環境や用途に合わせて柔軟にカスタマイズできます。

ローカル版Difyの立ち上げに不安がある方は、Difyの公式販売・開発パートナーであるTDSE株式会社へご相談ください。
TDSE株式会社は、お客さまの業務環境や課題に合わせた運用方法をご提案し、スムーズにAI導入を実現できるようサポートいたします。

Difyの特徴・利用方法はこちら