ローカル LLMとの連携

2025年08月20日(水) 19:01:54
RAGとは チャットボットの画面で、独自のデータを与えてそこから回答をさせることができます。 例えば、FAQのテキストが入ったPDFを用意して、チャットボットの回答はそのFAQデータから行わせることができます。 Difyで扱える独自のデータは下記のようになっています。 TXT, MARKDOWN, MDX, PDF, HTML, XLSX, XLS, DOCX, CSV, VTT, PROPERTIES, MD, HTMをサポートしています。1 つあたりの最大サイズは15MB です。 その仕組みは RAG(検索拡張生成:Retrieval-Augmented Generatio ...続きを読む
2025年08月17日(日) 11:03:50
DifyでLM Studio経由のローカルLLMを設定する場合の手順を紹介いたします。 前提は ローカル環境(メモリは32GB以上を推奨)にLM Studioをインストールしている。 LM StudioでローカルLLMのモデル「openai/gpt-oss:20b」をインストールしている。 参考記事:LM Studioの導入 Difyをローカル環境で起動している。 としています。 ※他のモデルを設定の場合は、モデル名を読み替えていただければと思います。 1.LM Studioをサーバーとして起動 LM Studioを起動して、左メニューの緑色ア ...続きを読む
2025年08月11日(月) 18:15:09
DifyでOllama経由のローカルLLMを設定する場合の手順を紹介いたします。 前提は ローカル環境(メモリは32GB以上を推奨)にOllamaをインストールしている。 OllamaでローカルLLMのモデル「gpt-oss:20b」をインストールしている。 Difyをローカル環境で起動している。 としています。 ※他のモデルを設定の場合は、モデル名を読み替えていただければと思います。 1.Difyの設定画面にアクセス Difyを起動し、ログインします。 画面右上の プロフィールアイコン をクリックします。 表示されたメニューから 「 ...続きを読む