EC2 環境でのDify とbedrock を接続して使ってみた

こんにちは寒い日が続いております。最近AI と遊ぶ時間が多くなってAI と共に頑張ることが目標になりつつあります。理解できないところもまだまだ多いので、AIにいっぱい助けてもらおうと思います。

前回までEC2 にDify をインストールして、画面を確認したと思うのですが、今回はBedrock と接続してナレッジを実際に入れてみようと思います。Dify の画面を表示するまでは前回やっているので以下を参照してみてください

今回の設定の流れ
IAM role の設定
Dify でLLM を実行できるようにするためにモデルのアクセス許可
Dify でのモデルの連携設定
chatbot のアプリを作成していきます！
最後にコンテキスト(ナレッジ)を設定していこう
まとめ
その他

今回の設定の流れ

EC2 とbedrock を接続できるようにIAM role の設定
bedrock からモデルの選択とDify に入力
Dify でchatbot を作成
実際に使ってみる

今回は手軽に最低限のコストで触っていきたいので、bedrock のナレッジベースなどは作成せずに進めていきたいと思います。他の記事ではナレッジベースを作成して実際に試していきたいと思います。

IAM role の設定

EC2 からbedrock に対してアクセスができるように、設定していきましょう。必要なポリシーとしては、以下になるので、これさえあればapi の通信はできるようになります。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "bedrock:InvokeModel*",
            "Resource": [
                "*"
            ]
        }
    ]
}

内容としては、bedrock:InvokeModel をアクションとして登録しているのと、Resource をワイルドカード(*) としているので、全てのリソースからbedrock のモデルを実行することが可能になっています。今回検証のために、ワイルドカードでリソースを指定していますが、本来は最低限のリソースで指定することがセキュリティ的にもAWS のポリシーとしても好ましいので、そちらを推奨かと思います！

手順としては
① 上の内容でポリシーを作成
② role を作成する
③ 上で作成したポリシーを紐づける
④ 作成したrole をEC2 に紐づける
になります。ここまで来たら、IAM Role の準備は完了になります。

次にモデルに対してアクセスを許可して、モデルの接続設定をDify 側で実施していきます。

Dify でLLM を実行できるようにするためにモデルのアクセス許可

次にモデルの設定をしていきます。最初にベースモデルを使うために、AWS コンソールにてベースモデルの許可設定を実施します。ポチポチで終わります！！
モデルアクセスを選択して、使いたいモデルを選択して、次へを押してください。そうすれば、
許可の設定に進むので、許可されるまで待機してください。
(下の画面は、僕は既に許可設定を前にしていたので緑になってますが、本来は「リクエスト可能」の表記がされています。