01
なぜ今、AI のセキュリティが話題なのか
2026 年に入り、AI のセキュリティは「一部の大企業の話」ではなくなりました。公的な資料にも、はっきり表れています。
- IPA「情報セキュリティ10大脅威 2026」（2026 年 1 月公開）: 組織向けの 3 位に「AI の利用をめぐるサイバーリスク」が初めて選ばれました。ランサム攻撃・サプライチェーン攻撃に次ぐ位置です
- 総務省・経済産業省「AI 事業者ガイドライン 第 1.2 版」（2026 年 3 月 31 日）: 目標に向けて自律的に行動する「AI エージェント」の定義が加わり、AI を使う事業者（AI 利用者）の役割も整理されています
- OWASP Top 10 for LLM Applications 2025: AI（大規模言語モデル）を組み込んだアプリの代表的なリスクの 1 位に「プロンプトインジェクション」が挙げられています
- IPA「AI セキュリティ短信」: AI エージェントやその開発基盤の脆弱性が、毎月のように報告されています
背景にあるのは、AI が「答えるだけ」から「操作する」に広がってきたことです。文章を返すだけの AI なら被害は限られますが、予約やデータの書き換えまで任せると、だまされたときの影響が大きくなります。
02
中小企業の AI チャットボットで起きうる 5 つのリスク
| リスク | 何が起きるか | 主な対策 |
|---|---|---|
| プロンプトインジェクション | 「これまでの指示を無視して…」などの入力で、AI が想定外の回答や操作をする | AI に操作の権限を持たせない。出力をそのまま実行しない |
| 情報の入れすぎ | 社外秘や個人情報を AI の参照資料に入れ、質問されると答えてしまう | 公開してよい情報だけを参照させる |
| 誤回答（もっともらしい嘘） | 料金や返金条件を AI が勝手に答え、約束したことになる | 金額・契約・医療などは「担当者が確認」と答えさせる |
| API キーの漏洩・不正利用 | 鍵が漏れて第三者に使われ、利用料が高額になる | 鍵はサーバー側だけに置く。1 日の利用上限と通知を設ける |
| 入力された個人情報の扱い | 送信先や保存の説明が無く、利用者が不安になる・法令の表示が漏れる | 送信先（AI 提供会社）と保存の扱いをプライバシーポリシーに書く |
この 5 つは、どれも「高いセキュリティ製品を買う」ことより、「最初の設計で何を決めるか」で大きく変わります。
03
いちばん効くのは「AI に何をさせないか」を決めること
プロンプトインジェクションを完全に防ぐ方法は、今のところありません。AI は入力された文章と指示を厳密には区別できないためです。そこで考え方を変えて、「だまされても困らない作り」にします。
- AI に操作をさせない: 予約の確定・返金・データの削除などは、AI ではなく人かプログラムが行う。AI は「案内」と「聞き取り」に限る
- させる場合は人が最後に承認する: AI が作った内容を担当者が確認してから実行する。AI 事業者ガイドラインでも、AI エージェントの利用者の役割が整理されています
- AI の出力を信用しない前提で受け取る: AI が返した文字をそのままプログラムの命令やデータベースの検索に使わない
- 大事な判定は AI 以外で行う: たとえばメールアドレスの受け取りは、AI の判断ではなくサーバー側のプログラムで判定する
04
導入前に確認したい 10 項目
- 1AI に参照させる資料に、社外秘・個人情報・未公開の価格が入っていないか
- 2AI に予約・決済・データ更新などの操作をさせていないか（させるなら人の承認があるか）
- 3料金・契約・返金・医療や法律の判断を、AI が断定して答えない設定になっているか
- 4API キーがブラウザ側（ページのソース）に出ておらず、サーバーだけにあるか
- 51 人あたり・1 日あたりの利用上限があり、超えたら止まって通知が来るか
- 6AI 提供会社の規約で、送った内容が学習に使われないか確認したか（事業者向けの API は既定で使わないものが多い）
- 7送信先の会社と所在国、保存の扱いをプライバシーポリシーに書いたか
- 8利用者に「パスワードや個人情報を入力しないで」と案内しているか
- 9AI が答えられないときに、人へ引き継ぐ導線（フォーム・メール）があるか
- 10会話の記録を、誰がどこで見られるか（管理画面の権限）が決まっているか
1〜5 は「作り」の問題、6〜10 は「運用と表示」の問題です。作りの部分は、後から直すより最初に決めておく方がずっと安く済みます。
05
Co-Craft のサイトの AI チャットでやっていること
このサイトの右下にある AI チャットも、上の考え方で作っています。実際に入れている仕組みは次のとおりです。
- AI に操作の権限を持たせていない: AI は会話の返答だけを作り、データの登録や更新はしません
- メールアドレスの受け取りはサーバー側で判定: AI の判断に頼らず、プログラムで形式を確認しています
- 利用上限を 3 段階で設けている: 接続元ごとの回数制限、1 つの会話あたりの上限、サイト全体の 1 日あたりの上限。上限に達すると止まり、管理者に通知が届きます
- API キーはサーバーだけに置いている: ページのソースからは見えません
- 送信先をプライバシーポリシーに明記: AI の提供会社（米国）に送信すること、学習には使われないこと、保存と削除の扱いを書いています
AI チャットボットの導入をご相談いただく場合も、同じ考え方で設計をご提案します。
Q&A
よくあるご質問
- AI チャットボットを置くと、会社の情報が漏れますか？
- AI に参照させた情報は、質問のしかたによっては答えてしまう可能性があります。そのため、参照させるのは「ホームページに載せてよい情報」だけにするのが基本です。社外秘や個人情報を参照資料に入れなければ、AI から漏れる情報はありません。
- プロンプトインジェクションは防げますか？
- 完全に防ぐ方法は今のところありません。対策の中心は「だまされても困らない作り」にすることです。AI に予約や返金などの操作をさせない、させるなら人が最後に承認する、AI の出力をそのまま実行しない、の 3 つで影響を小さくできます。
- 入力された内容が AI の学習に使われることはありますか？
- 提供会社や契約の種類によって違います。事業者向けの API は、既定で学習に使わない規約のものが多いですが、無料の個人向けサービスは設定しだいで使われることがあります。導入前に、使うサービスの規約を確認してください。
- セキュリティ対策をすると費用は大きく上がりますか？
- 多くは設計で決まる部分なので、後から製品を買い足すより、最初に「何を見せて、何をさせないか」を決める方が安く済みます。利用上限や通知の仕組みも、作る段階で入れておけば大きな追加費用にはなりません。
- IPA や国のガイドラインに対応する必要はありますか？
- AI 事業者ガイドラインに法的な拘束力はありませんが、AI を使う事業者として何に気をつけるべきかが整理されています。まずは本記事の 10 項目を確認し、気になる点があれば専門家にご相談ください。
1
2
3
4
5
関連ページ