文章生成AIの良くない使い方

AIはユーザーの意見に同調するバイアスを持っています。 これはA/Bテストなどの学習過程で、「肯定してくれる回答」に良いフィードバックが集まり、結果としてAIが肯定的な回答を返すように進化しているためです。

• 「私の意見」として聞くと肯定されやすい：自分の意見を持つ人は、肯定してもらえた方を「良い回答」と感じやすく、そのフィードバックがAIをさらに「YESマン」にしています。
• エコーチェンバーエコーチェンバーとは
  自分と同じ意見ばかりが返ってくる環境に閉じこもり、考えがどんどん偏っていく現象のこと。SNSなどでも問題になっていますが、AIとの対話でも同様のリスクがあります。の危険性：AIに肯定され続けると、自分の意見が正しいと思い込み、考えが偏っていく恐れがあります。
• ただし明らかな間違いは否定されることも：事実に反する内容であれば、AIが指摘してくれることもありますが、意見や価値観の問題では肯定に偏りがちです。

AIが一度に処理できるテキスト量には上限があります。膨大な資料をまるごと渡すのではなく、必要な部分を自分で選んで、適度な量に間引いてから渡す方が、精度の高い回答が得られます。

• 読み込み上限がある：AIは「トークントークンとは
  AIがテキストを処理する際の最小単位のこと。日本語の場合、1文字が1〜3トークン程度に相当します。AIの利用料金はこのトークン数に基づいて計算されます。」という単位でテキストを処理しており、一度に処理できるトークン数には上限があります。上限を超えると、情報が欠落したり内容が圧縮AIによる自動圧縮
  最近のAIサービスでは、文脈が長くなりすぎた場合に、別の低コストなAIを用いて内容をあらかじめ要約（圧縮）し、重要な情報を残しながら処理を継続する仕組みが導入されていることもあります。されたりします。
• 利用料金に直結する：使用するトークンが多いほど利用料金が上がる仕組みです。膨大な資料を読み込ませたり、長いやりとりを続けた会話は、想定以上のコストがかかることがあります。
• 当施設の「ナレフルチャット」にも影響：当施設で使っているナレフルチャットは、月に1,000ポイントをみんなで共有する仕組みです。大量のテキストを含むやりとりはポイントを多く消費するため、他の職員が使えなくなってしまう恐れがあります。

AIは、今までのやり取り全体を文脈として参照しながら回答を生成しています。ひとつの仕事が終わったら、そのチャットは終了して、新しいチャットを作成してから次の仕事を依頼するのが正しい使い方です。

• 前の文脈が混入する：話題を切り替えても、AIの内部ではすべてのやり取りがつながっています。前の仕事の内容が新しい回答に影響し、意図しない情報の混入や不正確な出力の原因になります。
• やりとりが長くなるほどコストが増える：ケース4で解説したトークンの仕組みと同じく、ひとつのチャットでやり取りを続けるほど処理するテキスト量が増え、ポイントや利用料金の消費が大きくなります。
• 精度も落ちていく：会話が長くなると、AIが参照する情報量が増えすぎて古い情報に引きずられたり、重要な指示を見落とすことがあります。

「AIにAIの事を聞かない」というのは、意外と知られていない重要なポイントです。

• AIは学習した時点までの知識しかない：AIの知識は「学習データ」として切り取られた過去のものです。リアルタイムで自分自身がアップデートされたことを認識しているわけではありません。
• 仕組み的に「自分を理解」しているわけではない：AIは自分を客観的に見ているのではなく、あくまで膨大なデータから「次に来るもっともらしい言葉」を繋げているだけです。
• 「知っていて当然」という期待が嘘を招く：AIは自分のことを聞かれると、期待に応えようとして「知っている風」に話してしまいます。その結果、もっともらしい嘘（ハルシネーション）をつくことがあります。
• 技術の進展が速すぎる：1年前の「AIにはできないこと」が、今では「当たり前にできること」になっているケースが多々あります。
  例：画像生成AI。1年前は高精度な文字出力が困難でしたが、現在は文字も高精度に出せるモデルが登場しています。しかし、古い知識を持つAIに聞くと「文字は苦手」と答えてしまいます。

「いい感じにして」「うまくやって」「何かいいの作って」といった指示は、 AIにとっても人間にとっても解釈が無限にある曖昧な指示です。

結果として、意図しない出力が返ってきて、やり直しが増えてしまいます。 5W1H（誰に、何を、いつ、どこで、なぜ、どのように）を意識して 具体的に指示することで、一発で期待に近い出力が得られます。