- 01Gemini 1.5 Proが100万トークン対応を発表した2024年から、コンテキスト競争は止まらない。
- 02Meta Llama 4 Scoutは1000万トークン、将来的にはさらに拡張が予告されている。
- 03「すべてを読めるAI」の時代が来たとき、私たちの情報処理はどう変わるのか。
Gemini 1.5 Proが100万トークン対応を発表した2024年から、コンテキスト競争は止まらない。
Meta Llama 4 Scoutは1000万トークン、将来的にはさらに拡張が予告されている。
「すべてを読めるAI」の時代が来たとき、私たちの情報処理はどう変わるのか。
#01 何が起きたのか
コンテキストウィンドウ（AIが一度に読めるテキスト量）の拡大競争が続いています。GPT-3.5が4,000トークン（約3,000語）だった2022年から、2024年にGoogleが100万トークン（約750,000語）対応のGemini 1.5 Proを発表。2025年にはMeta Llama 4 Scoutが1,000万トークンに達し、長編小説100冊分以上のテキストを一度に処理できる水準になりました。
ただし、「長くなればなるほど賢くなる」わけではない問題も明らかになっています。コンテキストの中央部分は先頭・末尾と比べて参照される確率が低下する「Lost in the Middle問題」が研究で指摘されており、単純にウィンドウを長くするだけでは十分ではないことが分かっています。各社はこの問題への対処として「Retrieval Augmented Generation（RAG）」との組み合わせや、アテンション機構の改良に取り組んでいます。
#02 なぜ重要なのか
長いコンテキストウィンドウは「チャンク分割」という煩雑な前処理を不要にします。これまでは長い文書をAIに渡す際、適切なサイズに分割してから質問する技術的なノウハウが必要でした。100万〜1000万トークンが当たり前になれば、「まず全部読んで、それから答えて」という人間に近い処理が可能になります。
法律・医療・金融などの専門領域では、膨大な判例・論文・規制文書を丸ごとAIに読ませた上で質問できるようになります。これは専門家の調査・分析作業を根本から変える可能性を持ちます。
#03 で、私たちの生活にどう影響?
個人レベルでは「自分の全メール・日記・メモを一括でAIに読ませて分析する」ことが現実的になります。「あのとき誰かに何を伝えたか」「自分の思考のパターン」「重要な決定の経緯」を、AIが過去の記録をもとに整理・提示してくれる「パーソナルAI記憶」の実現が近づいています。
Geminiユーザーじゃないから実感薄いけど、「チャンク分割いらなくなる」は地味にデカい変化だと思う。
Claude Codeでも長いコードベース丸投げできたら作業が変わりそうで、ちょっと楽しみ。