Chrome Canaryでブラウザ内蔵LLM（Gemini Nano）を実際に動かしてみた

Chrome版ブラウザ内蔵のLLMがすでに使えることを知った。外部APIを使うことなく、ローカルで推論が走るのだ。開発者がWebアプリでAIを使った機能（要約・翻訳・生成など）を提供しやすくするためのWebプラットフォームAPI（Built-in AI / Prompt API）が提供されている。

まだ実験中だが、Chrome Canary版で実際にGeminiNanoが動く。
少々導入に手こずったが、Geminiと対話しながらChromeCanary でGemini Nanoが動作するようになった。Canaryはその名の通り開発途中のブラウザで、仕様変更も頻繁に入る。そのため手順どおりに進まなかったり、情報がすぐに古くなったりと、なかなか難儀した。このあたりの導入方法やトラブルシューティングは、別途まとめてある。

正直、あと一年もしないうちにこうしたブラウザにGeminiAIが統合されるようになってくるはずだから待っていればいいのだけれど、とにかくブラウザ版LLMの操作を見てみたかった。

環境が整ったので、いろいろ試してみた。まず手を付けたのは、比較的実装しやすそうなChrome拡張機能だ。Web記事を読んで要約し、タグ候補を生成し、それらを自分の関心と照合してマッチ度を表示する、という機能を持たせた。

実装にはGoogle Antigravityを使い、いわゆるバイブコーディング。たたき台は驚くほど早くできた。最初は要約とタグ出力だけだったが、そこからマッチング機能を追加し、さらにPDFも読めるように改良していった。

コーディング作業そのものは、ほぼAntigravity任せ。こちらは対話しながら最後の検証と確認をするだけで、途中で文句を言いつつ出来上がったものをチェックして微調整する、という流れだ。

結果として、短時間で実用になるものができた。しかも、無料・無制限・オフライン動作という条件で動く。

その後も、翻訳に要約やポイント抽出を組み合わせたツールなどを一日でいくつか試作して遊んでみた。内蔵型なら個人の情報をサーバーに送らなくても済む。セキュリティの面でも安心だ。おそらく一年後には、こうしたツールが当たり前のように使われる世界になっているだろう。

確かに、サーバーサイドで動く大規模LLMの出力には及ばない面はある。それでも、要約や翻訳といった用途では十分に実用になることは確認できた。

いい時代だ。