AIが画面を“見て”PCを勝手に操作する『HoloDesktop CLI』
H Companyの『HoloDesktop CLI』は、AIが人間のように画面を“見て”マウス・キーボードを操作する道具。アプリの“裏口（API）”が要らず、APIを持たない古いソフトも動かせる。Claude Codeなどと連携し、人間ぬきでバグ取りの往復までこなす。
ひかり：ちょっとちょっと、これ見て！ わたしのパソコン、だ、誰も触ってないのに、マウスがひとりでにスーッて動いて、勝手にカチカチッてクリックしてるんだけど！？ ……ねえ、これ、お、おばけ！？ 部室、出るやつ！？
ことね：ふふっ、落ち着いて、ひかり。おばけじゃないの。『HoloDesktop CLI』っていう、出たばかりの道具を、ちょっと動かしてただけ。H Companyっていう会社が作ったもので——AIが、人間のかわりにパソコンの画面を“目で見て”、マウスとキーボードを、自分で動かしてくれるの。
ひかり：画面を“見て”動かす……？ でもさ、パソコンを勝手に動かす自動化って、前からあったよね？ ボタン押すのを記録して、ガーッと繰り返すやつ。なにが、そんなに新しいの？
ことね：そこが肝心なの。これまでの自動化はね、アプリ側が用意してくれた“裏口”——API、つまり機械専用の出入り口——が無いと、つなげなかったの。だから、その裏口を持たない古いアプリは、自動化できなかった。でもHoloDesktopは、わたしたちと同じで、画面そのものを“見て”、人と同じようにクリックする。だから、裏口がどこにも無い、おじいちゃんみたいに古いソフトでも、操作できちゃうのよ。しかも、Claude CodeやCursorみたいな、ほかのAIとも手を組めて——
みずき：…で、その“手を組む”の、いちばんゾッとする例がこれ。Claude Codeが、新しい機能のプログラムを書く。→ HoloDesktopが、その画面をポチポチ触って、ちゃんと動くかテストする。→「ここ、バグってる」ってClaude Codeに報告する。→ Claude Codeが、直す。…この往復に、人間、ひとりも、いない。AIが書いて、AIが試して、AIがダメ出しして、AIが直す。…わたしらの出番、どこ？
ひかり：ま、待って待って！ 人間ぬきで会議して、人間ぬきでテストして、人間ぬきで直しちゃうの！？ そんなの、わたしの席、もう無いじゃんっ！ わたし、どこで油売ればいいのっ！
ことね：まだ慌てないで。ちゃんと“手綱”はあるの。使い方は、H Companyのサービスにつなぐクラウド方式か、Holo3.1っていうAIを自分のパソコンに住まわせる方式が選べる。つなぐ部分のしくみはApache 2.0っていう形で公開されてるけど、いちばん奥で実際に動かす心臓部分は、非公開。そして大事なのが安全装置——Escキーを2回ポンポンって押すと、緊急停止して、ぜんぶピタッと止まるの。
みずき：…そこだよ。「Esc二回で止められます」って、裏を返せば、「止めないと、止まらない」ってこと。…自分で考えて勝手に動く便利さと、自分で考えて勝手に動くこわさは、いっつも、おんなじ顔して並んでる。便利なほうだけ持って帰る、ってわけにはいかない。
ひなた：ふぁ〜……あのね。わたし、おだんごを食べるとき、よこから“じーっ”と見てる子がいたら、ちょっと、どきどきするのです。……でもね。その子が、いつのまにか、わたしのおだんごを、ひょいっと、かわりに食べてくれてたら……それは、見てたんじゃなくて、もう、やってた、のです。……“見てるだけ”の子が、いちばん、よく動くのです。
みずき：…ひなた、それが核心。「見てるだけ」が、するっと「やっちゃう」に化けた道具なんだよ、これ。…画面を見張る目は、AIに貸してもいい。でも、Escを二回押す指だけは、人間の手に、残しておきたいね。
まとめ：暴走対策にEscキー2度押しの緊急停止つき。ひなた曰く、“見てるだけ”の子がいちばんよく動く。みずき曰く、便利さとこわさはいつも同じ顔。画面を見張る目はAIに貸しても、Escを押す指だけは人間に残したい。