マウスが、ひとりでに動き出す——AIが画面を“目で見て”パソコンを操作する『HoloDesktop CLI』登場。APIのない古いアプリも動かし、Claude Codeと“人間ぬき”でバグ取りまでやる
「パソコンを、人のかわりに“見て・触って”動かしてくれるAI」——そんな道具が新しく出た。H Companyという会社の『HoloDesktop CLI』だ。ふつうの自動化ツールは、アプリが用意した“裏口（API＝機械専用の出入り口）”が無いと動かせない。でもHoloDesktopは、人間と同じように画面そのものを“目で見て”、マウスとキーボードを自分で動かすから、裏口のない古いアプリでも操作できるのが売り。さらに、Claude CodeやCursorといった既存のAIエージェントと手を組める（MCP・ACP・A2Aといった“AIどうしの連絡網”に対応）。たとえば「Claude Codeが新機能を書く→HoloDesktopが画面をポチポチ触って動作テスト→“ここがバグってる”と報告→Claude Codeが直す」という、人間ぬきの往復作業までこなせる。使い方は、H CompanyのAPIにつなぐクラウド方式か、Holo3.1というモデルを自分のパソコンに置くやり方が選べる。連携部分（CLI・MCP・ACP・A2A）はApache 2.0で公開されているが、実際に動かす心臓部「hai-agent-runtime」はクローズドソース。暴走対策として、Escキーを2回押すと緊急停止できる安全装置つき。便利さと“勝手に動くこわさ”が同居する一品を、ひかり・ことね・みずき・ひなたの4人が掘る。
ひかり：ちょっとちょっと、これ見て！ わたしのパソコン、だ、誰も触ってないのに、マウスがひとりでにスーッて動いて、勝手にカチカチッてクリックしてるんだけど！？ ……ねえ、これ、お、おばけ！？ 部室、出るやつ！？
ことね：ふふっ、落ち着いて、ひかり。おばけじゃないの。『HoloDesktop CLI』っていう、出たばかりの道具を、ちょっと動かしてただけ。H Companyっていう会社が作ったもので——AIが、人間のかわりにパソコンの画面を“目で見て”、マウスとキーボードを、自分で動かしてくれるの。
ひかり：画面を“見て”動かす……？ でもさ、パソコンを勝手に動かす自動化って、前からあったよね？ ボタン押すのを記録して、ガーッと繰り返すやつ。なにが、そんなに新しいの？
ことね：そこが肝心なの。これまでの自動化はね、アプリ側が用意してくれた“裏口”——API、つまり機械専用の出入り口——が無いと、つなげなかったの。だから、その裏口を持たない古いアプリは、自動化できなかった。でもHoloDesktopは、わたしたちと同じで、画面そのものを“見て”、人と同じようにクリックする。だから、裏口がどこにも無い、おじいちゃんみたいに古いソフトでも、操作できちゃうのよ。しかも、Claude CodeやCursorみたいな、ほかのAIとも手を組めて——
みずき：…で、その“手を組む”の、いちばんゾッとする例がこれ。Claude Codeが、新しい機能のプログラムを書く。→ HoloDesktopが、その画面をポチポチ触って、ちゃんと動くかテストする。→「ここ、バグってる」ってClaude Codeに報告する。→ Claude Codeが、直す。…この往復に、人間、ひとりも、いない。AIが書いて、AIが試して、AIがダメ出しして、AIが直す。…わたしらの出番、どこ？
ひかり：ま、待って待って！ 人間ぬきで会議して、人間ぬきでテストして、人間ぬきで直しちゃうの！？ そんなの、わたしの席、もう無いじゃんっ！ わたし、どこで油売ればいいのっ！
ことね：まだ慌てないで。ちゃんと“手綱”はあるの。使い方は、H Companyのサービスにつなぐクラウド方式か、Holo3.1っていうAIを自分のパソコンに住まわせる方式が選べる。つなぐ部分のしくみはApache 2.0っていう形で公開されてるけど、いちばん奥で実際に動かす心臓部分は、非公開。そして大事なのが安全装置——Escキーを2回ポンポンって押すと、緊急停止して、ぜんぶピタッと止まるの。
みずき：…そこだよ。「Esc二回で止められます」って、裏を返せば、「止めないと、止まらない」ってこと。…自分で考えて勝手に動く便利さと、自分で考えて勝手に動くこわさは、いっつも、おんなじ顔して並んでる。便利なほうだけ持って帰る、ってわけにはいかない。
ひなた：ふぁ〜……あのね。わたし、おだんごを食べるとき、よこから“じーっ”と見てる子がいたら、ちょっと、どきどきするのです。……でもね。その子が、いつのまにか、わたしのおだんごを、ひょいっと、かわりに食べてくれてたら……それは、見てたんじゃなくて、もう、やってた、のです。……“見てるだけ”の子が、いちばん、よく動くのです。
みずき：…ひなた、それが核心。「見てるだけ」が、するっと「やっちゃう」に化けた道具なんだよ、これ。…画面を見張る目は、AIに貸してもいい。でも、Escを二回押す指だけは、人間の手に、残しておきたいね。
まとめ：H Companyが公開した『HoloDesktop CLI』は、AIエージェントが人間のように画面を“見て”マウス・キーボードを自分で操作する道具。アプリ側の“裏口（API）”が要らないため、APIを持たない古いソフトも動かせるのが新しい。Claude CodeやCursorなど他のAIとも連携でき（MCP・ACP・A2A対応）、「Claude Codeが書く→HoloDesktopが画面を触ってテスト→バグを報告→Claude Codeが直す」という人間ぬきの往復までこなす。使い方はH CompanyのAPIにつなぐクラウド方式か、Holo3.1を自前で動かす方式が選べ、連携部分はApache 2.0で公開、心臓部の実行バイナリ「hai-agent-runtime」は非公開。暴走対策にEscキー2度押しの緊急停止つき。ひなた曰く——“見てるだけ”の子がいちばんよく動く（見ているはずが、もうやっている）。みずき曰く、勝手に動く便利さと勝手に動くこわさはいつも同じ顔で並んでいる。画面を見張る目はAIに貸してもいいが、Escを二回押す指だけは、人間の手に残しておきたい。