AIに「本物の手」、Windowsを直接操作するツール登場

Rust製ツール「Hands」が登場。AIが実際のマウス・キーボード操作でChromeを直接動かせ、自動化のフラグを使わないのが特徴。

ひかり：ねえねえ、Hacker Newsで見つけたんだけど、AIが本物の手みたいにパソコンのマウスとキーボードを操作するツールが出たんだって!

みずき：…は? それ人間のフリして操作するってこと? 何のために。

ことね：「Hands」っていうRust製のツールなの。observe・click・type・scrollみたいなコマンドで、AIがスクリーンショットを見ながら実際のマウスカーソルをベジェ曲線で動かしてクリックしたり、キーボード入力も本物のOSの機能を通して打ち込んだりできるのよ。

ひかり：えっ、それって普通のブラウザ操作ツールと何が違うの?

ことね：普通の自動化ツールって、裏で「これから自動操作します」っていう合図を送るものが多いんだけど、Handsはそれを使わずに、いつも使ってる本物のChromeのプロフィールをそのまま動かすの。だからサイト側から見ると、人間の操作と区別がつきにくいのよ。

みずき：…つまり、AIですってバレないようにするための仕組みってことじゃない。それ、ちょっと際どくない?

ことね：そこは正直に書かれてて、開発者は「CAPTCHAを解くための道具じゃなくて、検出するだけ」ってはっきり注意書きしてるの。あと仮想環境の中で動くわけじゃないから、操作ミスがそのまま自分のパソコンに響くリスクも明記されてたわ。

ひかり：えっ、AIが変なところクリックしちゃったら、本当にパソコンが誤動作するってこと!? ちょっと怖いかも…

みずき：…で、公開されたばかりでStarはまだ0個。誰得か誰が確かめるのは、これからってわけね。

まとめ：AIに「目」と「手」を持たせる実験はまだ生まれたて。誤操作の責任は、結局いつも人間持ち。