微軟希望讓你直接在Windows中與Copilot共享應(yīng)用窗口

當(dāng)你將鼠標(biāo)懸停在 Windows 11 任務(wù)欄上的應(yīng)用程序時,你可以將應(yīng)用窗口與 Copilot 分享,并開始提問,比如如果你在 Outlook 中如何回復(fù)郵件。盡管聽起來有些可笑,但這正是 Copilot Vision 的重點。
我在我的 Intel Lunar Lake Copilot+ PC 上發(fā)現(xiàn)了“與 Copilot 分享”功能,但它正在向所有人推廣,并且不需要這些“AI” PC。也就是說,如果你有非 AI PC,包括 AMD 或 Intel,你仍然會在任務(wù)欄上看到“與 Copilot 分享”,這很合理(稍后會詳細(xì)說明)。
“與 Copilot 分享”是隨著 Windows 11 KB5072033(構(gòu)建 26200.7462 / 26100.7462 或更高版本)推出的,默認(rèn)是開啟的,但如果你不喜歡這個想法(你可能會),我找到了一種可以關(guān)閉它的方法。
任務(wù)欄上的“與 Copilot 分享”是如何工作的?
在我們的測試中,Windows Latest 觀察到,當(dāng)我將鼠標(biāo)懸停在任務(wù)欄上的打開應(yīng)用程序時,“與 Copilot 分享”就會出現(xiàn)。它實際上會出現(xiàn)在任何應(yīng)用窗口上,包括 Cloudflare WARP,這是一種類似 VPN 的服務(wù)。我還發(fā)現(xiàn)了 Netflix 的切換開關(guān),但由于其內(nèi)容受 DRM 保護(hù),因此無法正常工作。

當(dāng)你分享任何應(yīng)用窗口時,Copilot 會使用基于云的 AI 分析該應(yīng)用的內(nèi)容并提供見解。例如,我在后臺打開了一封 Outlook 郵件,并與 Copilot 分享了該窗口。Copilot 開始讀取我已經(jīng)打開的郵件,但它無法瀏覽其他郵件、移動或點擊任何地方。

這因為 Copilot Vision 是一個“只讀”和“只可口述”的功能,這意味著 Copilot 只能看到你所看到的內(nèi)容,并可以提供“協(xié)助”。
例如,我問 Copilot 如何回復(fù)郵件,它告訴我查找一個根本不存在的“發(fā)送”按鈕。此時,Copilot 是在產(chǎn)生幻覺。然后,我特意要求它展示 如何 和在哪里 點擊。這一次,Copilot Vision 正常工作。

Copilot 激活了它自己的“光標(biāo)”,出現(xiàn)在屏幕上,然后突出顯示我需要點擊的地方。謝天謝地,Copilot 正確分析了我的屏幕,告訴我使用“回復(fù)”按鈕,而不是“發(fā)送”,后者在屏幕上并不存在,但上次推薦了。
接著,我問 Copilot 如何刪除郵件,它又一次突出顯示了正確的選項。

微軟稱之為“引導(dǎo)式協(xié)助”,一份支持文檔確認(rèn) Copilot Vision 旨在幫助用戶,但它無法處理受 DRM 保護(hù)或敏感的內(nèi)容。
微軟是如何將“與 Copilot 分享”功能添加到任務(wù)欄上的所有應(yīng)用窗口的?
Windows Latest 發(fā)現(xiàn)微軟使用名為“Windows.UI.Shell.ShareWindowCommandSource”的 Windows API。
根據(jù)一份支持文檔,該 API 允許通信應(yīng)用程序接入 Windows 11 的 Shell(如任務(wù)欄或共享用戶界面),以便 Windows 可以顯示 開始共享 / 停止共享 命令,并將用戶選擇的確切 WindowId 傳遞給應(yīng)用。
該 API 應(yīng)該由 Teams 等應(yīng)用使用,但微軟特別為 Copilot 使用它。這不是一個開放的 API,開發(fā)者無法使用。最大的限制是,并不是每個人都可以使用該 API,因為它被標(biāo)記為“限量訪問功能”。
當(dāng)一個 API 被標(biāo)記為“限量訪問功能”時,意味著微軟必須批準(zhǔn)你,并給開發(fā)者提供一個解鎖令牌,才能在真實產(chǎn)品中使用。

換句話說,如果 OpenAI 想要復(fù)制相同的行為,它需要聯(lián)系微軟并等待批準(zhǔn)。另一方面,微軟可以利用其“限量訪問” API,這些 API 是為 Teams 等通信應(yīng)用設(shè)計的,來為自己的 AI 助手服務(wù)。
這就是為什么我們只能看到 Copilot 在使用它,因為微軟可以自己(或選擇的合作伙伴)授予訪問權(quán)限,Copilot 然后可以在會話中以“共享命令源”注冊。
我可以禁用 Windows 11 任務(wù)欄上的“與 Copilot 分享”嗎?
是的,當(dāng)“與 Copilot 分享”出現(xiàn)在你的 PC 上時,你可以在 Windows 11 任務(wù)欄上禁用它。
如果你去 設(shè)置 > 個性化 > 任務(wù)欄 并展開“任務(wù)欄行為”,你會發(fā)現(xiàn)一個新的開關(guān)“與我的任務(wù)欄共享任何窗口。”它有 Teams、Zoom(如果獲得微軟批準(zhǔn))等通信應(yīng)用的選項。它還新增了一個“聊天代理應(yīng)用”的開關(guān)。
你可以選擇“通信應(yīng)用”或“不顯示”,以阻止任務(wù)欄顯示“與 Copilot 分享”選項。

在大多數(shù)情況下,此選項默認(rèn)設(shè)置為“所有應(yīng)用”,這也解釋了為什么“與 Copilot 分享”會在我的 PC 上突然彈出。

在官方發(fā)布說明中(上面的截圖),微軟確認(rèn)用戶在更新后將看到一個“與 Copilot 共享其窗口的選項”,但也指出該功能正在逐步推出。

4943986