实测体验Claude 3.5升级版：AI首次实现直接操控电脑！

前言

就在10月22日晚上，Anthropic发布重大升级，发布Claude 3.5 Sonnet和Claude 3.5 Haiku新版本。

新的 Claude 3.5 Sonnet 在所有指标上都优于其他模型，包括 OpenAI 的 GPT-4 和谷歌的 Gemini 1.5 Pro。

Claude 3.5 Haiku 与之前的顶级 Claude 3 Opus 性能相当，同时保持了与其前代产品相似的成本和速度，可以说是当今速度最快、最具成本效益的型号。

令人兴奋的是，此版本引入了一项新的"Computer Use（计算机使用）"功能，这意味着 Claude 现在可以控制计算机。

详情可看👇

claude3.5 demo1

例如，如果我们给它下达"创建会议通知"之类的指令，它可以自动打开 Word、创建新文档、撰写通知并保存。一切都是自动化的——人类只需给出口头指令即可。

新功能实操体验

虽然这项计算机控制功能仍处于早期阶段，但 Anthropic 已发布演示以供测试和反馈。

如果你发现前几个步骤很困难，请随意跳至步骤 4。今天主要是想分享此功能的工作原理。

1. 需要一台运行 Windows 或 Linux 的计算机，最好能够直接访问美国服务器或者可以顺畅连接到美国网络

2. 安装Docker（通过在线教程应该很容易找到）

3. 为了更简单操作，只需打开终端并运行以下命令，记得将 %your_api_key% 替换成你的API密钥
   （文章后面会讲解如何获取Claude API_KEY）

官方demo仓库链接已放至文末，请自行​获取！

4. 在浏览器中输入http://localhost:8080，访问演示界面。

界面左侧是聊天区，右侧是电脑屏幕。

5. 在聊天区输入了一条指令：“使用桌面任务栏中的 LibreOffice，创建一个新电子表格，输入特斯拉过去 5 年的收入数据，并将其保存为 tesla2.ods”

6. 收到指令后，Claude首先对其进行分析，然后对桌面进行截图

7. 然后定位图标位置并相应地执行鼠标点击

8. 打开编辑软件后，再次截取屏幕截图并使用键盘命令输入数据

9. 最后完成特斯拉5年营收的数据录入并保存文件。

从这些操作中我们可以看出，Claude 的Computer Use（计算机使用）功能的工作原理是捕获屏幕，分析指令以确定鼠标和键盘操作，然后执行这些操作。

大致的流程是：

1. 接收用户指令
2. 捕获屏幕，分析指令，确定所需输入
3. 执行鼠标/键盘操作
4. 检查任务完成情况并在必要时重复

这需要 Claude 根据指令精确定位屏幕坐标并执行鼠标和键盘操作。目前只有 Claude 可以实现这一点。

该功能本质上将现有的 API 工具调用与鼠标和键盘控制实用程序集成在一起，由模型的高级屏幕分析功能提供支持。

以下是官方的演示视频：

claude demo2

Claude API_KEY获取

Claude API是Anthropic公司发布的一款强大的AI聊天机器人API，可以用于各种应用场景，如撰写小说、编写代码等，大多数时候都是面向于开发者。

用户可以通过与Claude API进行对话来获取相关信息帮助，由于Computer Use（计算机使用）功能目前更多面向于开发者，所以也需要API才能使用。

这里推荐用WildCard的API随心用服务，比较方便简单，如果有其他更好的方法，也欢迎在评论区评论!!!

WildCard API 的底层通过对接由 OpenAI官方 和 Azure OpenAI 提供的 OpenAI模型、由Amazon Bedrock提供的Anthropic Claude模型 从而实现用户无需注册 OpenAI 和 Anthropic 账号绑卡即可任意网络直连GPT-4/Claude 3。

用户可以在WildCard API 管理界面创建专属于WildCard的API Key，无需开卡，用多少充多少，如果充值过多了也可0手续费提现

Wildcard网址：https://chatgptshow.com/bewildcard.html
(复制到浏览器中打开)

然后即可通过https://api.gptsapi.net 域名下的接口访问不同功能和价位的AI模型，claude模型如下:

教程定价表可能出现未实时更新的情况，具体价格以wildcard平台api页面展示的定价表为准。

官方文档：
https://docs.anthropic.com/en/docs/build-with-claude/computer-use


Demo仓库：https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo