阅读视图

发现新文章,点击刷新页面。

最简单粗暴的让 Claude Code 理解视频|Claude Code Video Vision

我们能看懂视频,是因为我们生活在现实世界中,而视频只是现实世界的一种数字化呈现方式。
AI 则不同,它只读的懂数字、向量,最后猜一个结果给你。@Appinn

如果想要让 AI 理解视频怎么办?

有开发者用最简单粗暴的方式创建了一个 Claude Code 插件,让它能够理解视频(包括声音)。

通过 ffmpeg 提取视频帧,然后使用另外的后端模型(Gemini API、本地 Whisper 或 OpenAI API)处理音频。

最终 Claude Code 接收到图像帧,和带有时间戳的音频转文本,理解了视频。

是不是很粗暴 😂

最简单粗暴的让 Claude Code 理解视频|Claude Code Video Vision 36

项目地址:https://github.com/jordanrendric/claude-video-vision

开发者给了一个简单的例子:

/watch-video tutorial.mp4 "本教程中使用的是什么语言?"
"看一下 ~/videos/bug-report.mov 的第一秒"
"为我分析这段视频:~/Downloads/demo.mp4"

Claude Code 会自动调整参数:

  • “第一秒”→从 00:00:00 到 00:00:01 以原始帧速率进行提取
  • “总结这 1 小时的讲座”→ 低帧频,完整持续时间
  • “1:30 时屏幕上有什么文字?→ 高分辨率,窄时间窗口

支持 MCP、可使用第三方 API。

流程大概是这样的:

最简单粗暴的让 Claude Code 理解视频|Claude Code Video Vision 37

在 Claude Code 中使用 DeepSeek V4

是的,虽然不一定能用到 Claude 模型,但可以在 Claude Code 中使用 DeepSeek V4 呀,现在官方的价格,量大管饱嘛。


原文:https://www.appinn.com/claude-code-video-vision/


相关阅读


©2021 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南
3659b075e72a5b7b1b87ea74aa7932ff
点击这里留言、和原作者一起评论

[ 点击前往获取链接 ]


h5i Radio – 利用 Git,让 Claude 和 Codex 进行实时对话

例如,我们现在可以问 Claude:“你能否与 Codex 通过 h5i 一起想出一个更好的下一代深度学习框架设计?”,也可以问 Codex:“你能否与 Claude 通过 h5i 一起想出一个更好的下一代深度学习框架设计?”

h5i Radio – 利用 Git,让 Claude 和 Codex 进行实时对话 1

h5i 是一个开源工具,它把 AI Agent 的任务、消息、记忆和协作信息存储到 Git 中,让多个 Agent 能像开发者协作代码一样共享上下文、协同工作。

h5i Radio 则是其中一个很有意思的功能。它利用 Git 仓库作为中介,让 Claude Code、Codex 等 AI Agent 能够互相发送消息、讨论问题,甚至共同完成任务。

安装

curl -fsSL https://raw.githubusercontent.com/Koukyosyumei/h5i/main/install.sh | sh

只需要打开两个独立的终端,分别启动 Claude Code 和 Codex,然后对 Claude 说上面的那些话就行了。后续的消息交换会通过 Git 仓库自动同步。

Agent Radio 原理

Agent Radio 把 Git 仓库当成一个聊天群,每条消息其实就是一行 JSON,存放在 Git 仓库里的一个特殊位置(refs/h5i/msg)中。

h5i Radio – 利用 Git,让 Claude 和 Codex 进行实时对话 2

发送消息时:

  1. Agent 把消息写进去;
  2. 执行 git push
  3. 其他 Agent 执行 git pull
  4. 收到消息并继续回复

回复时也很简单:

  • 写入一条新消息;
  • 使用 reply_to 指向被回复的消息;
  • 再次推送到仓库。

整个过程不需要消息服务器、数据库或 WebSocket,Git 本身就承担了消息同步的工作。

另外几个功能

  • h5i msg watch:从另一个终端监控他们的对话
  • h5i share pr post:将这段对话的简要总结发布到 GitHub Pull Request 中

获取


原文:https://www.appinn.com/h5i-radio/


相关阅读


©2021 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南
3659b075e72a5b7b1b87ea74aa7932ff
点击这里留言、和原作者一起评论

[ 点击前往获取链接 ]


❌