树莓派自诞生初期就一直被人们用来构建人工智能项目。树莓派官方在六月份推出的 Raspberry Pi AI 套件是非常强大的硬件，每秒能够执行十三万亿次计算操作。但它只与树莓派 5 兼容，并且需要一个单独的摄像头模块来捕获视觉数据。因此，树莓派官方近期发布了一款树莓派 AI 摄像头（Raspberry Pi AI Camera），来丰富摄像头产品线。
AI Camera 围绕带有集成 AI 加速器的 Sony IMX500 图像传感器构建。它可以运行各种流行的神经网络模型，具有低功耗和低延迟，让树莓派的处理器可以自由执行其他任务。
Raspberry Pi AI Camera 的主要特性包括：
– 1200 万像素索尼 IMX500 智能视觉传感器
– 传感器模式：4056×3040分辨率，每秒10帧；2028×1520分辨率，每秒30帧
– 1.55 微米 × 1.55 微米单元尺寸
– 78 度视场角，可手动调节焦距
– 集成 RP2040，用于神经网络和固件管理
参数列表
1200 万像素索尼 IMX500 智能视觉传感器，配备强大的神经网络加速器
帧率：2×2 binning: 2028×1520 10位 30fps
全分辨率: 4056×3040 10 位 10fps
7.857 毫米传感器尺寸
1.55 微米 × 1.55 微米像素尺寸
1.55 微米 × 1.55 微米像素尺寸
F1.79 焦距比
25×24×11.9 毫米模块尺寸
集成 RP2040 用于神经网络固件管理
经过广泛的合规性测试，符合多个区域和国际标准。与所有树莓派型号兼容，Raspberry Pi AI Camera 将至少持续生产至 2028 年 1 月。
购买链接：http://link.nxez.com/buy/rpi-ai-camera
AI Camera 附带了的常规摄像头带状电缆，可以连接到所有树莓派型号，包括树莓派 Zero。
利用索尼的人工智能工具套件，可将使用 TensorFlow 或 PyTorch 等框架的现有神经网络模型转换为可在人工智能相机上高效运行的模型。此外，还可以设计新的模型，以利用人工智能加速器的特定功能。
内部构造
要利用集成的 AI 加速器，我们首先必须上传一个模型。在旧的树莓派上，这个过程使用 I2C 协议，而在树莓派 5 上，我们可以使用更快的定制双线协议。链路的摄像头端由板载 RP2040 微控制器管理；附加的 16MB 闪存设备缓存最近使用的模型，允许我们在许多情况下跳过上传步骤。
一旦传感器开始流式传输，IMX500 就像 Raspberry Pi Camera Module 3 上的传感器一样，作为一个标准的 Bayer 图像传感器运行。集成的图像信号处理器（ISP）在传感器帧上执行基本的图像处理步骤（主要是 Bayer 到 RGB 的转换和裁剪/缩放），并将处理后的帧直接输入到 AI 加速器。一旦神经网络模型处理完帧，其输出会与 Bayer 帧一起通过 CSI-2 摄像头总线传输到树莓派主机。
与 libcamera 集成
AI Camera 的一个关键优势是它与树莓派摄像头驱动无缝集成。在后台，libcamera 使用我们自己的 ISP 处理 Bayer 帧，就像它对任何传感器一样。
我们还解析神经网络结果以生成输出张量，并将其与处理过的 Bayer 帧同步。这两个都会在 libcamera 的请求完成步骤中返回给应用程序。
树莓派摄像头模块框架（Picamera2 和 rpicam-apps，以及任何基于 libcamera 的应用程序）可以检索与传感器帧正确同步的输出张量。下面是一个在 rpicam-apps 下运行的对象检测神经网络模型 （MobileNet SSD） 的示例，该模型以 30fps 的速度对 1080p 视频执行推理。
这个演示使用了 rpicam-apps 中的后处理框架，从输出张量生成对象边界框并在图像上绘制它们。这个阶段的实现不超过300行代码。使用Python和Picamera2构建的等效应用程序需要更少的代码行数。
下面另一个示例显示了一个姿态估计神经网络模型（PoseNet）在 1080p 视频上以 30fps 的速度进行推理。
尽管这些示例是使用树莓派4 录制的，但它们在树莓派 Zero 上也具有相同的推理性能！
树莓派官方与索尼一起，发布了一些为 AI Camera 优化的流行视觉神经网络模型，以及使用 Picamera2 的视觉示例脚本。
查看我们的入门指南。在那里，你将找到安装 AI Camera 硬件、设置软件环境以及运行我们模型库中的示例和神经网络的说明。
相关文档
入门指南：
https://www.raspberrypi.com/documentation/accessories/ai-camera.html
模型库：
https://github.com/raspberrypi/imx500-models
索尼的 AITRIOS 开发者网站有更多的关于 IMX500 传感器的技术资源，特别是 IMX500 转换器和 IMX500 封装文档，这对于想要在AI摄像头上运行自定义训练网络的用户非常有用。
AITRIOS 开发者网站：
https://developer.aitrios.sony-semicon.com/en/raspberrypi-ai-camera
IMX500 转换器：
https://developer.aitrios.sony-semicon.com/en/raspberrypi-ai-camera/documentation/imx500-converter
IMX500 封装文档：
https://developer.aitrios.sony-semicon.com/en/raspberrypi-ai-camera/documentation/imx500-packager
发表评论