近日,索尼公司宣布,已研制出两款具备AI处理功能的图像传感器IMX500和IMX501。新款传感器可以在实现高速AI处理的同时只提取必要数据,并可根据用户的需求选择不同的AI模型。
据了解,索尼新款AI图像传感器的有效像素约为1230万,可以捕捉广阔视角的图像信息。除了传统的图像传感器操作电路外,新款传感器的逻辑芯片还配备了索尼原发的数字信号处理器,专门用于AI信号处理,并为AI模型存储。这种配置无需高性能处理器或外部存储,可以助力边缘AI系统的开发。
此外,新款AI图像传感器像素芯片采集的信号通过图像信号处理器进行处理,并在逻辑芯片的处理层进行AI运算。经过处理后,传感器将提取的信息作为元数据(属于图像数据的语义信息),而不是图像信息输出。这种设计可以减少需要处理的数据量,从而有利于保证用户的隐私安全。
以往,用户在使用传统的图像传感器录制视频时,需要发送每一帧的视频数据进行AI处理,从而导致数据传输量大,同时难以实时呈现结果。
相比之下,索尼的新款AI传感器在逻辑芯片上进行图像信号处理和高速AI运行处理,可以在一个视频帧内完成整个过程。这种设计有利于在录制视频的同时保证高精度、实时的目标追踪。
在AI模型方面,新款图像传感器可以提供不同的AI模型供用户选择。用户可以将自己选择的AI模型写入嵌入式内存中,并根据需求或系统使用位置对其进行改写和更新。
例如,如果用户在商场安装多个搭载新款传感器的摄像头,那么这些摄像头可以在不同的环境下使用。当摄像头安装在商场入口时,可用于计算访客人数;当摄像头安装在商店的货架上时,可用来检测库存短缺;当摄像头安装在天花板上时,可用来绘制商店客流的热力图。
同时,用户可以随时改写这些摄像头中的AI模型,比如从一个用于检测热力图的模型改成另一个用于识别消费者行为的模型。
索尼表示,新款图像传感器拓宽了AI摄像头的研发空间,并将有望广泛应用于零售和工业设备行业。