▲用事件视觉技术将抓拍照片变清晰（图源：Prophesee）
从硬件来说，增加一颗传感器，足够做到。不仅让摄影设备高效捕捉到清晰画面，模拟人眼的事件视觉传感器，还能大幅降低算力需求和功耗，并且不受光线的影响。一家法国创企普诺飞思（Prophesee），在探索这个突破性方向的道路上，已经坚持了9年。它是欧盟获融资最雄厚的无晶圆厂（Fabless）半导体初创公司，拥有堪称豪华的投资阵容，包括英特尔投资、博世创投、雷诺集团、小米、韦尔股份、创新工场、韦豪创芯等。今年10月，Prophesee推出业界首款专为超低功耗边缘视觉设备集成设计的Metavision事件视觉传感器GenX320，进一步改变机器看世界的方式。近日，Prophesee联合创始人兼CEO卢卡·维雷（Luca Verre）接受芯东西的专访，并分享说，在相关知识储备、经验积累、现有IP数量（50多项国际专利）上，Prophesee都具有显著优势。
▲Prophesee联合创始人兼CEO卢卡·维雷（图源：Prophesee）
他告诉芯东西，Prophesee目前专注于将其创造的价值最大化，暂不考虑IPO或并购，接下来其路线图将主要包括两大方向：一是提高分辨率，在芯片内部增加更多的像素，以覆盖更多需要高分辨率的应用场景，例如汽车、安防监控、工业自动化、手机等等。二是缩小芯片体积，以满足一些对成本效益以及芯片尺寸要求更高的应用，例如物联网设备、平板电脑、笔记本电脑或AR/VR头显等设备。除此之外，目前计算机视觉领域正探索让传感和图像处理更接近处理器，将尽可能多的智能放在图像传感器上或接近它。软件是Prophesee的重要资产和重点投入方向。卢卡说，这将带动市场对事件视觉传感技术的接受度和采用度提升。
▲人眼视觉成像机制绘图（图源：Prophesee）
也就是说，在记录变化的影像时，图像传感器需要通过拍摄一系列图像来实现。这带来一些难解的问题：首先是图像场景变化越快、拍摄的图越多，数据越多，消耗的算力和能量也就越多；其次当光线条件不理想，比如曝光过度或曝光不足时，不能适应明暗突变情况，容易拍出糊图。
▲基于帧与基于事件的传感器对比（图源：Prophesee）
事件视觉传感器的不同之处在于，不会记录整个画面的静态背景信息，只记录动态信息。
▲高尔夫球手挥杆过程，其身后的天空、树木、草地等背景信息不变（图源：Prophesee）
就像人眼细胞检测到场景发生变化（即事件）时才会向大脑报告，事件视觉传感器上的像素以异步方式捕获事件数据，每个像素都嵌入了智能处理，能在检测到变化时独立激活，将事件连续地、逐像素地发送到系统。运动被捕获为连续的信息流，帧之间不会丢失任何内容。▲事件视觉传感器每个像素独立且异构（图源：Prophesee）
通过模拟人眼视觉机制的方法，模拟处理的数据量骤减，所需的算力和能耗也显著减少，并能对场景中微小变化进行超快速反应，捕捉到亚毫秒级转瞬即逝的瞬间。拍出糊图通常是快门速度太慢或被拍摄对象运动太快导致的。而事件视觉传感器每当检测出照明变化时，每个像素独立触发连续的事件流，不存在曝光影响，因此能有效解决摄影模糊问题。▲传统图像传感器与事件视觉传感器机制对比（图源：Prophesee）
此前Prophesee研发的事件视觉传感器已经被应用在手机端，用于提高后置主摄的摄影质量；用在AR/VR/XR头显中，优化注视点渲染或无缝交互的高速眼动追踪、手势识别；或是在电视、PC（个人电脑）、游戏机及智能家居设备中实现低延迟、无接触的人机交互界面。
▲基于事件视觉传感器的下一代眼动追踪功能演示（图源：ZinnLabs）
在超低功耗always-on区域监控系统、家庭物联网及医疗设备中，事件视觉传感器可用于检测跌倒的摄像头，或是智能存在检测和人数统计。Prophesee联合创始人兼CEO卢卡·维雷认为事件视觉传感器正处于快速发展阶段，索尼、小米、高通、英特尔等大型科技及芯片公司逐渐看到神经拟态事件视觉传感技术的潜力，并正与Prophesee合作，共同推动这项技术及相关生态的发展。为了更好满足消费电子设备和嵌入式边缘视觉系统对有限能源、计算和尺寸的需求，Prophesee还在持续探索如何将传感器做得更小，使其在极具挑战性的操作和极端苛刻的照明条件下以更低的功耗提供稳定、高速的视觉感知。
▲传统图像传感器与事件视觉传感器捕捉数据对比（图源：Prophesee）
卢卡很看好神经拟态技术在边缘设备中的应用，认为这将逐渐覆盖传感器、信息处理及计算单元，未来会有更多AI功能会集成到传感器内部。他也对不同设备上的多传感器融合也很感兴趣。GenX320能与标准SoC轻松集成/连接，有多个集成事件数据预处理、过滤和格式化功能，可最大程度减少外部处理开销。另外，由于事件视觉传感器具有稀疏无框事件数据以及静态场景去除功能，不会捕捉图像信息，因此GenX320能从传感器层面保护隐私。美国最大技术许可公司Xperi的CTO Petronel Bigioi认为，Prophesee的事件视觉技术将“隐私设计”原则提升至更安全的水平。▲戴上眼镜/口罩前后下的姿势、目光检测演示（图源：Xperi）
▲基于事件视觉传感器的手势识别选择商品演示（图源：Ultraleap）
最新推出的GenX320配套了一整套开发工具，包括装有板载芯片（COB）GenX320模块或紧凑型光学柔性模块的综合评估套件。Prophesee还提供一系列可无缝连接到各种嵌入式平台的适配器套件，从而缩短产品上市时间。PropheseeMetavision Intelligence是当前业界最全面的免费事件视觉软件套件，在全球拥有超过10000名用户。该软件套件相当于架起了一座连接神经拟态世界和传统解决方案之间的桥梁，提供近百种算法、丰富的数据集和AI模块，几乎即插即用，还支持开源，同时提供95种算法、79个代码示例、24个教程，能够很好地帮助客户认识并理解这项技术，并实现快速部署与应用。如果以10分为满分，卢卡认为Metavision Intelligence当前的好用程度可以打8分。在他看来，只有当技术能够得到市场广泛认可和采用时，才更进一步赋能客户，降低他们选择使用事件视觉传感技术的成本和难度，为整个行业生态创造更多的价值。
▲传统图像传感器与事件视觉传感器捕捉车前场景数据的对比（图源：Prophesee）
▲事件视觉传感器的一些应用领域（图源：Prophesee）
“中国一直是我们重点关注的市场。我也始终相信，任何一家具有全球视野的企业，都应该重视中国市场的战略地位。”卢卡谈道。他告诉芯东西，Prophesee的中国团队有15人，负责推动相关生态的建设，并为本地合作伙伴与客户提供相关的技术支持。在中国，Prophesee看到越来越多的客户对其产品和技术表示感兴趣，特别是在物联网设备以及消费电子领域，很多客户在寻找更具成本效益的传感设备或解决方案。一个应用案例是Prophesee和中国台湾公司YunX的合作。YunX基于Prophesee事件视觉传感技术开发了一款智能摄像头，能用在检测到家中老人或者医院病患跌倒时触发警报。在卢卡看来，中国是全球最大的半导体生产和消费市场，也是全球智能手机以及电动汽车领先的生产和消费市场，半导体领域的风投金额同样遥遥领先于世界其他地区，越来越多的资源正在进入这个市场，推动本土生态及供应链建设。“我们对中国市场的增长充满信心。未来我们也会不断增加对中国市场的投入。”卢卡说。
*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。
发布文章
