图像处理器、图像处理方法、拍照装置及电子设备论文和设计-李小朋

全文摘要

本申请公开了一种图像处理器、图像处理方法、拍照装置及电子设备。图像处理器包括硬件抽象模块、应用程序模块及算法后处理模块。硬件抽象模块用于获取初始YUV图像。应用程序与所述硬件抽象模块连接。算法后处理模块通过应用程序模块与硬件抽象模块连接。算法后处理模块存储有防抖算法，算法后处理模块用于采用防抖算法处理初始YUV图像以得到预览图像和\/或视频图像。本申请实施方式的图像处理器将预览图像和视频图像的防抖处理从硬件抽象模块中抽离，转而放在算法后处理模块中进行，可以减少硬件抽象模块所需执行的功能，提升拍照装置的启动速度，且可以避免防抖算法与硬件抽象模块之间适配不够成熟的问题，提升硬件抽象模块的稳定性。

主设计要求

1.一种图像处理器，其特征在于，所述图像处理器包括：硬件抽象模块，所述硬件抽象模块用于获取初始YUV图像；应用程序模块，所述应用程序与所述硬件抽象模块连接并从所述硬件抽象模块中获取所述初始YUV图像；算法后处理模块，所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块存储有防抖算法，所述算法后处理模块用于采用所述防抖算法处理所述初始YUV图像以得到预览图像和\/或视频图像。

设计方案

1.一种图像处理器，其特征在于，所述图像处理器包括：

硬件抽象模块，所述硬件抽象模块用于获取初始YUV图像；

应用程序模块，所述应用程序与所述硬件抽象模块连接并从所述硬件抽象模块中获取所述初始YUV图像；

算法后处理模块，所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块存储有防抖算法，所述算法后处理模块用于采用所述防抖算法处理所述初始YUV图像以得到预览图像和\/或视频图像。

2.根据权利要求1所述的图像处理器，其特征在于，所述应用程序模块用于：

将所述初始YUV图像传输至所述算法后处理模块；

所述算法后处理模块还用于：

将所述初始YUV图像转换为初始纹理图像；

处理所述初始纹理图像得到中间纹理图像；

将所述中间纹理图像转换为中间YUV图像；和

采用所述防抖算法处理所述中间YUV图像得到所述预览图像。

3.根据权利要求1所述的图像处理器，其特征在于，所述应用程序模块用于传输所述初始YUV图像至所述算法后处理模块；

所述算法后处理模块还用于：

采用所述防抖算法处理所述初始YUV图像得到去抖动YUV图像；

将所述去抖动YUV图像转换为去抖动纹理图像；和

处理所述去抖动纹理图像得到所述预览图像。

4.根据权利要求1所述的图像处理器，其特征在于，所述应用程序模块用于传输所述初始YUV图像至所述算法后处理模块；

所述算法后处理模块还用于：

采用所述防抖算法处理所述初始YUV图像得到去抖动YUV图像；和

处理所述去抖动YUV图像到所述视频图像。

5.根据权利要求1所述的图像处理器，其特征在于，所述硬件抽象模块与图像传感器连接，所述硬件抽象模块包括：

与所述图像传感器连接的缓存单元，所述缓存单元用于缓存来自所述图像传感器的RAW图像；

RAW转RGB处理单元，所述RAW转RGB处理单元用于将来自所述缓存单元的RAW图像转换为RGB图像；

与所述应用程序模块连接的降噪及YUV后处理单元，所述降噪及YUV后处理单元用于处理所述RGB图像得到所述初始YUV图像。

6.一种图像处理方法，其特征在于，所述图像处理方法包括：

硬件抽象模块获取初始YUV图像；

应用程序模块从硬件抽象模块中获取所述初始YUV图像；和

算法后处理模块在接收到应用程序模块发送的所述初始YUV图像时，采用防抖算法处理所述初始YUV图像以得到预览图像和\/或视频图像。

7.根据权利要求6所述的图像处理方法，其特征在于，所述图像处理方法还包括：

所述应用程序模块将所述初始YUV图像传输至所述算法后处理模块；

所述算法后处理模块采用防抖算法处理所述初始YUV图像以得到预览图像和\/或视频图像，包括：

所述算法后处理模块将所述初始YUV图像转换为初始纹理图像；

所述算法后处理模块处理所述初始纹理图像得到中间纹理图像；

所述算法后处理模块将所述中间纹理图像转换为中间YUV图像；和

所述算法后处理模块采用所述防抖算法处理所述中间YUV图像得到所述预览图像。

8.根据权利要求6所述的图像处理方法，其特征在于，所述图像处理方法还包括：

所述应用程序模块传输所述初始YUV图像至所述算法后处理模块；

所述算法后处理模块采用防抖算法处理所述初始YUV图像以得到预览图像和\/或视频图像，包括：

所述算法后处理模块采用所述防抖算法处理所述初始YUV图像得到去抖动YUV图像；

所述算法后处理模块将所述去抖动YUV图像转换为去抖动纹理图像；和

所述算法后处理模块处理所述去抖动纹理图像得到所述预览图像。

9.根据权利要求6所述的图像处理方法，其特征在于，所述图像处理方法还包括：

所述应用程序模块传输所述初始YUV图像至所述算法后处理模块；

所述算法后处理模块采用防抖算法处理所述初始YUV图像以得到预览图像和\/或视频图像，包括：

所述算法后处理模块采用所述防抖算法处理所述初始YUV图像得到去抖动YUV图像；和

所述算法后处理模块处理所述去抖动YUV图像到所述视频图像。

10.根据权利要求6所述的图像处理方法，其特征在于，所述硬件抽象模块与图像传感器连接，所述硬件抽象模块获取初始YUV图像，包括：

缓存单元缓存来自所述图像传感器的RAW图像；

RAW转RGB处理单元将来自所述缓存单元的RAW图像转换为RGB图像；

降噪及YUV后处理单元处理所述RGB图像得到所述初始YUV图像。

11.一种拍照装置，其特征在于，包括：

权利要求1至5中任意一项所述的图像处理器；及

图像传感器，所述图像传感器与所述图像处理器连接。

12.一种电子设备，其特征在于，所述电子设备包括：

权利要求11所述的拍照装置；及

壳体，所述拍照装置与所述壳体结合。

设计说明书

技术领域

本申请涉及成像技术领域，特别涉及一种图像处理器、图像处理方法、拍照装置及电子设备。

背景技术

视频的电子防抖(Electronic Image Stabilization，EIS)处理通常是在硬件抽象模块(Hardware Abstract Layer，HAL)中进行的。将电子防抖处理放在HAL中实现，需要将该算法与硬件抽象模块本身的算法架构做适配，存在两者适配不成熟导致HAL层不稳定的风险。

发明内容

本申请实施方式提供了一种图像处理器、图像处理方法、拍照装置及电子设备。

本申请实施方式的图像处理器包括硬件抽象模块、应用程序模块及算法后处理模块。所述硬件抽象模块用于获取初始YUV图像。所述应用程序与所述硬件抽象模块连接并从所述硬件抽象模块中获取所述初始YUV图像。所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块存储有防抖算法，所述算法后处理模块用于采用所述防抖算法处理所述初始YUV图像以得到预览图像和\/或视频图像。

本申请实施方式的图像处理方法包括：硬件抽象模块获取初始YUV图像；应用程序模块从硬件抽象模块中获取所述初始YUV图像；算法后处理模块在接收到应用程序模块发送的所述初始YUV图像时，采用防抖算法处理所述初始YUV图像以得到预览图像和\/或视频图像。

本申请实施方式的拍照装置包括图像处理器及图像传感器。所述图像传感器与所述图像处理器连接。图像处理器包括硬件抽象模块、应用程序模块及算法后处理模块。所述硬件抽象模块用于获取初始YUV图像。所述应用程序与所述硬件抽象模块连接并从所述硬件抽象模块中获取所述初始YUV图像。所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块存储有防抖算法，所述算法后处理模块用于采用所述防抖算法处理所述初始YUV图像以得到预览图像和\/或视频图像。

本申请实施方式的电子设备包括上述的拍照装置及壳体。所述拍照装置与所述壳体结合。拍照装置包括图像处理器及图像传感器。所述图像传感器与所述图像处理器连接。图像处理器包括硬件抽象模块、应用程序模块及算法后处理模块。所述硬件抽象模块用于获取初始YUV图像。所述应用程序与所述硬件抽象模块连接并从所述硬件抽象模块中获取所述初始YUV图像。所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块存储有防抖算法，所述算法后处理模块用于采用所述防抖算法处理所述初始YUV图像以得到预览图像和\/或视频图像。

本申请实施方式的图像处理器、图像处理方法、拍照装置及电子设备将预览图像和视频图像的防抖处理从硬件抽象模块中抽离，转而放在算法后处理模块中进行，可以减少硬件抽象模块所需执行的功能。此时，硬件抽象模块仅需执行拍照过程中的必须的处理，比如硬件抽象模块仅需执行将RAW图像转成RGB图像、将RGB图像转为初始YUV图像等处理。硬件抽象模块所需执行的功能减少后，一方面硬件抽象模块只需要建立少量的管道(pipeline)即可，无需建立大量的管道，从而可以节约内存，有利于提升拍照程序的启动速度；另一方面，图像的防抖处理由算法后处理模块实现时，防抖算法无需在硬件抽象模块本身的算法架构上做流程截断，只需在外部做兼容，避免了防抖算法与硬件抽象模块适配不成熟的问题，提升了硬件抽象模块的稳定性。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和\/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1和图2是本申请某些实施方式的电子设备的结构示意图。

图3是本申请的一个实施方式的拍照装置的示意图。

图4是本申请的另一个实施方式的拍照装置的示意图。

图5是本申请的一个实施方式的图像处理器处理图像的示意图。

图6是本申请的另一个实施方式的图像处理器处理图像的示意图。

图7至图11是本申请某些实施方式的图像处理方法的流程示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1和图2，本申请提供一种电子设备100。其中，电子设备100可以是手机、平板电脑、笔记本电脑、智能穿戴设备(智能手表、智能手环、智能头盔、智能眼镜等)、虚拟现实设备等。本申请以电子设备100是手机为例进行说明，但电子设备100的形式并不限于手机。电子设备100包括拍照装置30及壳体40。拍照装置30包括图像处理器10和图像传感器20。图像处理器10与图像传感器20连接。

拍照装置30与壳体40结合。在一个例子中，壳体40包括主体43及可动支架41，可动支架41在驱动装置的驱动下可以相对主体43运动，例如，可动支架41可以相对于主体43滑动，以滑入主体43(如图2所示)或从主体43滑出(如图1所示)。拍照装置30中的图像传感器20可以安装在可动支架41上，可动支架41运动可带动拍照装置30缩回主体43内或从主体43中伸出，图像处理器10收容在壳体40形成的收容空间内。壳体40上开设有一个或多个采集窗口，图像传感器20与采集窗口对准安装以使图像传感器20能够接收外界环境的光线以生成原始图像。用户在需要使用拍照装置30时，可以触发可动支架41从主体43中滑出以带动图像传感器20从主体43中伸出；用户不需要使用拍照装置30时，可以触发可动支架41滑入主体43以带动图像传感器20缩回主体43中。在另一个例子中，壳体40上开设有通孔，拍照装置30中的图像传感器20安装在壳体40内并与通孔对准，通孔可以开设在壳体40的正面或背面，拍照装置30接收经过通孔的光线以生成原始图像，图像处理器10收容在壳体40形成的收容空间内。

请参阅图3，拍照装置30包括图像处理器10和图像传感器20。图像处理器10和图像传感器20连接。图像传感器20包括图像采集单元22(sensor)和RAW图像数据单元24(ImageFront-end，IFE)。图像采集单元22用于接收光线以获得图像数据(RAW图像)。RAW图像数据单元24用于将图像采集单元22采集的图像数据传输至图像处理器10中。其中，RAW图像数据单元24可以对图像采集单元22采集的RAW图像进行处理并输出处理后的RAW图像至图像处理器10。

图像处理器10包括硬件抽象模块12、应用程序模块14(APP)和算法后处理模块(Algo process service，APS)16。

硬件抽象模块12用于获取RAW图像。硬件抽象模块12可以与图像传感器20连接。具体地，硬件抽象模块12可以包括与图像传感器20连接的缓存单元122(buffer queue)、RAW转RGB处理单元124(Bayer Process Segment，BPS)、及与应用程序模块14连接的降噪及YUV后处理单元126(Image Process Engine，IPE)。缓存单元122用于缓存来自图像传感器20的RAW图像。RAW转RGB处理单元124用于将来自缓存单元122的RAW图像转换为RGB图像。降噪及YUV后处理单元126用于处理RGB图像得到初始YUV图像，降噪及YUV后处理单元126还可将初始YUV图像通过应用程序模块14传输至算法后处理模块16。硬件抽象模块12还可传输图像数据的元数据(metadata)至应用程序模块14，元数据包括3A(自动曝光控制AE、自动聚焦控制AF、自动白平衡控制AWB)信息、图片信息(例如图像宽度、高度)、曝光参数(光圈大小、快门速度和感光度光圈值)等，应用程序模块14可以利用元数据辅助实现对初始YUV图像的拍照后处理(例如包括防抖处理、美颜处理、滤镜处理、旋转处理、水印处理、虚化处理、HDR处理、及多帧处理中的至少一种)。硬件抽象模块12还可以传输元数据至应用程序模块14，应用程序模块14再将元数据传输至算法后处理模块16，算法后处理模块16利用元数据辅助实现对初始YUV图像的后处理。在一个实施例中，元数据包括感光度(ISO)信息，应用程序模块14或算法后处理模块16根据感光度信息可以辅助调节初始YUV图像的亮度，从而实现与调节亮度相关的拍照后处理。

应用程序模块14与硬件抽象模块12连接。应用程序模块14可以用于根据用户的输入产生控制指令并将该控制指令通过硬件抽象模块12发送给图像传感器20以对图像传感器20的工作进行相应的控制。其中，应用程序模块14可以以64比特位(bit)运行，并且拍照后处理的图像处理算法的静态数据连接库(lib)可以配置为64比特位，以提高运算速度。应用程序模块14与硬件抽象模块12中的降噪及YUV后处理单元126连接。应用程序模块14可以接收降噪及YUV后处理单元126发送的初始YUV图像，还可以将初始YUV图像传输至算法后处理模块16进行拍照后处理。

算法后处理模块16通过应用程序模块14与硬件抽象模块12连接。算法后处理模块16内存储有防抖算法。算法后处理模块16可以用于采用防抖算法处理初始YUV图像以得到预览图像和\/或视频图像。

本申请实施方式的图像处理器10将预览图像和视频图像的防抖处理从硬件抽象模块12中抽离，转而放在算法后处理模块16中进行，可以减少硬件抽象模块12所需执行的功能。此时，硬件抽象模块12仅需执行拍照过程中的必须的处理，比如硬件抽象模块12仅需执行将RAW图像转成RGB图像、将RGB图像转为初始YUV图像等处理。硬件抽象模块12所需执行的功能减少后，一方面硬件抽象模块12只需要建立少量的管道(pipeline)即可，无需建立大量的管道，从而可以节约内存，有利于提升拍照程序的启动速度；另一方面图像的防抖处理由算法后处理模块16实现时，防抖算法无需在硬件抽象模块12本身的算法架构上做流程截断，只需在外部做兼容，避免了防抖算法与硬件抽象模块12适配不成熟的问题，提升了硬件抽象模块12的稳定性。

请结合图4，在某些实施方式中，图像处理器10还可以包括相机服务模块18。硬件抽象模块12通过相机服务模块18与应用程序模块14连接。相机服务模块18可以对初始YUV图像进行封装并将封装后的初始YUV图像传输至应用程序模块14。通过相机服务模块18对初始YUV图像的封装，可以提高图像传输的效率，并且能够提高图像传输的安全性。在图像处理器10还包括相机服务模块18时，图像处理器10中的数据的传输路径可以进行相应调整。例如，硬件抽象模块12向应用程序模块14传输初始YUV图像时，硬件抽象模块12先将初始YUV图像传输至相机服务模块18，相机服务模块18对初始YUV图像进行封装并将封装后的初始YUV图像传输至应用程序模块14。硬件抽象模块12向应用程序模块14传输元数据时，硬件抽象模块12先将元数据传输至相机服务模块18，相机服务模块18再将元数据传输至应用程序模块14。

请结合图5，在某些实施方式中，算法后处理模块16包括系统接口(SystemAPI)。应用程序模块14接收到降噪及YUV后处理单元126发送的初始YUV图像后，将初始YUV图像发送至算法后处理模块16中的系统接口。系统接口接收初始YUV图像并将初始YUV图像转换为纹理图像。具体地，系统接口包括表面纹理单元、更新纹理单元以及显存单元。表面纹理单元和更新纹理单元可以对初始YUV图像做处理以将初始YUV图像转换为初始纹理图像。初始纹理图像可以存储在显存单元中。

随后，显存单元中的初始纹理图像可以进一步地被处理以得到预览图像。具体地，算法后处理模块16包括图形处理器(Graphics Processing Unit，GPU)及中央处理器(Central Processing Unit，CPU)，其中，图形处理器只能处理纹理格式的图像，中央处理器可以处理YUV格式的图像，但不能处理纹理格式的图像。显存单元中的初始纹理图像可以传输到图形处理器中，图形处理器对初始纹理图像做与显示相关的处理，比如绘制等处理，以得到中间纹理图像。由于防抖算法是在中央处理器中执行的算法，不能在图形处理器中执行，因此，为使得预览图像实现防抖效果，图形处理器需要与中央处理器连接，以接入中央处理器的防抖算法。具体地，图形处理器将中间纹理图像转换为中间YUV图像，并将中间YUV图像传输给中央处理器。中央处理器接收到中间YUV图像后，采用防抖算法处理中间YUV图像得到去抖动YUV图像。随后，中央处理器再将去抖动YUV图像转换为去抖动纹理图像，再将去抖动纹理图像传输给图形处理器。图形处理器进一步地对去抖动纹理图像做与显示相关的处理以得到最终的预览图像，此时的预览图像为去抖动的预览图像。如此，将防抖算法放在算法后处理模块16中执行，可以得到去抖动的预览图像，提升预览图像的质量。当然，在其他实施方式中，当图形处理器接收到初始纹理图像后，图形处理器也可以直接将初始纹理图像转换为中间YUV图像，并将中间YUV图像传输至中央处理器。中央处理器采用防抖算法处理中间YUV图像得到去抖动YUV图像，再将去抖动YUV图像转换为去抖动纹理图像，最后将去抖动纹理图像发送至图形处理器。图形处理器再对去抖动纹理图像执行绘制等等处理以得到最终的预览图像。

同样地，显存单元中的初始纹理图像也可以进一步地被处理以得到视频图像。具体地，显存单元中的初始纹理图像可以传输到图形处理器中。为使得视频图像实现防抖效果，图形处理器需要与中央处理器连接，以接入中央处理器的防抖算法。图形处理器先将初始纹理图像转换成中间YUV图像，再将中间YUV图像传输至中央处理器。中央处理器接收到中间YUV图像后，采用防抖算法处理中间YUV图像得到去抖动YUV图像。随后，中央处理器再将去抖动YUV图像转换为去抖动纹理图像，再将去抖动纹理图像传输给图形处理器。图形处理器进一步地对去抖动纹理图像做编码处理得到最终的视频图像，此时的视频图像去抖动的视频图像。如此，将防抖算法放在算法后处理模块16中执行，可以得到去抖动的视频图像，提升视频图像的质量。当然，在其他实施方式中，中央处理器采用防抖算法处理中间YUV图像得到去抖动YUV图像后，还可以直接对去抖动YUV图像做编码得到最终的视频图像。需要说明的是，视频图像中包括多帧图像，每一帧图像都需要执行上述处理。

进一步地，无论是预览图像还是视频图像，除了对中间YUV图像做防抖处理得到去抖动YUV图像，还可以进一步地对去抖动YUV图像执行其他处理。比如，水印等特效处理等。再将特效处理后的去抖动YUV图像转换为去抖动纹理图像，再将去抖动纹理图像传输给图形处理器，以便图形处理器进一步处理得到预览图像和\/或视频图像。此时的预览图像和\/或视频图像除了具有去抖动的效果外，还实现了水印等效果，预览图像和\/或视频图像的质量更好。

另外，中央处理器采用防抖算法处理中间YUV图像得到去抖动YUV图像后，去抖动YUV图像还可以先被中央处理器传输至嵌入式神经网络处理器(NPU)和\/或向量扩展(Hexagon Vectorextensions，HVX)中，由嵌入式神经神经网络处理器和\/或向量扩展对去抖动YUV图像做进一步处理，比如将去抖动YUV图像传输至向量扩展做虚拟现实、增强现实等处理。嵌入式神经神经网络处理器和\/或向量扩展执行完虚拟现实、增强现实等处理后，再将处理后的图像转换为去抖动纹理图像，最后将去抖动纹理图像传输至图形处理器中作进一步处理，从而使得无论是预览图像还是视频图像，实现更多效果，进一步提升无论是预览图像还是视频图像的质量。

请结合图6，在某些实施方式中，应用程序模块14接收到初始YUV图像后直接将初始YUV图像发送至算法后处理模块16的中央处理器。算法后处理模块16接收到初始YUV图像后，分别对初始YUV图像执行两路处理：(1)第一路是先采用防抖算法对初始YUV图像执行防抖处理，再执行其余处理得到预览图像；(2)第二路是先采用防抖算法对初始YUV图像执行防抖处理，再执行其余处理得到视频图像。其中，第一路的处理和第二路的处理可以同时进行，也可以分时进行。

具体地，对于第一路处理，算法后处理模块16中的中央处理器首先采用防抖算法处理初始YUV图像得到去抖动YUV图像。随后，中央处理器将防抖动YUV图像转换为去抖动纹理图像，并将去抖动纹理图像传输至图形处理器中。图形处理器接收到去抖动纹理图像后，采用图形处理器的相关算法(GPU相关算法)对去抖动纹理图像执行进一步的处理，比如对去抖动纹理图像进行绘制处理等等，图形处理器对去抖动纹理图像执行进一步处理后即可得到预览图像，此时的预览图像为去抖动的预览图像。图形处理器可以将去抖动的预览图像发送至显示屏进行显示。当然，在图形处理器采用图形处理器的相关算法对去抖动纹理图像执行进一步处理后，还可以再进一步地对处理后的图像执行一些特效处理，比如执行滤镜处理等，使得最终的预览图像不仅可以实现去抖动的效果，还可以实现滤镜等效果，预览图像的质量得到提升。

对于第二路处理，算法后处理模块16中的中央处理器首先采用防抖算法处理初始每一帧初始YUV图像以得到多帧去抖动YUV图像。随后，中央处理器可以对多帧去抖动YUV图像执行编码处理得到视频图像，此时的视频图像为去抖动的视频图像。或者，中央处理器可以先将多帧去抖动YUV图像分别转换为多帧去抖动纹理图像，再将多帧去抖动纹理图像传输至图形处理器。图形处理器对多帧去抖动纹理图像执行编码处理得到视频图像，此时的视频图像也为去抖动的视频图像。当然，中央处理器在处理多帧初始YUV图像得到多帧去抖动YUV图像后，还可以先对多帧去抖动YUV图像执行一些特效处理，比如，通过执行CPU相关算法进行美颜处理，水印处理等等。随后，中央处理器再对执行完特效处理的去抖动YUV图像执行编码处理，得到最终的视频图像，使得最终的视频图像不仅可以实现去抖动的效果，还可以实现美颜、水印等效果，视频图像的质量得到提升。

另外，去抖动YUV图像还可以先被中央处理器传输至嵌入式神经网络处理器(NPU)和\/或向量扩展(Hexagon Vector extensions，HVX)中，由嵌入式神经神经网络处理器和\/或向量扩展对去抖动YUV图像做进一步处理，比如将去抖动YUV图像传输至向量扩展做虚拟现实、增强现实等处理。对于第一路的预览图像，嵌入式神经神经网络处理器和\/或向量扩展先将处理后的去抖动YUV图像转换为去抖动纹理图像，并将去抖动纹理图像传输至图形处理器中作进一步处理(绘制、滤镜等)，得到最终的预览图像。对于第二路的视频图像，嵌入式神经网络处理器和\/或向量扩展可以直接将处理后的去抖动YUV图像传输到中央处理器做进一步处理(比如美颜等特效处理、编码处理等)得到最终的视频图像；嵌入式神经网络处理器和\/或向量扩展也可以先将处理后的去抖动YUV图像转换为去抖动纹理图像，并将去抖动纹理图像传输至图形处理器中作进一步处理(编码等)，得到最终的视频图像。如此，无论是预览图像还是视频图像都可以实现更多效果，进一步提升预览图像和视频图像的质量。

可以理解的是，对于图5所示的防抖处理方式来说，图5所示的防抖处理过程需要执行三次的YUV图像与纹理图像相互转换的操作，具体地，第一次为将初始YUV图像转换为初始纹理图像(由系统接口执行)，第二次为将中间纹理图像转换为中间YUV图像以便执行防抖算法(由图形处理器执行)，第三次为将去抖动YUV图像转换为去抖动纹理图像(由中央处理器执行)，那么，图5所示的防抖处理过程就执行了两次冗余的数据拷贝动作(即YUV图像与纹理图像之间的转换动作)，这两次数据拷贝动作需要耗费十多毫秒的时间，这会增加预览图像和视频图像的获取时间，降低预览图像和视频图像的获取速度，而预览图像的获取速度降低，用户就无法较快地预览到图像，这也将大大降低用户的使用体验。而对于图6所示的防抖处理方式来说，图6所示的防抖处理过程中仅需执行较少次数的纹理图像与YUV图像相互转换的操作，具体来说，存在次数最少情况为：整个过程仅在预览图像的获取这一路中执行了一次去抖动YUV图像转换为去抖动纹理图像的操作(由中央处理器执行)，在视频图像获取这一路可以不存在这一转换操作。因此，图6所示的防抖处理方式减少了预览图像和视频图像的获取时间，提升了预览图像和视频图像的获取速度，用户也可以较快地预览到图像，用户的使用体验也可以得到改善。

在某些实施方式中，算法后处理模块16获得预览图像和\/或视频图像后，可以将预览图像和\/或视频图像回传给应用程序模块14以进行显示或存储等。

请参阅图7，本申请还提供一种图像处理方法。本申请的图像处理方法可以由上述任一一项实施方式的图像处理器10实现。图像处理方法包括：

01：硬件抽象模块12获取初始YUV图像；

02：应用程序模块14从硬件抽象模块12中获取初始YUV图像；和

03：算法后处理模块16在接收到应用程序模块14发送的初始YUV图像时，采用防抖算法处理初始YUV图像以得到预览图像和\/或视频图像。

请参阅图8，在某些实施方式中，图像处理方法还包括：

04：应用程序模块14将初始YUV图像传输至算法后处理模块16；

步骤02算法后处理模块16采用防抖算法处理初始YUV图像以得到预览图像和\/或视频图像，包括：

0311：算法后处理模块16将初始YUV图像转换为初始纹理图像；

0312：算法后处理模块16处理初始纹理图像得到中间纹理图像；

0313：算法后处理模块16将中间纹理图像转换为中间YUV图像；和

0314：算法后处理模块16采用防抖算法处理中间YUV图像得到预览图像。

请参阅图9，在某些实施方式中，图像处理算法还包括：

04：应用程序模块14传输初始YUV图像至算法后处理模块16；

步骤02算法后处理模块16采用防抖算法处理初始YUV图像以得到预览图像和\/或视频图像，包括：

0321：算法后处理模块16采用防抖算法处理初始YUV图像得到去抖动YUV图像；

0322：算法后处理模块16将去抖动YUV图像转换为去抖动纹理图像；和

0323：算法后处理模块16处理去抖动纹理图像得到预览图像。

请参阅图10，在某些实施方式中，图像处理方法包括：

04：应用程序模块14传输初始YUV图像至算法后处理模块16；

步骤02算法后处理模块16采用防抖算法处理初始YUV图像以得到预览图像和\/或视频图像，包括：

0331：算法后处理模块16采用防抖算法处理初始YUV图像得到去抖动YUV图像；和

0332：算法后处理模块16处理去抖动YUV图像到视频图像。

请参阅图11，在某些实施方式中，硬件抽象模块12与图像传感器20连接，步骤01硬件抽象模块12获取初始YUV图像包括：

011：缓存单元122缓存来自图像传感器20的RAW图像；

012：RAW转RGB处理单元124将来自缓存单元122的RAW图像转换为RGB图像；

013：降噪及YUV后处理单元126处理RGB图像得到初始YUV图像。

本申请的图像处理方法的具体执行流程与上述对图像处理器10中各个模块的数据处理流程的描述一致，在此不再赘述。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

设计图

图像处理器、图像处理方法、拍照装置及电子设备论文和设计

图像处理器、图像处理方法、拍照装置及电子设备论文和设计-李小朋

全文摘要

主设计要求

设计方案

设计说明书

设计图

相关信息详情

猜你喜欢