CN1870715B - 手抖动校正装置 - Google Patents

Abstract

一种手抖动校正装置，具备：图像复原处理部，其利用基于手抖动信息而生成的图像复原滤波器，来进行校正被包含在输入图像中的手抖动的图像复原处理；和边缘增强处理部，其进行增强所述输入图像的边缘的边缘增强处理；其主旨为：该手抖动校正装置具备校正模式决定部，其基于根据所述手抖动信息生成的所述手抖动的大小，决定校正所述输入图像的手抖动校正模式，所述手抖动校正模式包括：进行所述图像复原处理的第1模式；进行所述边缘增强处理的第2模式；和所述图像复原处理及所述边缘增强处理都不进行的第3模式。

Description

手抖动校正装置

技术领域

本发明涉及一种搭载在数码相机等中的手抖动校正装置。 

背景技术

静止图像手抖动校正技术，是校正摄影静止图像时所产生的手抖动的技术，通过检测手抖动，同时基于手抖动的检测结果使图像稳定化而实现。 

在检测手抖动的方法中，具有使用手抖动传感器(角速度传感器)的方法、和解析图像并检测的电子式。在使图像稳定化的方法中，具有使透镜或摄像元件稳定化的光学式、和通过图像处理去除由手抖动产生的模糊的电子式。 

另一方面，完全电子式的手抖动校正技术，即，通过只解析/处理摄影后的一张手抖动图像，而生成去除手抖动的图像的技术，还没有达到实际应用水平。尤其，通过解析一张手抖动图像，来求出由手抖动传感器得到的精度的手抖动信号是比较困难的。 

从而，利用手抖动传感器检测手抖动，并利用其手抖动数据由图像处理去除手抖动模糊是比较现实的。由图像处理产生的模糊的去除称作图像复原。另外，在此，根据手抖动传感器和图像复原的手法称作电子式手抖动校正。 

目前正在开发下述技术：将手抖动传感器的数据变换为作为表示由手抖动产生的图像的退化的模型的Point Spread Function(点展开函数，称作PSF)，根据PSF生成图像复原滤波器，并利用该图像复原滤波器复原图像的技术。 

但是，即使可由PSF正确地表现手抖动信息，手抖动校正效果也根据手抖动大小、手抖动的轨迹的形状而不同。根据手抖动的大小、手抖动的轨迹的形状等，也会有手抖动校正效果低的情况、或画质与校正前相比反 而退化的情况。 

一般来说，图像复原滤波器由2维FIR滤波器构成，但由于硬件的制约，其大小的上限值被固定。若手抖动的大小变为某一定值以上，则图像复原滤波的成分不符合FIR滤波器的抽头(tap)数目，因此校正效果变差。相反地，手抖动的大小非常小时，不使用由PSF生成的图像复原滤波器，而使用反锐化掩蔽滤波器(unsharp masking filter)也能得到充分的校正效果。 

另外，即使手抖动的大小相同，通过判定手抖动的速度变化状态为等速还是不等速(加速，减速，加减速)，校正效果也不同。在等速的情况下，由于完全失去特定的频率成分，因此存在不能通过图像复原滤波器来复原的频率成分。另外，图像复原滤波器的抽头数目与不等速的情况相比具有变大的倾向。进一步，在由图像复原滤波器复原的图像中振铃(ringing)变大。另外，手抖动的轨迹的形状变得越复杂，校正效果越低。 

此外，在特开平7-226905号公报中，公开了：考虑到扇区的开口曲线而将检测出的抖动信息变换为点展开函数(PSF)的技术。 

另外，在特开平10-215405号公报中，公开了：通过标记(mark)指定图像上的2点，并利用其倾斜度、长度由卷积运算复原图像的技术。 

还有，在特开平11-24122号公报中，公开了如下的技术。通过积分由3个角加速度传感器得到的3轴旋转的角加速度，而求出角速度。另外，检测快门的开口经时变化。利用角速度及快门的开口经时变化，作成表示摄影时的模糊状态的传递函数(PSF)。通过对摄像后的图像进行传递函数的逆变换，而校正图像。 

另外，在特开平11-27574号公报中，公开了：向2维频率空间变换摄像后的图像，并自动检测手抖动方向和大小的参数的技术。 

还有，在特开2000-298300号公报中，公开了：推定对象图像上的各个像素中的手抖动矢量，并进行与推定的手抖动矢量相对应的校正的技术。 

另外，在特开2004-88567号公报中，公开了：向图像数据附加摄像时的手抖动信息，并基于图像数据再生时所附加的手抖动信息校正图像数据的技术。 

发明内容

本发明正是基于上述问题而提出的。 

本发明的一个特征，其主旨为：一种手抖动校正装置，具备：图像复原处理部，其利用基于手抖动信息而生成的图像复原滤波器，来进行校正被包含在输入图像中的手抖动的图像复原处理；和边缘增强处理部，其进行对所述输入图像的边缘增强的边缘增强处理，所述手抖动校正装置具备校正模式决定部，其基于根据所述手抖动信息生成的所述手抖动的大小，决定校正所述输入图像的手抖动校正模式，所述手抖动校正模式包括：首先进行所述图像复原处理的第1模式；进行所述边缘增强处理的第2模式；和所述图像复原处理及所述边缘增强处理都不进行而直接输出手抖动图像的第3模式。 

根据上述特征，校正模式决定部，基于根据手抖动信息生成的所述手抖动的大小，决定校正所述输入图像的手抖动校正模式。另外，手抖动校正模式，除了进行图像复原处理的第1模式之外，还包含不进行图像复原处理及边缘增强处理中的任一处理的第3模式。从而，能够防止手抖动校正后的画质比手抖动校正前的画质降低，同时充分地得到基于手抖动校正的效果。 

本发明的另一特征，其主旨为：在本发明的上述的特征中，所述第1模式，是进行所述图像复原处理之后，进行所述边缘增强处理的所述手抖动校正模式，所述第2模式，是不进行所述图像复原处理，而进行所述边缘增强处理的所述手抖动校正模式。 

本发明的另一特征，其主旨为：在本发明的上述特征中，所述校正模式决定部，除了根据所述手抖动信息生成的所述手抖动的大小以外，还基于表示根据所述手抖动信息生成的所述手抖动的轨迹的轨迹信息，而决定所述手抖动校正模式。 

本发明的另一特征，其主旨为：在本发明的上述的特征中，所述校正模式决定部，基于根据所述手抖动信息生成的所述手抖动的速度变化是否为等速，而控制由所述图像复原滤波器校正所述手抖动的强度。 

本发明的另一特征，其主旨为：在本发明的上述的特征中，手抖动校正装置还具备振铃去除部，其进行去除包含在手抖动校正图像中的振铃的振铃去除处理，所述手抖动校正图像是由所述图像复原处理部校正所述手抖动的图像，所述第1模式，是在进行所述图像复原处理之后，进行所述振铃去除处理的所述手抖动校正模式，所述第3模式，是不进行所述图像复原处理及所述边缘增强处理、和所述振铃去除处理中的任一处理的所述手抖动校正模式，所述校正模式决定部，基于根据所述手抖动信息生成的所述手抖动的速度变化是否为等速，而控制去除所述振铃的强度。 

本发明的另一特征，其主旨为：在本发明的上述特征中，所述校正模式决定部，将所述手抖动的大小与规定的阈值进行比较，而决定所述手抖动校正模式，并基于根据所述手抖动信息生成的所述手抖动的速度变化是否为等速，而控制所述规定的阈值。 

附图说明

图1是表示手抖动校正处理电路的结构的框图。 

图2是表示将角速度传感器的输出放大的放大器及将放大器的输出变换为数字值的A/D变换器的框图。 

图3是表示相机的旋转量θ[deg]和画面上的移动量d[mm]之间的关系的示意图。 

图4是表示换算为35[mm]滤镜时的图像尺寸和数码相机的图像尺寸的示意图。 

图5是表示用于表现手抖动的空间滤波器(PSF)的示意图。 

图6是用于说明Bresenham的直线描绘算法的示意图。 

图7是表示由图6所示的移动矢量得到的PSF的示意图。 

图8是表示以注目像素v22为中心的3×3的区域的示意图。 

图9是表示Prewitt的边缘提取算子的示意图。 

图10是表示边缘强度v_edge和加权平均系数k之间的关系的框图。 

图11是表示由手抖动校正模式判定部71进行的校正模式判定处理步骤的流程图。 

图12是表示手抖动的速度变化状态被判定为等速时的例子的图表。 

图13是表示手抖动的速度变化状态被判定为不等速时的例子的图表。 

图14是表示手抖动的轨迹的形状被判定为直线形状时的例子的图表。 

图15是表示手抖动的轨迹的形状被判定为复杂形状时的例子的图表。 

图16是用于说明手抖动量〔像素〕的计算方法的示意图。 

具体实施方式

以下，参照附图说明有关本发明的一实施方式的手抖动校正装置。此外，在本发明的一实施方式中，手抖动校正装置适用在数码相机中。 

(1)手抖动校正处理电路的构成 

图1示出了设置在数码相机中的手抖动校正处理电路的结构。 

角速度传感器11及角速度传感器12，是为了检测摄像被摄体的相机(未图示)的角速度而设置的。一方的角速度传感器11，检测相机的平移方向的角速度，另一方的角速度传感器12，检测相机的俯仰方向的角度速。角速度传感器11及角速度传感器12输出的输出信号，分别由放大器13及放大器14来放大后，分别通过A/D变换器15及A/D变换器16变换为数字数据(平移方向的角速度数据及俯仰方向的角速度数据)。 

手抖动校正处理电路，具备图像复原滤波器计算部30、图像复原处理部40、振铃去除处理部50、反锐化掩蔽处理部60、手抖动校正模式判定部71(手抖动校正模式决定部)、和选择器72。 

图像复原滤波器计算部30，基于平移方向的角速度数据及俯仰方向的角速度数据，计算图像复原滤波器(广义逆滤波器)的系数。图像复原处理部40，基于由图像复原滤波器计算部30计算出的系数，进行校正被包含在作为摄像图像的手抖动图像(v_tebre)中的手抖动的图像复原处理。振铃去除处理部50，进行去除被包含在手抖动校正图像(复原图像)中的振铃的振铃去除处理，所述手抖动校正图像是由图像复原处理部40校正手抖动的图像。反锐化掩蔽处理部60，进行增强振铃去除图像的边缘、或手抖动图像(v_tebre)的边缘的边缘增强处理，上述振铃去除图像是由振铃去除处理部50去除振铃的图像。 

手抖动校正模式判定部71，基于由图像复原滤波器计算部30所得到的移动矢量和PSF(Point Spread Function)，判定作为校正手抖动的模式的手抖动校正模式。另外，手抖动校正模式判定部71，根据判定的手抖动校正模式，控制选择器72。 

在此，在手抖动校正模式中，包括第1模式、第2模式、和第3模式。具体而言，第1模式，是进行图像复原处理之后进行振铃去除处理，接着进行边缘增强处理的手抖动校正模式。另外，第2模式，是不进行图像复原处理及振铃去除处理而只进行边缘增强处理的手抖动校正模式。还有，第3模式，是不进行图像复原处理、振铃去除处理及边缘增强处理中的任一处理的手抖动校正模式。 

手抖动校正模式判定部71，在手抖动校正模式被判定为第1模式时，控制选择器72，以便手抖动图像(v_tebre)经由选择器72被发送到图像复原处理部40及振铃去除处理部50。由此，在手抖动校正模式被判定为第1模式时，通过依次进行基于图像复原处理部40的图像复原处理、基于振铃去除处理部50的振铃去除处理、及基于反锐化掩蔽处理部60的边缘增强处理，而生成对手抖动图像(v_tebre)校正手抖动的图像。 

手抖动校正模式判定部71，在手抖动校正模式被判定为第2模式时，控制选择器72，以便手抖动图像(v_tebre)经由选择器72被发送到反锐化掩蔽处理部60。由此，在手抖动校正模式被判定为第2模式时，通过只进行基于反锐化掩蔽处理部60的边缘增强处理，而生成对手抖动图像(v_tebre)校正手抖动的图像。 

手抖动校正模式判定部71，在手抖动校正模式被判定为第3模式时，控制选择器72，以便手抖动图像(v_tebre)被直接输出。由此，在手抖动校正模式被判定为第3模式时，不进行图像复原处理、振铃去除处理、及边缘增强处理中的任一处理。 

(2)图像复原滤波器计算部30 

图像复原滤波器计算部30，具备：将由角速度传感器11及角速度传感器12检测出的角速度数据(手抖动信号)变换为移动矢量的手抖动信号/移动矢量变换处理部31；将由手抖动信号/移动矢量变换处理部31得到的移动矢量变换为手抖动函数的移动矢量/手抖动函数变换处理部32；和将由移动矢量/手抖动函数变换处理部32得到的手抖动函数变换为广义逆滤波器的手抖动函数/广义逆滤波器变换处理部33。此外，手抖动函数，是表示图像的模糊的函数，例如是图像退化函数(PSF：Point SpreadFunction)。 

(2-1)手抖动信号/移动矢量变换处理部31 

手抖动信号，是在摄影开始到摄影结束之间角速度传感器11及角速度传感器12输出的信号。另外，手抖动数据，是角速度传感器11及角速度传感器12输出的信号被放大器13及放大器14放大之后，被A/D变换器15及A/D变换器16数字化后的数据。具体而言，手抖动信号/移动矢量变换处理部31，使角速度传感器11及角速度传感器12开始检测的时刻与相机的曝光时刻同步，同时以规定的采样间隔dt[sec]取得平移方向及俯仰方向的角速度，从而取得摄影开始到摄影结束的手抖动数据。采样间隔dt[sec]，例如是1msec。 

如图2所示，例如，相机的平移方向的角速度θ’[deg/sec]，由角速度传感器11变换为电压V_g[mV]之后，由放大器13放大。从放大器13输出的电压V_a[mV]，由A/D变换器15变换为数字值D_L[step]。数字值D_L[step]，利用传感器灵敏度S[mV/deg/sec]、放大倍数K[倍]、A/D变换系数L[mV/step]变换为角速度。 

由角速度传感器11得到的电压值V_g[mV]，与角速度θ’[deg/sec]的值成比例。由于此时的比例常数为传感器灵敏度S[mV/deg/sec]，因此V_g[mV]由以下式(1)来表示。 

V_g＝Sθ’…(1) 

另外，放大器13，仅放大电压值V_g[mV]，因此放大后的电压V_a[mV]由以下式(2)来表示。 

V_a＝KV_g…(2) 

由放大器13放大的电压值V_a[mV]，通过A/D变换由n[step](例如，-512～512)的数字值D_L[step]来表现。若将A/D变换系数作为L[mV/step]，则数字值D_L[step]由以下式(3)来表示。 

D_L＝V_a/L…(3) 

通过利用上述式(1)～(3)，如以下式(4)所示，计算出角速度θ’。 

θ’＝(L/KS)D_L…(4) 

由此，通过在摄影开始到摄影结束之间所取得的角速度，能够计算在手抖动图像(v_tebre)上产生的移动量。另外，将在手抖动图像(v_tebre)上产生的移动量称作移动矢量。 

在从一个角速度的采样值到下一个角速度的采样值之间(采样间隔dt[sec])，将相机旋转的旋转量作为θ[deg]。在此，假设相机在采样间隔dt[sec]内以一定的角速度旋转，采样频率为f＝1/dt[Hz]，则相机的旋转量θ[deg]由以下式(5)来表示。 

θ＝θ’/f＝(L/KSf)D_L…(5) 

如图3所示，若将r[mm]作为焦点距离(35[mm]滤镜换算)，则画面上的移动量d[mm]根据相机的旋转量θ[deg]由下式(6)来求出。 

d＝rtanθ…(6) 

在此求出的移动量d[mm]，其大小是35[mm]滤镜换算时的手抖动的大小，单位是[mm]。在实际进行计算处理时，必须用数码相机的图像的大小的单位[pixel]来考虑图像的大小。 

35[mm]滤镜换算的图像的纵横比与由数码相机摄影的以[pixel]为单位的图像的纵横比不同，因此如下进行计算。如图4所示，35[mm]滤镜换算时图像尺寸的横×纵定为36[mm]×24[mm]。若将由数码相机摄影的图像的大小作为X[pixel]×Y[pixel]，将水平方向(平移方向)的抖动作为x[pixel]，将垂直方向(俯仰方向)的抖动作为y[pixel]，则变换式变成下式(7)、(8)。 

x＝d_x(X/36)＝rtanθ_x(X/36)…(7) 

y＝d_y(Y/24)＝rtanθ_y(Y/24)…(8) 

在上述式(7)、(8)中，对d和θ使用了下标的x和y，但下标x表示水平方向的值，下标y表示垂直方向的值。 

若总结上述式(1)～(8)，则水平方向(平移方向)的抖动x[pixel]、和垂直方向(俯仰方向)的抖动y[pixel]，由下式(9)、(10)来表示。 

x＝rtan{(L/KSf)D_Lx}X/36…(9) 

y＝rtan{(L/KSf)D_Ly}Y/24…(10) 

通过使用该变换式(9)、(10)，可以根据作为数字值得到的相机的各个轴的角速度数据求出图像的抖动量(移动矢量)。 

摄影中的移动矢量，可仅得到从传感器得到的角速度的数据的数目(仅仅是采样点的数目)，若顺次地连结它们的始点和终点，则成为图像上的手抖动的轨迹。另外，通过观察各个矢量的大小，而得知在该时刻中的手抖动的速度。 

(2-2)手抖动函数/广义逆滤波器变换处理部33 

手抖动，可使用空间滤波器来表示。若与图5(a)所示的手抖动的轨迹(相机抖动时描绘图像上的一点的轨迹、图像的抖动量)一致，给算子(operator)的要素加权并进行空间滤波处理，则在滤波过程中像素的浓淡值只考虑与手抖动的轨迹相对应的附近像素的浓淡值，因此能够作成手抖动图像。 

将与该轨迹一致而加权的算子称作PSF(Point Spraed Function)，该PSF作为手抖动的数学模型来使用。PSF的各个要素的权值，是其要素与手抖动的轨迹通过的时间成比例的值，按照各个要素的权值的总和变成1那样被规一化的值。即，作成与移动矢量的大小的倒数成比例的权值。当考虑到手抖动给图像带来的影响时，缓慢移动的位置给图像带来较大的影响。 

图5(b)表示假设手抖动的移动为等速时的PSF，图5(c)表示考虑到实际的手抖动的移动的大小时的PSF。在图5(c)中，将PSF的权值低(移动矢量的大小较大)的要素表示为黑的形状，将权值高(移动矢量的大小较小)的要素表示为白的形状。 

在上述〔2-1〕中得到的移动矢量(图像的抖动量)具有手抖动的轨迹、和作为数据的轨迹的速度。 

为了作成PSF，首先根据手抖动的轨迹决定加PSF的权值的要素。并且，根据手抖动的速度决定给PSF的要素加的权值。 

通过将在上述〔2-1〕中得到的一系列的移动矢量连接，而得到近似于折线的手抖动的轨迹。该轨迹具有小数点以下的精度，但通过使其整数化而决定在PSF中加权的要素。因此，在该实施例中，利用Bresenham的直线描绘算法决定在PSF中加权的要素。所谓的Bresenham的直线描绘算法，是指在数字画面上要引出通过任意的两点的直线时选择最佳的点位置的算法。 

利用图6的例子说明Bresenham的直线描绘算法。图6中附上箭头的直线表示移动矢量。 

(a)从点位置的原点(0，0)出发，使移动矢量的水平方向的要素增加一。 

(b)确认移动矢量的垂直方向的位置，该垂直方向位置与之前的点的垂直方向位置相比大于1时，使点位置的垂直方向增加一。 

(c)再次使移动矢量的水平方向的要素增加一。 

通过将上述的处理反复进行到移动矢量的终点为止，能够由点位置表现移动矢量通过的直线。 

加在PSF的要素中的权值，利用每个移动矢量其矢量的大小(速度成分)不同而决定。权值采用移动矢量的大小的倒数，向与各个移动矢量相对应的要素代入权值。但是，按照各个要素的权值的总和变成1的方式使各个要素的权值规一化。图7示出了由图6的移动矢量得到的PSF。速度快的地方(移动矢量长的地方)的权值变小，速度慢的地方(移动矢量短的地方)的权值变大。 

(2-3)移动矢量/手抖动函数变换处理部32 

水平方向上以N_x像素、在垂直方向上以N_y像素的分辨率使图像数字化。由p(i，j)表示在水平方向上位于第i位置，在垂直方向上位于第j位置上的像素的值。所谓的由空间滤波器产生的图像的变换，是指通过注目像素的附近像素的卷积使变换模型化的变换。将卷积系数作为h(l，m)。在此，为了使其简单化，若-n＜1，m＜n，则注目像素的变换可由下式(11)来表现。另外，将h(l，m)本身称作空间滤波器，或称作滤波器系数。变换的性质由h(l，m)的系数值来决定。 

$p^{\′}(i,j)=\underset{l=-n}{\overset{l=n}{\mathrm{\Σ}}}\underset{m=-n}{\overset{m=n}{\mathrm{\Σ}}}h(l,m)\×p(i+l,j+m)----\left(11\right)$

在由数字相机等摄像装置观察点光源时，假设在图像的形成过程中没有退化，则在图像上所观察的像，只有某一点具有0以外的像素值，其以外的像素值为0。实际的摄像装置包含退化过程，因此即使观察点光源，该像不会成为一点，而成为扩散的像。在产生手抖动时，点光源在画面上生成与手抖动相对应的轨迹。 

作为系数具有与对点光源的观察图像的像素值成比例的值，将系数值的总和成为1的空间滤波器称作PSF(Point Spread Function：点展开函数)。在该实施例中，作为PSF使用由移动矢量/手抖动函数变换处理部32得到 的PSF。 

在使PSF由纵横(2n+1)×(2n+1)的空间滤波器h(l，m)，-n＜1，m＜n模型化时，对于各个像素，不模糊的图像的像素值p(i，j)和模糊的图像的像素值p’(i，j)，具有上述式(11)的关系。在此，实际上可观察的是，模糊的图像的像素值为p’(i，j)，需要用那种方法来计算不模糊的图像的像素值p(i，j)。 

若对所有的像素书写上述式(11)并排列，则变成下式(12)。 

$p^{\′}\left(\mathrm{1,2}\right)=\underset{l=-n}{\overset{l=n}{\mathrm{\Σ}}}\underset{m=-n}{\overset{m=n}{\mathrm{\Σ}}}h(l,m)\×p(1+l,2+m)$

… 

$p^{\′}(1,N_n)=\underset{l=-n}{\overset{l=n}{\mathrm{\Σ}}}\underset{m=-n}{\overset{m=n}{\mathrm{\Σ}}}h(l,m)\×p(1+l,N_n+m)$

$p^{\′}(2,N_n)=\underset{l=-n}{\overset{l=n}{\mathrm{\Σ}}}\underset{m=-n}{\overset{m=n}{\mathrm{\Σ}}}h(l,m)\×p(2+l,N_n+m)$

… 

$p^{\′}(N_y,N_n)=\underset{l=-n}{\overset{l=n}{\mathrm{\Σ}}}\underset{m=-n}{\overset{m=n}{\mathrm{\Σ}}}h(l,m)\×p(N_y+l,N_n+m)----\left(12\right)$

总结上述式并以矩阵表现，变成以下式(13)。在此，P是以光栅扫描顺序使原图像一维化(一元化)而得到的。 

P’＝H×P…(13) 

若H的逆矩阵H^-1存在，则通过计算P＝H^-1×P’，可以从已退化的图像P’求出无退化的图像P，但一般，H的逆矩阵不存在。对于逆矩阵不存在的矩阵，存在称作广义逆矩阵或模拟逆矩阵的矩阵。在下式(14)中示出了广义逆矩阵的例子。 

H^*＝(H^t·H+γ·I)^-1·H¹…(14) 

在此，H^*是H的广义逆矩阵，H^t是H的转置矩阵，γ是标量，I是与H^t·H相同大小的单位矩阵。通过使用H^*计算下式(15)，而能够根据所观察的手抖动图像P’得到校正了手抖动的图像P。γ是调整校正的强度(图 像复原强度)的参数(正则化系数)。若γ较小则变成强的校正处理，若γ较大则变成弱的校正处理。 

P＝H^*×P’…(15) 

在将图像尺寸作为640×480时，上述式(15)的P变成307、200×1的矩阵，H^*变成307、200×307、200的矩阵。由于变成这种非常大的矩阵，因此直接使用上述式(14)、(15)是不实用的。因此，可以由以下的方法使在计算中使用的矩阵的大小变小。 

首先，在上述式(15)中，将成为P的原图像的图像的大小作成63×63等、较小的尺寸。若是63×63的图像，则P变成3969×1的矩阵，H^*变成3969×3969的矩阵。H^*是将图像整体变换为校正模糊图像整体后的图像整体的矩阵，H^*的各行与P的积相当于进行各个像素的校正的运算。H^*的正中间的行与P的积相当于63×63像素的原图像的、对正中间的像素的校正。P是使原图像以光栅扫描顺序一维化而得到的，相反地，通过由反光栅扫描使H^*的正中间的行2维化，而能够构成63×63的尺寸的空间滤波器。由此构成的空间滤波器称作广义逆滤波器。通过将由此作成的实用的尺寸的空间滤波器依次适用在较大的图像整体的各个像素中，可以校正模糊图像。 

(3)图像复原处理部40 

图像复原处理部40，如图1所示，具备：用于去除噪声的滤波电路41；和用于利用图像复原滤波器进行图像复原的滤波电路42。滤波电路41，利用中值滤波器进行滤波处理。 

在手抖动校正模式为第1模式时，手抖动图像(v_tebre)通过相机并经由选择器72发送到滤波电路41中，进行利用中值滤波器的滤波处理，并去除噪声。由滤波电路41得到的图像，发送到由图像复原滤波器计算部30设置滤波器系数的滤波电路42中。在滤波电路42中，进行使用图像复原滤波器的滤波处理，从手抖动图像(v_tebre)开始复原校正手抖动后的图像。由滤波电路42得到的手抖动校正图像(v_fukugen)，发送到振铃去除处理部50内的加权平均处理部53中。 

(4)振铃去除处理部50 

振铃去除处理部50，如图1所示，具备边缘强度计算部51、加权平 均系数计算部52及加权平均处理部53。 

在手抖动校正模式为第1模式时，由相机摄影的图像v_tebre，经由选择器72也发送到边缘强度计算部51及加权平均处理部53。在边缘强度计算部51中，对每个像素计算出边缘强度。对边缘强度的计算方法进行说明。 

如图8所示，假设以注目像素v22为中心的3×3的区域。对于注目像素v22，计算水平边缘成分dh和垂直边缘成分dv。对于边缘成分的计算，例如使用图9所示的Prewitt的边缘提取算子。图9(a)示出了水平边缘提取算子，图9(b)示出了垂直边缘提取算子。 

水平边缘成分dh及垂直边缘成分dv，由下式(16)、(17)来求出。 

dh＝v11+v12+v13-v31-v32-v33…(16) 

dv＝v11+v21+v31-v13-v23-v33…(17) 

接着，根据水平边缘成分dh及垂直边缘成分dv，基于下式(18)计算注目像素v22的边缘强度v_edge。 

v_edge＝sqrt(dh×dh+dv×dv)…(18) 

此外，作为注目像素v22的边缘强度v_edge，也可以使用abs(dh+abs(dv)。另外，对于由此而得到的边缘强度图像，还可以进一步使用3×3的噪声去除滤波器。 

由边缘强度计算部51计算出的各个像素的边缘强度v_edge被付与加权平均系数计算部52。加权平均系数计算部52，基于下式(19)计算各个像素的加权平均系数k。 

Ifv_edge＞Eth then k＝1 

Ifv_edge≤Eth then k＝v_edge/Eth…(19) 

Eth是用于调整振铃去除强度的参数。v_edge和加权平均系数k之间的关系成为如图10所示的关系。 

由加权平均系数计算部52计算出的各个像素的加权平均系数k被付与加权平均处理部53。若将由图像复原处理部40得到的手抖动校正图像(v_fukugen)的像素值作为像素值(v_fukugen)，将由相机摄像的手抖动图像(v_tebre)的像素值作为像素值(v_tebre)，则加权平均处理部53，通过进行由下式(20)表示的计算，而对手抖动校正图像(v_fukugen)的 像素值(v_fukugen)和手抖动图像(v_tebre)的像素值(v_tebre)进行加权平均。 

v＝k×v_fukugen+(1-k)×v_tebre…(20) 

即，对于边缘强度v_edge大于阈值Eth的像素，与其位置相对应的复原图像的振铃不显著，因此由图像复原处理部40得到的手抖动校正图像(v_fukugen)的像素值(v_fukugen)被原封不动地输出。对于边缘强度v_edge为阈值Eth以下的像素，边缘强度v_edge越小，则手抖动校正图像(v_fukugen)的振铃越显著，因此使复原图像的程度变弱，使手抖动图像(v_tebre)的程度变强。 

若使阈值Eth变大，则手抖动图像(v_tebre)的比率增加，因此手抖动校正效果降低，但振铃去除强度变高。相反地，若使阈值Eth变小，则手抖动校正图像(v_fukugen)的比率增加，因此提高手抖动校正效果，但振铃去除强度降低。 

(5)反锐化掩蔽处理部60 

所谓的反锐化掩蔽是进行边缘增强的图像处理方法。在手抖动校正模式为第1模式时，由振铃去除处理部50施加振铃去除处理的图像被输入到反锐化掩蔽处理部60。在手抖动校正模式为第2模式时，由相机摄影的手抖动图像(v_tebre)，经由选择器72被输入到反锐化掩蔽处理部60。 

将被输入到反锐化掩蔽处理部60中的图像称作原图像。反锐化掩蔽处理部60，首先通过利用高斯滤波器(Gaussian filter)使原图像平滑化而生成平滑化图像，取得原图像和平滑化图像的差分，通过将校正强度参数与该差分相乘而得到边缘强度图像。并且，通过向原图像添加边缘强度图像，而得到增强边缘的图像。 

若原图像为I，由反锐化掩蔽处理得到的图像作为I’，则I’由以下式(21)来表示。 

I’＝I+K(I-G(I))…(21) 

在上述式(21)中，G(I)为原图像的平滑化图像，K为校正强度参数。 

利用高斯滤波器进行平滑化后的图像G(I)，通过对原图像I(x，y)， 进行下式(22)中表示的平均为0、方差为σ²的2维高斯函数的卷积来求得。 

$F(x,y)=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{\frac{x^2+y^2}{{2\mathrm{\σ}}^2}}----\left(22\right)$

即，G(I)由以下式(23)来表示。 

G(I)＝F(x，y)*I(x，y) 

    ＝∫∫F(x+u，y+v)·I(x，y)dudv…(23) 

在上述式(23)中，符号*表示卷积。表示方差的参数σ成为调整参数。 

(6)手抖动校正模式判定部71 

图11示出了，由手抖动校正模式判定部71进行的校正模式判定处理步骤。 

手抖动校正模式判定部71，基于由手抖动信号/移动矢量变换处理部31得到的移动矢量、和由移动矢量/手抖动函数变换处理部32生成的PSF，判定手抖动校正模式。 

首先，基于由手抖动信号/移动矢量变换处理部31得到的移动矢量的大小，进行手抖动的速度变化状态的判定处理(步骤S21)。即，判定手抖动的速度变化状态为等速或不等速(加减、减速或加减速)。 

如上所述，摄影中的移动矢量，仅得到从传感器得到的角速度数据的数目(采样点的数目)。在该实施例中，基于摄影中的移动矢量的大小的变化范围Va是否小于规定的阈值Vth，来判定手抖动的速度变化状态为等速或不等速。 

如图12所示，在摄影中的移动矢量的大小的变化范围Va，小于规定的阈值Vth时，判定为手抖动的速度变化状态为等速。如图13所示，在摄影中的移动矢量的大小的变化范围Va为规定的阈值Vth以上时，判定为手抖动的速度变化状态为不等速。 

在判定为手抖动的速度变化状态为等速时，将在后述的手抖动的大小 判定中作为阈值来使用的可校正手抖动大小Sth2设定为Sthc，将在手抖动函数/广义逆滤波器变换处理部33中使用并且调整手抖动校正强度(图像复原强度)的参数(正则化系数)γ(参照上述式(14))设定为γc，将在振铃去除处理部50中使用的用于调整振铃去除强度的参数Eth设定为Ethc(步骤S22)。并且，进入步骤S24。 

在判定为手抖动的速度变化状态为不等速时，将可校正手抖动大小Sth2设定为大于Sthc的Stha，将调整手抖动校正强度(图像复原强度)的参数γ(参照上述式(14))设定为小于γc的γa，将用于调整振铃去除强度的参数Eth设定为小于Ethc的Etha(步骤S23)。 

并且，进入步骤S24。这些参数被设定为，例如Sthc＝17[pixel]、Stha＝25[pixel]、γc＝0.07、γa＝0.05、Ethc＝64、Etha＝32。 

即，在等速状态下，若手抖动大小变大，则由于通过图像复原滤波器难以复原图像，因此使可校正手抖动大小Sth2变小。还有，在等速状态下，通过进行图像复原处理引起的不良影响变大，因此为了使手抖动校正强度变弱，而使正则化系数γ变大。还有，在等速状态下进行图像复原处理时振铃变大，因此为了增大振铃去除强度，而使Eth变大。 

在步骤S24中，基于由手抖动信号/移动矢量变换处理部31得到的移动矢量方向，进行手抖动轨迹的形状的判定处理。即，判定手动轨迹的形状为直线形状还是复杂形状。 

在该实施例中，将摄影中的时间上相邻的移动矢量的方向的变化(移动矢量的角度变化)与规定的阈值θth进行比较，并基于是否存在规定的阈值θth以上的移动矢量的方向变化，判定手抖动的轨迹的形状为直线形状还是复杂形状。 

如图14所示，在摄影中的时间上相邻的所有的移动矢量的方向变化(θ1～θ4)，小于阈值θth时，判定手抖动的轨迹的形状为直线形状。如图15所示，在摄影中在时间上相邻的移动矢量的方向变化(θ1～θ4)之中，如θ2、θ3那样，阈值θth以上的移动矢量的方向变化存在一个以上时，判定手抖动的轨迹的形状为复杂形状。 

在判定手抖动的轨迹的形状为直线形状时，置位标记F(F＝1)之后(步骤S25)，进入步骤S27。在判定手抖动的轨迹的形状为复杂形状时， 复位标记F(F＝0)之后(步骤S26)，进入步骤S27。 

在步骤S27中，基于由移动矢量/手抖动函数变换处理部32生成的PSF，将手抖动的大小(手抖动量)进行分类。 

参照图16，说明手抖动的大小(手抖动量)的计算方法。首先，求出包含所有的PSF图像的有效像素(像素值不为0的像素)的外接长方形。其次，基于该外接长方形的高度h〔像素〕与宽度w〔像素〕，求出对角线的长度Sz〔像素〕，作为手抖动的大小(手抖动量)。 

在步骤S27中，具体而言，根据PSF求出手抖动的大小(手抖动量)Sz，判定求出的手抖动的大小Sz是否在Sz≤Sth1、Sth1＜Sz≤Sth2、Sz＞Sth2中的任一范围内。 

在此，Sth1为预先设定的阈值，Sth2为由上述步骤S22或S23设定的阈值Sthc或Stha。并且，Sth1的值小于Sth2。 

在判定为手抖动的大小Sz在Sth1＜Sz≤Sth2范围内时，判定标记F是否被置位(F＝1)(步骤S28)。在标记F被置位时，即，在判定为手抖动轨迹的形状为直线形状时，将校正模式设定为第1模式(进行使用复原滤波器的图像复原处理、振铃去除处理以及反锐化掩蔽处理的模式)(步骤S29)。在标记F没有被置位时，即，判定为手抖动轨迹的形状为复杂形状时，将校正模式设定为第3模式(不进行任何校正的模式)(步骤S30)。 

在上述步骤S27中，在手抖动的大小Sz被判定为Sz≤Sth1时，将校正模式设定为第2模式(只进行反锐化掩蔽处理的模式)(步骤S31)。在上述步骤S27中，在手抖动大小Sz被判定为Sz＞Sth2时，将校正模式设定为第3模式(不进行任何校正的模式)(步骤S30)。 

根据上述实施例，在手抖动的大小大于Sth2时，不进行手抖动校正，手抖动图像(v_tebre)原封不动地被输出。在手抖动大小为Sth1以下时，通过反锐化掩蔽处理部60对手抖动图像(v_tebre)进行边缘增强处理而被输出。在手抖动的大小大于Sth1且在Sth2以下，并且手抖动的轨迹的形状为复杂形状时，不进行手抖动校正，手抖动图像(v_tebre)原封不动地被输出。 

在手抖动的大小大于Sth1且在STh2以下，并且手抖动的轨迹的形状 为直线形状时，对于手抖动图像(v_tebre)进行基于图像复原处理部40的图像复原处理、基于振铃去除处理部50的振铃去除处理以及基于反锐化掩蔽处理部60的边缘增强处理之后，进行输出。此时，在移动矢量的速度变化状态为等速时，与移动矢量的速度变化状态为不等速时相比，基于图像复原处理部40的校正强度变弱的同时，基于振铃去除处理部50的振铃去除强度变强。 

从而，根据上述实施例，根据移动矢量的速度变化状态、手抖动的轨迹的形状以及手抖动的大小，可以进行适于其的手抖动校正。 

(其他的实施方式) 

本发明通过上述实施方式进行了说明，然而不应理解为本发明公开的一部分的论述及图，限定了本发明。通过该公示，本技术领域的人员可明确各种代替实施方式、实施例以及运用技术。 

例如，也可以省略在图11的步骤S24中进行的手抖动的轨迹的形状判定。此时，也省略步骤S25、S26、S28的处理。从而，通过步骤S27，判定手抖动大小Sz在Sth1＜Sz≤Sth2范围内时，校正模式被设定为第1模式。 

还有，也可以不省略图11的步骤S24的处理，而省略图11的步骤S21的手抖动的速度的变化状态的判定。还有，也可以省略图11的步骤S24的处理的同时，省略图11的步骤S21的手抖动速度的变化状态的判定。 

还有，在上述的实施方式中，第1模式包含图像复原处理、振铃去除处理以及边缘增强处理，然而第1模式并不限于此。具体而言，第1模式，也可以只包含图像复原处理以及振铃去除处理，也可以只包含图像复原处理。 

Claims (6)

1.一种手抖动校正装置，具备：图像复原处理部，其利用基于手抖动信息而生成的图像复原滤波器，来进行校正被包含在输入图像中的手抖动的图像复原处理；和边缘增强处理部，其进行对所述输入图像的边缘增强的边缘增强处理，

所述手抖动校正装置具备校正模式决定部，其基于根据所述手抖动信息生成的所述手抖动的大小，决定校正所述输入图像的手抖动校正模式，

所述手抖动校正模式，包括：在进行所述图像复原处理后进行振铃去除处理，接下来进行所述边缘增强处理的第1模式；进行所述边缘增强处理的第2模式；和所述图像复原处理及所述边缘增强处理都不进行而直接输出手抖动图像的第3模式。

2.根据权利要求1所述的手抖动校正装置，其特征在于，

所述第2模式，是不进行所述图像复原处理，而进行所述边缘增强处理的所述手抖动校正模式。

3.根据权利要求1所述的手抖动校正装置，其特征在于，

所述校正模式决定部，在根据所述手抖动信息生成的所述手抖动的大小小于或者等于预先设定的第1阈值或者比预先设定的第2阈值大或者所述手抖动的大小比所述第1阈值大且小于或者等于所述第2阈值的情况下，基于由所述手抖动信息生成的所述手抖动的轨迹为直线形状或者为复杂形状来决定所述手抖动校正模式。

4.根据权利要求1所述的手抖动校正装置，其特征在于，

所述校正模式决定部，基于根据所述手抖动信息生成的所述手抖动的速度变化是否为等速，而控制采用所述图像复原滤波器校正所述手抖动的强度，如果所述手抖动的速度变化为等速则将手抖动校正强度设定为第一图像复原强度，如果所述手抖动的速度变化为不等速，则将手抖动校正强度设定为比第一图像复原强度小的第二图像复原强度。

5.根据权利要求1所述的手抖动校正装置，其特征在于，

还具备振铃去除部，其进行对包含在手抖动校正图像中的振铃去除的振铃去除处理，所述手抖动校正图像是由所述图像复原处理部校正所述手抖动的图像，

所述第3模式，是不进行所述图像复原处理及所述边缘增强处理、和所述振铃去除处理中的任一处理，直接输出手抖动图像的所述手抖动校正模式，

所述校正模式决定部，基于根据所述手抖动信息生成的所述手抖动的速度变化是否为等速，而控制去除所述振铃的强度，如果所述手抖动的速度变化为等速，则将振铃去除强度设定为第1振铃去除强度，如果所述手抖动的速度变化为不等速，则将振铃去除强度设定为比第1振铃去除强度的值小的第2振铃去除强度。

6.根据权利要求1所述的手抖动校正装置，其特征在于，

所述校正模式决定部，

将所述手抖动的大小与规定的阈值进行比较，决定所述手抖动校正模式，

基于根据所述手抖动信息生成的所述手抖动的速度变化是否为等速，控制所述规定的阈值，如果所述手抖动的速度变化为等速，则将所述阈值设定为第1阈值，如果所述手抖动的速度变化为不等速，则将所述阈值设定为比第1阈值大的第2阈值。

Images