CN101233440A - 利用滚动快门的自适应光平面形成 - Google Patents

利用滚动快门的自适应光平面形成 Download PDF

Info

Publication number
CN101233440A
CN101233440A CNA200680028035XA CN200680028035A CN101233440A CN 101233440 A CN101233440 A CN 101233440A CN A200680028035X A CNA200680028035X A CN A200680028035XA CN 200680028035 A CN200680028035 A CN 200680028035A CN 101233440 A CN101233440 A CN 101233440A
Authority
CN
China
Prior art keywords
lens
exposure
image sensing
image
sensing face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200680028035XA
Other languages
English (en)
Other versions
CN101233440B (zh
Inventor
H·卡克科里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37567484&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101233440(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101233440A publication Critical patent/CN101233440A/zh
Application granted granted Critical
Publication of CN101233440B publication Critical patent/CN101233440B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00Exposure-making shutters; Diaphragms
    • G03B9/08Shutters
    • G03B9/28Roller blind or flexible plate
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS

Abstract

通过相对于图像感应面来同步于曝光图像感应面(例如胶片或像素阵列)的不同部分移动光学透镜而成像景像。同步动作优选地适于被成像的景像,从而在不同物距处的物体被聚焦在不同的时刻、以及在曝光帧周期内不同时刻处曝光于感应面的不同部分。对于传感器的不同部分,曝光时间可根据将要被成像的景像内的不同物体的速率或亮度来改变,如通过类似于自动调焦距离测量设备的测量设备在照相机处所检测到的。还详细描述了一种照相机和计算机可读指令的程序。相对于图像感应面来移动透镜的可选方案包括改变透镜的形状。

Description

利用滚动快门的自适应光平面形成
技术领域
本发明涉及提供增加的景深的方法和光学设备。
背景技术
传统的摄影技术依靠通过固定的聚焦透镜(或多个透镜)来曝光胶片的平面部分,从而感兴趣的物体将被精确的聚焦在胶片上。胶片布置成垂直于光轴并且位于透镜后的像距si处,该像距si匹配物距s0,而物体位于透镜前方的该物距s0处。特别在微距摄影技术中但较小程度上涉及所有的摄影技术,曝光景像内但处于距离并非像距s0的其他物体在胶片上散焦。该基本理论在整个胶片摄影技术中持续盛行,随着数字摄影技术的引入,使用像素化阵列(pixilatedarray)来替代胶片。
图1是现有技术的示意框图,其表示透镜20聚集在有限物距处定位的物体,从而进入到透镜20的所有光线22基本上是平行的。对于某些假设来说,假设该透镜是薄的。透镜20的焦距是透镜后进入该透镜的平行光线聚焦的距离。像距si是透镜20后通过来自特定物距s0的通过透镜的光被聚焦的距离。由于图1中的物距s0是远的(进入到透镜20的光线基本上是平行的),则si=f,像距是透镜焦距。传感器24(其可以是胶片、数字像素化面、感应阵列等)位于像距si处,从而特定的成像物体被焦点对准。该关系由高斯(薄)透镜方程 1 f = 1 s 0 + 1 s i 来描述。对于位于有限距离处的物体,s0是大的并且
Figure S200680028035XD00012
变得近乎等于零的小,从而f≈si。图2A类似于图1,但随着透镜20的移动,从而位于s0<<∞处(例如小于大约20’)的物体相反将聚焦在传感器24上。焦距f在图1和图2A之间没有改变,其由透镜20的形状和折射率来设置。透镜20或传感器24的移动使得能够对在传感器24处的非平行进入光线22进行聚焦,并且该关系可以数学地表示为 s i = s 0 f s 0 - f .
图2B是在离透镜的各个距离处布置的多米诺骨牌并列显示(tile)的照片(例如以图2A的透镜设置所拍摄的一张)。该图像示出了三个连续的多米诺骨牌并列显示25、26、27,每个具有水平线以及在该线上可见的三个点。这三个多米诺骨牌并列显示的中间26位于图2A的距离s0,并且因此精确地聚焦在如我们在图2B中所看到的传感器上。这三个多米诺骨牌并列显示的剩余两个25、27处于可接受的焦距内,并且位于相应的距离s0-x和s0+x处,假设所有的多米诺骨牌并列显示彼此之间以距离x等间距。所有的多米诺骨牌并列显示被虚化(blur),因为它们位于离s0比距离x更远的位置。仅可在离透镜20一个距离s0处获得重要的或精确的焦距。在图1至图2B中,该距离是物距s0
如图2B中明显示出,对于距离(s0±x)的范围来说,焦距是可接受的精确。该可接受焦距的区域被称为景深。技术上来说,该景深是其中散光圈(circle of confusion)的尺寸小于人眼的分辨率的区域。散光圈在光学和照相技术领域内是相当熟知的术语,并且涉及最模糊时,点可以是并且仍是被认为“焦点对准”的。增加景深已经成为对图1和图2A的设置的某种改进的主题。
在图3中示意性地示出增加该景深的一种此类现有技术设置。在该设置中,传感器24限定倾斜并且不再垂直于由透镜20所限定的光轴26的面。位于更靠近于图3的顶部的物体处于离透镜20的距离s01处。进入到透镜20的光线22a并不是平行的,所述光线22a精确地聚焦在透镜20后的距离Si1处的传感器24的一部分处。在相同的景像和相同的传感器曝光内的是第二物体,其位于更靠近于图3的底部,并且离透镜20距离S0inf。来自此第二物体的光线22b在它们进入到透镜时基本上是平行的,并且精确地聚焦在透镜20后的距离Siinf处的传感器24的一部分上。因为si1不等于siinf,所以景深被增加,即,当从图3的顶部向图3的底部移动时,最佳焦距的位置将移位。图3的设置在商业上被实施在图4的CanonTS-E 24mm透镜中,允许相对于照相机设备表现出“并列显示”的更好的成像物体或景像。该效果通过借助于单独倾斜透镜或通过倾斜传感器自身来在成像透镜和传感器平面之间设置倾斜角来获得,如下所述。
另一现有技术设置在美国专利No.6,783,068标题“Large Depth ofField Line Scan Camera”中描述。在该修改中,扫描系统使用一种随机可寻址成像传感器,其可选择性地位于成像平面中的Scheimpflug角度处以便检测从物体反射的聚焦光。从物体反射的光线通过物镜聚焦在传感器上。由于传感器安装在Scheimpflug角处,所以物体平面的景深内的每个条带(strip)具有焦点对准的传感器上的相应像素。
美国专利No.6,567,126标题为“Planar Focus Correction”并且描述了一种照相机,该照相机包括检测器阵列和设置成将来自物体平面的光幅射引导到检测器上的物镜。透镜定义了照相机的光轴,并且物体平面处于倾斜的角度。光轴移动设备改变检测器相对于透镜的相对方位,从而检测器和透镜可以沿光轴彼此相对或相反的相对移动,并且相对于彼此以至少一个自由度进行倾斜。这使得连接到检测器的聚焦检测设备来检测落入到检测器的图像的一部分何时被焦点对准,保持焦点对准的图像的焦点对准部分直到第二部分也进入到焦距中。
美国专利No.6,445,415的标题为“Increased Depth of Field forPhotography”并且被描述为用于电子照相机的根本。图像从照相机中的传感器电子地生成并且是基于多照相技术。以相应照片中的景像主题的不同聚焦部分来对若干照片进行拍摄,并且由来自不同图像的贡献合成基本图像。计算的图像转换是基于对于相应图像的透镜或传感器设置。
美国专利No.5,282,045的标题为“Depth of Field ControlApparatus and Image Pickup Apparatus Having the Same Therein”。在该专利中,对应于在焦点或焦距位置上不同的多个图片图像的图像信号由一种机构获得,该机构用于改变焦点或焦距位置,以借助于通过合成电路来合成这些图像信号以生成新的图像信号。物体的运动信息由用于检测物体中的移动部分的电路来获得,以通过运动信息来控制图像的合成。焦点或焦距位置与同步于电视的垂直扫描周期的整数倍来移动。在由电视系统的一个垂直扫描周期内获得对应于在焦点或焦距位置上不同的多个图片图像的图像信号。结合照相机透镜的透镜孔径的值来控制焦点或焦距位置的移动量。图像合成由合成控制电路控制,该合成控制电路由以下的电路构成,包括:用于检测对应于多个不同图片图像的图像信号的各个功率的电路,用于将检测到的功率进行相互比较的电路,以及用于检测包括在图像信号的一个中的边缘位置的电路。由功率比较电路生成的用于图像合成的控制信号由通过边缘检测电路获得的边缘位置信息来补偿。
尽管有趣的是每个上述现有技术的描述表现出重叠景像内物体的不同平面图像,以达到具有相比较于任何单独平面图像更高景深的合成。然而,如图5中所示,已知光学透镜定义Petzval平面或Petzval像场弯曲。简言之,Petzval面是抛物面,该在抛物面处,位于沿垂直于平面光轴的物体被精确地聚焦在透镜20的相反侧。假设图5中的固定距离s0。在透镜20前离光学中心32距离s0处的物体是沿着曲面δ0,并且不存在的相差被精确地聚焦在由像距si所定义的透镜20后的曲面28处。这些曲面δ0和28通常是球面的,但它们的形状取决于透镜的孔径。现在,将曲面δ0拉平到在距离s0处垂直于光轴26的平面,产生物体平面δ0’。为了将景像成像在平面传感器24的物体平面δ0’处,这加入附加的相差,因为沿物体平面δ0’的物体现在被精确地沿Petzval面30聚焦,这进一步脱离(球)面28。保证在图5的平面和曲面之间的脱离被放大以用于图示的清楚。平面传感器24现在成像两级相差,第一个是由于其与由距离si所定义的(球)面28非一致,第二个是由于其与(抛物面)Petzval面30非一致。图像仅精确地聚焦在光轴处,其中传感器24正切于两个曲面28、30并且与两个曲面28、30相一致。成像脱离光轴的物体不断地离开焦点对准。这些相差是由于像场弯曲。使用图2B的例子,最佳聚焦的多米诺骨牌并列显示26可精确地仅聚焦在该并列显示的水平线处,因为该线位于沿着光轴,而该相同并列显示26的顶部和底部由于像场弯曲而不处于焦点对准,尽管在图2B中没有特别注意到。用于增加景深的上述现有技术的任意一个没有被认为偏移像场弯曲,以第一级或以第二级。尽管在现有技术中已知的四透镜设置可以最小化或甚至消除由图5所示出的像场弯曲,但这样的设置产生了浅的景深,因为获得精确聚焦的物距仅从曲面移位到平面而没有附加的光相差,从而精确的聚焦仍仅取决于离透镜20的一个距离。
发明内容
根据这些教导的详细实施方式,上述的和其他的问题将被克服,并且其他的优势将被实现。
根据一个实施方式,本发明是一种用于对景像进行成像的方法。该方法包括操纵光学透镜和图像感应面之间的关系,并且曝光与操纵光学关系同步的图像感应面的不同部分。操纵光学关系,从而图像感应面被分隔在离透镜不同的有效像距处。该同步动作可以自适应于景像中将被成像的物体,例如离透镜的物距,改变不同部分的曝光时间的物体的亮度,和/或改变不同部分的曝光时间的物体移动速度。曝光感应面的不同部分包括传统的胶片和快门设置,数字感应面上的像素电压积分,以及其他成像技术。
根据另一实施方式,本发明是用于对景像进行成像的另一方法。该另一方法包括确定透镜和景像中的第一和第二物体之间的第一和第二物距。在持续的曝光帧中,图像感应面的第一部分被曝光在当图像感应面位于离透镜的第一有效像距处,而图像感应面的第二部分被曝光在当图像感应面位于离透镜的第二有效像距处。一般地,在根据透镜自身的光学特性的已知方式中,第一和第二有效像距对应于第一和第二物距。曝光的第一和第二部分接着被组合进单个的图像中。
根据另一实施方式,本发明是照相机,所述照相机包括透镜、图像传感器,例如形成感应面的照相胶片或照相敏感像素的阵列。照相机还包括用于单独地曝光单个曝光帧内的感应面的不同部分的曝光装置。曝光装置可以是基于快门的滚动快门,或其可以是曝光帧内的不同时间上的积分/曝光像素(或像素的组或行)。照相机也包括用于操纵透镜和感应面之间的光学关系的装置,从而感应面位于改变的像距处。用于操纵的装置可包括机械联动机构(mechanicallinkage)以将透镜和感应面相对于彼此移动,或具有导线的电压源以将电压施加到液态透镜,从而改变其形状和有效的像距。照相机包括用于同步用于操纵曝光装置的装置的处理器。
根据另一实施方式,本发明是一种设备,其包括设备外壳,以及透镜、图像传感器、曝光装置和上述的处理器。通过透镜的光还进入到外壳,并且设备可以是移动台。该设备具有光学操纵装置,用于将图像传感器保持在在单个曝光帧上变化的、离透镜的有效像距处。
根据另一实施方式,本发明是机器可读指令的程序,其可触摸地包括在信息承载介质上并且可由数字数据处理器来执行,以执行针对操作照相机的动作。在曝光帧周期期间,该动作包括将图像感应面保持在离与曝光感应面的不同部分同步的透镜的可变有效像距处。在一些实施方式中,将图像感应面保持在可变有效像距处以及曝光图像感应面的不同部分的其中之一或二者自适应于将要成像在感应面处的景像中的物体,例如它们离透镜的距离、它们的亮度、它们的移动速度或其他参数。
根据另一实施方式,本发明是用于自适应地成像景像的设备。该设备包括用于聚焦来自景像的光的装置,用于成像聚焦光的装置,例如胶片或像素化阵列,用于确定第一和第二物距的装置,用于差分地将感应面的可选择部分曝光于通过用于聚焦的装置的光的装置,用于改变在用于聚焦光的装置和用于成像的装置之间的有效像距的装置,用于同步用于随用于差分地曝光的装置改变的装置的装置。
根据另一实施方式,本发明是一种用于成像景像的方法。该方法包括在感应面上根据景像加入有效光学曲率,并且在具有有效的光学曲率的感应面处成像所述景像。曲率是不需要体现在空间感中的有效手段。
本发明的各种方面、实施方式和修改将在下面详细地描述。
附图说明
当结合附图阅读时,在下面的详细描述中,这些教导的上述和其他方面将更为明显,其中:
图1是示出在大物距处的物体的聚焦的现有技术框图,其中进入的光线可以被认为是彼此平行;
图2A是示出在更短距离处的物体的聚焦的现有技术示图,其中进入的光线不平行;
图2B是在不同物距处的多米诺骨牌并列显示的图像,示出景深;
图3是表示出相对于由透镜所定义的光轴倾斜的传感器面的现有技术示图;
图4是结合图3的概念的商业产品的现有技术图像;
图5是示出脱离轴的相差和Petzval面的现有技术示图;
图6是表示出示出本发明的一个实施方式的光学效果的透镜和传感器的示图;
图7是示出根据一个实施方式、导致图6的光学效果的可移动透镜和传感器的示图;
图8是表示用于根据第一透镜移动的曝光传感器的不同行的滚动快门的概念的示图;
图9类似于图8,但用于第二透镜移动;
图10A是示出在四个不同物距的物体的景像;
图10B是具有图10A的物体的轮廓的传感器面,示出随聚焦透镜平移的景像自适应像素曝光;
图11是示出根据设置在移动台内的本发明的照相机的示意性框图。
具体实施方式
本发明在某些实施方式中与滚动快门结合。传统的35mm SLR照相机的焦平面快门通过使用在感光胶片前行进的两个幕帘来创建可变宽度的缝隙。尽管行进的速率是固定的,通过改变在第一快门幕帘的释放和第二快门幕帘的释放之间过去的时间来改变曝光时间。当照相机拍照片时,快门被如下地打开:第一快门被释放,并且在某个稍后的时间(曝光时间),第二快门被释放。缝隙的宽度确定胶片的任意部分被曝光的总共时间。
数字摄影使用沿传感器面的像素阵列(例如,光电二极管),它们在传感器的“曝光”前被预充电到已知的电压,这在技术上是各个像素的积分周期。当数字照相机的致动器被按下时,像素在积分周期的开始处从预充电的源移去。一旦预充电的源从像素断开,则每个像素根据撞击该特定像素的光(光子)泄露电荷。在积分周期的结尾处(通常在像素的读取处)的剩余电荷反比于像素被曝光的光。在每个像素上的剩余电荷被电子地读取并且与阵列的其他像素合并以构建数字图像。
数字摄影中的滚动快门的概念接着将预充电从像素的特定组移去,但不是从阵列中的所有像素移去。类似于胶片摄影的滚动快门,预充电可以以相继的方式与像素的不同水平线断开。接着像素的每条线具有小于整个阵列的扫描周期的积分周期;像素的曝光在线上“滚动”。从线断开预充电是模拟的以释放35mm SLR照相机的第一幕帘,并且读取(其结束积分周期)是模拟的以释放第二快门。术语滚动快门在此使用以表示胶片和数字实施方式二者。接着清楚地是,通过使用外部于图像传感器(例如,传统的胶片摄影)的单独快门,或在没有任何快门的情况下使用具有内部(例如,读取积分电路)电子滚动快门能力的传感器,即,其中像素的曝光由它们如何被读取(例如,逐行)而电子地定义的传感器,可以设置在这里和权利要求书中的曝光图像感应面的不同部分(通过透镜曝光)。因为在数字摄影中,没有物理的幕帘,而是在每个像素和预充电源之间(也是在像素和读取电路之间)的基于电路的开关,数字照相机不限于如上面的例子中的基于线的滚动快门,而是在各个或不同的像素组中改变曝光/积分时间,甚至其中对于相继的曝光时间,像素或组不连续。
为了理解上述的陈述,考虑在前景中具有第一和第二物体的景像,每个处于离透镜的固定的物距s01和s02,以及处于离同一透镜的物距s03=∞处的背景。假设第一物体处于运动中,从而期望更短的曝光时间以保持聚焦。第二物体和背景都不处于运动中,从而由于在增加的积分时间上更多的光子撞击像素,因而更长的曝光时间增强相片质量。在低光的条件下、或当相比较于明亮的背景物体是黑的情况下,更长的曝光时间是相当可贵的,或者反之亦然。来自第一物体并且通过透镜的光基本上落入在第一像素集上,而来自第二物体和背景的光基本上分别落入到第二和第三像素集上。为了聚焦和分辨力的最佳组合而“滚动”曝光,预充电可以从第二和第三像素集断开,接着在稍后的时间从第一集断开,从而相对于第二和第三集,曝光/积分对于第一集来说在不同的时间处开始。在相同的时间读取所有的像素集改变在第一集相比于第二集和第三集之间的积分周期。类似地,对于所有三个像素集,曝光时间可以在相同的时间启动并且在不同的时间终止(通过读取)。
积分周期可以自适应于物体自身(它们的移动速率,它们离透镜的距离等)。第一物体以短的曝光时间/积分周期来成像,而第二物体和背景以更长的积分时间(移动自适应)来成像。其中在照相机处,移动不是电子地感应,相比较于第三集,第一和第二像素集可以在更短的时间上积分。并且针对每个集合的积分时间可以取决于离透镜的距离(大多数的数字照相机使用自动聚焦)。在后一种情形中(距离自适应),第一和第二像素集不需要沿传感器面连续,从而“滚动”曝光,并且第一和第二像素集的积分周期可能彼此相同或彼此不同(如果s01=s02)。
然而,单独的滚动曝光既不增加景深也不校正像场弯曲。为了校正像场弯曲(参见图5),现有技术的解决方案或者使用场平滑透镜设置(通常四个透镜,三个正向以及一个反向),或者曲线化曝光胶片或传感器面以更为紧密地匹配图5的面28、30。本发明考虑一种不同的方式来增加景深并且校正将上述的滚动快门合并到胶片或数字显示中的像场弯曲。
考虑图6,透镜和传感器设置的示意图表示由本发明的一个实施方式生成的光学效果。在图6的右边示出景像36,如通过透镜38所看到的。在侧视图中,明显的是景像36是相对于光轴倾斜的平滑平面,从而景像36的第一水平带(swath)a0处于离透镜38的第一物距s0a,景像36第二水平带b0处于第二物距s0b,而所有其他的带处于这两个之间的中间物距处。统计来说,对于景像36的每个带,通过透镜38的精确的聚焦发生在沿弯曲的传感器面40a,其在第一像距sia和第二像距sib之间变化。最短和最长像距之间的总距离被示为跨距d,并且在图6中是弯曲的传感器面40a的最近和最远线之间的距离。然而,本发明可使得传感器面40a的精确曲率和精确跨距d是景像相关的。
图7示出根据本发明的一个实施方式的用于实现图6的光学效果的设备。替代于以仅为景像36中的物体/带的一个相对设置而产生最佳结果的方式来曲线化传感器面40a(如图6中),传感器面40b保持平面(并且方位垂直于光轴),并且透镜38被移动跨距d,从而为在sia和sia+d之间的各种像距提供精确的聚焦。尽管传感器40b是平滑的,透镜38的移动产生了弯曲的传感器面40a的效果。注意到尽管设备被描述为相对于传感器面40b移动的透镜38,但当传感器被移动时,透镜可保持静态(相对于传感器和透镜都被安装在其中的公共外壳),或二者可同步的移动。包括所有这样的实施方式,其中所述透镜相对于传感器移动。另外,传感器面优选的但不必是平滑的。本发明可用于将有效的曲率加入到传感器面,而不考虑其基本的实际形状。
在图7的实施方式中,曝光所有的传感器面40b而同时透镜38相对于面40b移动,这将导致在其中透镜38和面40b之间的相对距离对准以聚焦景像36的不同带(例如,不同的像距)的时间期间,在面40b的那些部分处不处于焦点对准的图像。本发明通过滚动快门解决这样的进退两难的局面,如图8和图9处示意性地示出。图8和图9示出在传感器面40b处的图像42,这是图6和图7的景像36的垂直翻转版本。在这些图的每个的右边是从曝光时间上透镜38的移动所得到的有效(弯曲)传感器面40a的图示。透镜38能够在距离d+x上移动,其中曝光时间仅发生于在距离d上的移动期间。对于大部分的景像,d将小于d+x。为了缓解透镜在其移动时的大的加速和减速,可在曝光时间的开始前启动透镜38的移动,并且在曝光时间结束后停止。透镜移动的开始(和停止)和曝光时间的开始(和停止)之间的差异优选地小于一秒的十分之一或百分之一;目的是避免在透镜开始和结束移动时的瞬时大的加速期间曝光。预计这些大的加速将引起比由于透镜38的固定速率移动更难以控制的失真(例如,其中感应面的线被曝光更长的时间段)。透镜38的相对加速的大的改变在这样的情形中表现出不可避免,其中透镜38沿一个方向移动并且在相同像素阵列或胶片的单个曝光期间反向。如下面详细描述,这样的透镜方向的反转可以被避免。
在图8和图9的每个中,图像42展示出不同的带,不同的带对应于在更近物距处、更远的物距,或它们其中的某处的景像36中的物体。另外的物体(对应于图8的图像42的带ai)被聚焦在更短的像距sia,并且更近的物体(对应于图8的图像42的带bi)聚焦在更长的像距sib处。
首先,详细描述其中实际传感器面40b的不同水平线的简单实施方式,并且应用于曝光传统的胶片和数字像素。在该实施方式中,实际传感器面40b的不同水平行的曝光发生在固定的曝光时间Texp内,所述曝光时间Texp对于每个行都是相同的。在行间的曝光滚动同步于透镜38。当透镜处于像距Sib处时,来自位于对应于像距sib的物距处的物体bi的进入光线焦点对准于在特定时间曝光的一行像素处(而透镜38处于像距sib处)。当透镜移动到像距Sia时,来自位于对应于像距sia的物距处的物体ai的进入光线焦点对准于在特定时间曝光的一行像素处。当透镜38移动通过位置sib时,相关的线被曝光,但当透镜38移动远离位置sib时,该曝光不继续。当透镜处于位置sib时,关联于更远物体ai的线将不被曝光直到透镜38更接近于位置sia,其中物体ai将被焦点对准。图8示出其中透镜38在单个帧周期期间持续地沿一个方向移动的条件,例如当成像图6和图7的倾斜平面。单个帧周期是连续的曝光时间,在该曝光时间上,整个像素阵列或胶片的平面的任意被曝光。
图9示出更为典型的景像,其中物体没有沿随水平(如图8中)或垂直线性地改变的距离光谱持续地布置。为了保持与由图6至图8所建立的惯例,景像36具有水平带bi,其中近的物体位于对应于像距sib的距离s0b处,对于该像距sib,物体将被聚焦在实际传感器面40b上,水平带ai,其中远的物体位于对应于像距sia的距离s0a处,对于该像距sia,物体将被聚焦在实际传感器面40b上,并且在图9中,存在具有类似于带ai的距离的物体的附加带ci。然而,带bi空间上位于图像42中的带ai和ci之间,从而透镜必须反转相对移动的方向,从而合适地聚焦每个,假设线的曝光与图8中所描述的相同。如下详细所述,可在数字摄影中避免这样假设的约束。有效的传感器面40a示出在图9的右边。透镜38开始于更短的像距sia=sic,其中像素或胶片的第一线被曝光以在时间周期Texp上成像带ci,朝更远的像距sib移动,其中第一线的曝光已经停止并且像素或胶片的第二线被曝光以在类似的曝光时间上成像带bi,并且返回到更短的像距sia=sic,其中像素或胶片的第三线被曝光以在曝光时间上成像带ai。将理解到,图8和图9的结果可以在胶片或数字摄影中获得,利用在任意方向上(垂直、水平或对角线)滚动快门。在数字摄影中使用的许多像素阵列可以以行读取,促进线性地滚动快门。
当透镜随线性的滚动快门同步地移动时,有效的弯曲传感器面40a优选地沿Petzval曲线30。该曲线可以被预先测量或可从透镜自身设计得到。在该情形中,有效传感面40a的曲率不能完美地匹配Petzval面30,除了在图6-7中所示的平面中。这是因为实际的Petzval面是循环的抛物面,而透镜仅相对于实际传感器面40b线性地移动并且不能在图6-7中示出的平面之前和之后来校正曲率。如下详细描述,这可以在本发明的数字照相机实施方式中得到克服。
通过确定景像中的物距,计算最佳合适透镜位置曲线以合适物距,并且拍摄照片,景深相比于现有技术可以被扩展。在上述描述的实施方式中,最佳透镜曲线取决于照相机自身的方位,并且照相机操作者可以旋转照相机以获得优选的图像(如在照相机的数字取景器中所看到的)。对于某些图像,例如在很近的场内具有昆虫或名片的大的景像,优选的是使用较浅的景深,其中仅感兴趣的物体(昆虫或名片)被焦点对准,而其他物体(背景)将被刻意地不处于焦点对准。在这样的情形中,选择的透镜曲线展示出仅对感兴趣的物体进行聚焦。
上述的图示假设快门连续地沿相继的线(水平、垂直、对角的)滚动。正如图9中区分透镜在单个帧周期期间反转其行进,在该相同的帧周期期间,快门可来回地滚动。这可造成胶片中的双曝光,但如上所述,数字摄影不需要对相同的像素再曝光,因为其可仅通过在对于任意特定像素的某个时间来读取而结束基于逐像素的积分(曝光)(或否则存储最终电压读取或涉及电压衰减的其他品质因数)。在读取后对该像素的进一步曝光可能进一步衰减保持的电压,但控制电子仪器(例如,读取电路、单独的数字信号处理器等)可以仅忽略任何进一步的衰减。因此,数字摄影可将滚动快门扩展到沿像素的不同部分滚动以镜像被成像的景像。这可能需要在不同的时刻读取出像素阵列的不同行,或读取出阵列的各个像素(其中读取集成电路实现各个像素读取而不是通过行的更为常见的读取)。
考虑图10A至图10B,图10A是景像并且图10B是具有匹配于景像内某些物体的像素(未单独地示出)的感应面40b。相比较于图10A的景像,图10B的图像被翻转,当景像通过光学透镜38成像时它将这样。为了简化,假设景像中的各种物体可以被解析为四个不同的物距,在图10B中表示的物体为ai、bi、ci(两次出现)和di。这些物体处于物距soa、sob、soc和sod,具有匹配的像距sia、sib、sic、sid。如图10A中明显的是,物体di是近的前景并且展示最短的物距;物体bj是已经喂饱了的动物并且展示出适中的物距,物体ci是山峰并且展示出远度的物距;并且物体ai是天空并且展示出最远的物距。为了保持四个物体在光学上不同,仅当进入到透镜38的光线来自天空、物体ai时,才将光线考虑为是平行的。
明显地,沿例如那些在虚线44、46中示出的连续水平带滚动快门时将导致带的某些部分不处于焦点对准。例如,如果透镜38位于像距sib,同时针对带44而曝光像素,则带44的区域,即天空ai和山峰ci的图像部分可能不处于焦点对准。替换地,距离测量设备(例如自动聚焦装置)可用于确定到不同物体的距离,并且这些物体的轮廓如图10B中所示。仅当透镜38位于针对该特定物体的合适像距时,则沿对应于各种物体的传感器面40b的像素被曝光。这使得透镜能够在所有情况中避免在像素化阵列感应面的单个曝光期间反转其移动方向。这是有利的,因为透镜移动设备必须是机械系统,因为其平移透镜38,而自适应像素曝光是电子的并且以更低的加工成本来精确地控制,并且更少的遭受故障。
如果滚动快门适配于图10B的景像中的像距,则考虑滚动快门如何针对图10B来操作。透镜38仅在一个方向上平移,假设远离感应面40b。在跟随透镜移动启动的某个最小时间周期时,透镜38将处于像距sia,此时仅物体ai轮廓内的那些像素被曝光。对于现在,假设恒定积分时间/曝光时间Texp。随着透镜进一步从感应面40b移动并且通过像距sic,山峰ci的轮廓内的那些像素被曝光,并且通过像距sib和sia,此时所有的曝光停止并且透镜38此后立即停止。在得到的图像中校正像场弯曲到距离测量设备的精度,景深被很大的提高,因为从四个像距而并非一个获得得到的图像,并且相同的优势可以扩展到任何景像,无论其中物体的相对位置。
现在,考虑各个像素的变化的曝光时间。在图10A中,天空ai、山峰ci和前景di相对明亮而居中物体(景像的(美学)焦点的吃饱的动物bi)是黑的。胶片或数字,已知的现有技术将在相同的曝光时间/积分时间内曝光所有的四个物体,找到可接受的中间接地,其中更黑的中央物体bi被充分地曝光从而展示得到的图像中的某些细节,但其中外围但明亮的物体ai、ci和di不被曝光过度并且“变白”。在数字实施方式中,本发明不遭到针对感应面40b的所有像素的固定曝光的此类限制。当透镜38移动时,对应于更黑物体(例如吃饱的动物bi)的像素相比较于更亮的物体(例如天空ai,山峰ci和前景di)可在更长的时间周期上曝光/积分。更具体地,吃饱的动物bi具有黑的身体但具有白的尖牙,相比较于对应于白的尖牙的那些像素来说,对应于更黑身体的像素可以被曝光更长的时间周期,从而在没有过度曝光尖牙的情况下获得身体的更好细节。在照相机技术领域内,光感应设备是熟知的,并且可结合测量设备来使用以在任何帧周期的开始前确定每个物体的物距和相对亮度。整个图像的亮度可以通过归一化每个像素的亮度或基于它们的相对积分时间来分离像素部分而设置。这可以被看作是当前实施的现有数字图像的数字增强的更好方法,因为可理解,当前的实施使用通用算法来增强,由此在亮度自适应曝光后的归一化亮度将从实际景像取得其总体信息作为由像素所捕获的。
如上所简明地指出,曝光时间也可以自适应于物体运动。需要更短的曝光时间以准确地聚焦移动中的物体,但以亮度为代价。非移动或缓慢移动的物体可以实现更长的曝光时间而没有在得到的图像中感知到清晰度或聚焦的损失。使用操作在与距离测量设备相同原理的已知移动检测设备,在景像内的不同物体的移动可以被分类,并且根据物体自身的相对移动,对应于各个物体的像素可以被曝光短的或更长的周期。确定快速移动的物体将被捕获的精确像素仅是推断的问题,其中像素将基于(过去)检测到的移动来在当透镜处于该物体的像距处时成像移动的物体。
图11是移动台MS 50的局部示意框图,移动台MS 50例如蜂窝电话、具有双向通信能力的个人数字助理,或类似功能性的任意其他手持便携式设备。MS 50包括数字信号处理器DSP 52,其由例如电池54的电流功率源供电并且耦合到变换器55(扬声器)和56(麦克风)。接收电路58和发送电路60通过开关或偶极滤波器62来耦合到一个或多个天线64。用户通过观看到文本和图像的图形显示接口66由显示器驱动器68来控制。类似地,用户输入板70,例如可包括按钮、游戏杆和/或触摸敏感区域,由输入驱动器72来控制。
用于操作MS 50的各个子系统的计算机程序被存储在存储器76中,该存储器76可以是易失性和非易失性存储介质的组合,可以在外壳74内的各个空间位置分布,其是用于数据和程序的计算机可读存储介质。各种其他的缓冲器、滤波器、编码器等也位于外壳74内,但对于本发明是在外围。一个或多个检测器78透过外壳74,并且当DSP 52在拍摄照片(图像)的条件下时用于测量物距、物体亮度、或景像中的相对物体移动/速度。
有几种可能来测量物距,例如,使用照相机和创建典型的发散光点/光带的照明器,其中点/带的大小、位置或强度从图像确定。可以使用不同类型的飞行时间测量原理,可以可选地实施或甚至使用声学原理来实施。为了测量物体亮度,一个方法是使用照相机本身以捕获测试图像,其中接着确定物体的亮度。这可以在取景阶段期间当用户瞄准照相机时,在实际的最终图像被捕获之前来执行,以便为了抓拍而适当地取景图像。通过以不同的曝光时间来捕获若干图像,可以确定用于图像不同区域的最佳曝光时间。然而,本发明不限于上面提到的确定物体属性或合适的曝光水平的例子。
当DSP向形成感应面40b的像素化阵列上的像素提供预充电时,其处于拍照的条件中,其中图像在感应面40b上被电子地捕获。面40b可以优选地直接安装在读取集成电路ROIC 80上或仅电子地耦合。ROIC 80可以单独地控制每个像素,其可以根据行/线来控制它们,或其可以根据连续的分组来对它们进行控制(例如形成正方形的四个像素组,形成在中央具有一个像素的钻石的五个像素等)。根据读取电路的设计,用于每个像素或像素的行或组的积分时间可以不时被启动和停止,这独立于用于其他像素或像素的行或组。
透镜38安装到上轨道和下轨道82,并且通过使用例如可扩展的截取设置或次优的具有关于其连续凹槽的滚轴(类似于螺杆)的机械联动机构来沿透镜的光轴进行平移。这样的机械联动机构在现有技术中是已知的以用于手工地或自动地改变常规照相机透镜的像距。常规自动聚焦照相机透镜的不同在于该联动机构操作于在曝光帧周期期间移动透镜,而不是在该曝光帧周期的开始前移动透镜。窗口84对齐于透镜并且允许光从景像通过外壳74和透镜38而曝光面40b的各个像素。用于在与沿面40b的各种不同像素的积分/曝光的同步关系中操作的机械联动机构的计算机程序存储在存储器76中并且由DSP 52来执行。该程序也可以使用来自检测器78的输入以根据景像来调节同步透镜移动/像素曝光动作。具体地,某些像素的曝光可发生在当透镜处于对应于由检测器78所测量的物距的像距处,可在由检测器78所确定的物体速率或亮度上断定针对某些像素的曝光时间。该基于MS的实施方式的各种修改也是可以的,如上详述。图11仅示出一个实施方式,鉴于各种修改(例如平移传感器面40b而不是或结合透镜38;仅按行来读取;以及使用胶片而不是像素化阵列等)的上述详细描述,其余部分将是明显的。
另外,类似于移动透镜和/或感应面的效果也可通过使用液体透镜或其他技术来实现,其中透镜的焦距通过改变透镜的光学材料的形状或折射率来改变。美国专利No.6,369,954描述一种具有两种液体的光学透镜,该两种液体具有不同的光学指标,一个是传导的而另一个是非传导的。通过向传导液体施加电压来改变像距,接着改变形状从而透镜的焦距本身被改变。在No.6,369,954专利的液体透镜设置中,第一像距出现于第一透镜形状。第二像距出现于第二透镜形状,尽管在改变的透镜后的第一和第二像距可能是相同的,其中来自不同物距的光将在改变的透镜处聚焦。这是真实的,因为透镜自身形状的改变将有效地改变像距。相同的结果保持在其中透镜和传感器之间的某些介质或透镜的折射率被改变,或避免或减小将透镜和传感器组件相对于彼此移动的必要性的其他实施方式。在所有的情形中,有效的像距被改变。相对于感应面来移动传统的透镜,或改变透镜形状或折射率,或改变透镜和感应面之间的一些介质的折射率,以上均是改变透镜和感应面之间光学关系的所有方式,从而在感应面的单个、连续曝光的单个景像的成像期间将感应面保持在不同的有效像距。
尽管在特定实施方式的上下文中进行了描述,但本领域技术人员将清楚,可以针对这些教导进行多个修改和各种改变。因此,尽管针对其中一个或多个实施方式已经具体表示和描述了本发明,但本领域技术人员将理解到,在不脱离由上述阐明或来自所附的权利要求书的范围的本发明的范围和精神下,可在这里做出某些修改或改变。

Claims (45)

1.一种用于对景像进行成像的方法,包括:
操纵在光学透镜和图像感应面之间的光学关系,从而图像感应面被分隔在与透镜不同的有效像距处;以及
与操纵光学关系同步地曝光所述图像感应面的不同部分。
2.根据权利要求1所述的方法,其中操纵光学关系和曝光所述图像感应面的不同部分的至少一个自适应于景像中将被成像在感应面的物体。
3.根据权利要求1所述的方法,其中曝光所述图像感应面的不同部分包括基于至少检测到的第一和第二物距来自适应地曝光所述部分。
4.根据权利要求3所述的方法,其中操纵所述光学关系包括在第一有效像距和第二有效像距之间进行操纵,其中所述第一有效像距和所述第二有效像距分别对应于所述第一和第二物距。
5.根据权利要求1所述的方法,其中曝光所述图像感应面的不同部分包括基于检测到的至少两个物体的移动来自适应地将所述部分曝光不同的曝光周期。
6.根据权利要求1所述的方法,其中曝光所述图像感应面的不同部分包括基于检测到的至少两个物体的亮度来自适应地将所述部分曝光不同的曝光周期。
7.根据权利要求1所述的方法,其中所述图像感应面包括相邻行中的像素的阵列,其中所述阵列的第一部分曝光在当所述图像感应面处于第一有效像距时,而所述阵列的第二部分曝光在当所述图像感应面处于第二有效像距时,并且其中所述第一部分的至少一个像素与所述第二部分的至少一个像素位于所述阵列的相同行内。
8.根据权利要求1所述的方法,其中同步于曝光来操纵所述光学关系操作于向所述感应面加入有效曲率,所述有效曲率的至少横截面近似于Petzval面的至少横截面。
9.根据权利要求1所述的方法,其中所述图像感应面包括摄影胶片。
10.根据权利要求1所述的方法,其中所述图像感应面包括光感像素的阵列。
11.根据权利要求1所述的方法,其中操纵所述光学关系包括将透镜和所述感应面的至少一个相对于彼此来移动。
12.根据权利要求1所述的方法,其中操纵所述光学关系包括改变所述透镜的形状。
13.一种用于对景像进行成像的方法,包括:
确定景像中的第一物体和透镜之间的第一物距;
确定景像中的第二物体和透镜之间的第二物距;
在持续的曝光帧中:
图像感应面的第一部分被曝光在当图像感应面位于离所述
透镜的第一有效像距处,其中所述第一有效像距对应于所述第一物距;
图像感应面的第二部分被曝光在当图像感应面位于离所述透镜的第二有效像距处,其中所述第二有效像距对应于所述第二物距;以及
将曝光的第一和第二部分组合进单个图像中。
14.根据权利要求13所述的方法,其中所述单个图像被显示在数字图形用户接口上。
15.根据权利要求13所述的方法,其中曝光所述图像感应面的所述第一和第二部分包括基于检测到的所述第一和第二物体的亮度来自适应地将所述部分曝光第一和第二曝光时间。
16.根据权利要求13所述的方法,其中曝光所述图像感应面的所述第一和第二部分包括基于检测到的所述第一和第二物体的移动速度来自适应地将所述部分曝光第一和第二曝光时间。
17.一种照相机,包括:
透镜;
具有感应面的图像感应器;
曝光装置,用于在单个曝光帧内单独地曝光所述感应面的不同部分,
装置,用于操纵所述透镜和所述感应面之间的光学关系,从而所述感应面位于可改变的有效像距处;
处理器,用于同步用于操纵所述曝光装置的装置。
18.根据权利要求17所述的照相机,进一步包括:
测量设备,用于确定景像中的第一和第二物体的每个的光学参数;
其中所述处理器基于所述确定的光学参数来控制用于操纵的装置和所述曝光装置中的一个。
19.根据权利要求18所述的照相机,其中所述光学参数是离透镜的物距,并且所述处理器控制用于操纵的装置以将可变的有效像距匹配于所述第一和第二物体的物距。
20.根据权利要求18所述的照相机,其中所述光学参数是物体移动并且所述处理器控制所述曝光装置以将所述感应面的第一部分曝光第一时间跨度和将所述感应面的第二部分曝光第二时间跨度。
21.根据权利要求18所述的照相机,其中所述光学参数是物体亮度并且所述处理器控制所述曝光装置以将所述感应面的第一部分曝光第一时间跨度和将所述感应面的第二部分曝光第二时间跨度。
22.根据权利要求17所述的照相机,其中所述图像传感器包括像素的阵列和用于根据行将像素读取的读取电路。
23.根据权利要求17所述的照相机,其中所述图像传感器包括用于读取单独像素的读取电路以及像素阵列。
24.根据权利要求17所述的照相机,布置在移动台中,所述移动台包括用于显示由所述图像传感器成像的景像的图形显示接口。
25.一种机器可读指令的程序,其可触摸地包括在信息承载介质上并且可由数字数据处理器来执行,以执行针对操作照相机的动作,所述动作包括:
在曝光帧周期期间,将图像感应面保持在离与曝光感应面的不同部分同步的透镜的可变有效像距处。
26.根据权利要求25所述的机器可读指令的程序,其中将图像感应面保持在可变有效像距处、以及曝光图像感应面的不同部分的至少一个自适应于将要成像在感应面处的景像中的物体。
27.根据权利要求25所述的机器可读指令的程序,其中曝光所述图像感应面的不同部分包括基于检测到的第一和第二物距的至少一个来自适应地曝光所述部分。
28.根据权利要求27所述的机器可读指令的程序,其中将所述图像感应面保持在可变的有效像距处包括在分别对应于所述第一和第二物距的第一和第二像距之间进行改变。
29.根据权利要求25所述的机器可读指令的程序,其中曝光所述图像感应面的不同部分包括基于检测到的至少两个物体的移动来自适应地将所述部分曝光不同的曝光周期。
30.根据权利要求25所述的机器可读指令的程序,其中曝光所述图像感应面的不同部分包括基于检测到的至少两个物体的亮度来自适应地将所述部分曝光不同的曝光周期。
31.根据权利要求25所述的机器可读指令的程序,其中所述图像感应面包括像素的阵列,对于该阵列,所述程序根据行来控制所述像素的曝光。
32.根据权利要求25所述的机器可读指令的程序,其中所述图像感应面包括像素的阵列,对于该阵列,所述程序单独地控制像素的曝光。
33.根据权利要求25所述的机器可读指令的程序,其中同步于曝光来将图像感应面保持在可变的有效像距操作于向所述感应面加入有效曲率,所述有效曲率的至少横截面近似于Petzval面的至少横截面。
34.根据权利要求25所述的机器可读指令的程序,其中所述图像感应面包括摄影胶片。
35.根据权利要求25所述的机器可读指令的程序,其中所述图像感应面包括光感像素的阵列。
36.根据权利要求25所述的程序,其中将所述图像感应面保持在离透镜的可变有效像距包括将透镜相对于所述感应面进行移动。
37.根据权利要求25所述的程序,其中将所述图像感应面保持在离透镜的可变有效像距包括改变所述透镜的形状。
38.一种用于自适应地对景像进行成像的设备,包括:
用于聚焦来自景像的光的装置;
用于成像聚焦的光的装置;
用于确定第一和第二物距的装置;
用于差分地将感应面的可选择部分曝光于通过用于聚焦的装置的光的装置,
用于改变用于聚焦光的装置和用于成像的装置之间的有效像距的装置;以及
用于同步用于随用于差分地曝光的装置改变的装置的装置。
39.根据权利要求38所述的设备,其中:
用于聚焦光的装置包括透镜;
用于差分地曝光的装置包括读取集成电路,用于读取形成用于成像的装置的像素的单独一个或选择的组;
用于改变像距的装置包括用于平移透镜和用于沿光轴相对于彼此成像的装置的至少一个的机械联动机构;以及
用于同步的装置包括执行计算机程序的处理器。
40.一种对景像进行成像的方法,包括:
将取决于景像的有效的光学曲率加入到感应面,以及
在具有有效的光学曲率的感应面处收集景像的电子图像。
41.一种设备,包括:
设备外壳;
透镜;
具有感应面的图像传感器;
曝光装置,用于在单个曝光帧周期内将所述感应面的不同部分曝光于传送进外壳和通过所述透镜的光;
光学操纵装置,用于将所述图像感应器保持在离透镜的可变有效像距处;
数据信号处理器DSP,用于将所述光学操纵装置与所述曝光装置同步。
42.根据权利要求41所述的设备,包括具有内部电源的便携式手持设备。
43.根据权利要求41所述的设备,其包括双向无线通信设备。
44.根据权利要求41所述的设备,其中所述光学操纵装置包括将所述透镜相对于所述图像感应器移动的机械联动机构。
45.根据权利要求41所述的设备,其中所述光学操纵装置包括耦合到电源和透镜的电压导线,从而响应于施加到所述透镜的电压而改变所述透镜形状的形状。
CN200680028035XA 2005-06-24 2006-06-07 利用滚动快门的自适应光平面形成 Expired - Fee Related CN101233440B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/165,992 2005-06-24
US11/165,992 US7493030B2 (en) 2005-06-24 2005-06-24 Adaptive optical plane formation with rolling shutter
PCT/IB2006/001507 WO2006136894A1 (en) 2005-06-24 2006-06-07 Adaptive optical plane formation with rolling shutter

Publications (2)

Publication Number Publication Date
CN101233440A true CN101233440A (zh) 2008-07-30
CN101233440B CN101233440B (zh) 2013-11-27

Family

ID=37567484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680028035XA Expired - Fee Related CN101233440B (zh) 2005-06-24 2006-06-07 利用滚动快门的自适应光平面形成

Country Status (4)

Country Link
US (1) US7493030B2 (zh)
EP (1) EP1896891B1 (zh)
CN (1) CN101233440B (zh)
WO (1) WO2006136894A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104738A (zh) * 2009-12-18 2011-06-22 三星电子株式会社 利用电子快门的多级曝光图像获取方法及拍摄装置
CN102393566A (zh) * 2011-09-30 2012-03-28 长春奥普光电技术股份有限公司 一种用于对倾斜物面清晰成像的方法
US8783886B2 (en) 2011-01-19 2014-07-22 Delta Electronics, Inc. Illumination system
CN105684421A (zh) * 2013-10-01 2016-06-15 株式会社尼康 电子设备
CN107667520A (zh) * 2015-08-21 2018-02-06 谷歌有限责任公司 具有运动补偿的图像捕捉系统
WO2021102716A1 (zh) * 2019-11-27 2021-06-03 深圳市晟视科技有限公司 一种景深合成系统、相机和显微镜

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189580A (ja) * 2005-01-05 2006-07-20 Pentax Corp カメラの合焦制御装置
JP4823743B2 (ja) * 2006-04-03 2011-11-24 三星電子株式会社 撮像装置,及び撮像方法
TW200822691A (en) * 2006-11-01 2008-05-16 Altek Corp Aberration compensation system of digital camera
US20080297649A1 (en) * 2007-05-31 2008-12-04 Igor Subbotin Methods and apparatus providing light assisted automatic focus
US7989745B2 (en) * 2007-10-01 2011-08-02 Nikon Corporation Solid-state imaging device with focus detection and electronic camera with focus adjustment
US20090174784A1 (en) * 2008-01-08 2009-07-09 Karlsson Sven-Olof Camera having digital gray filtering and method of providing same
WO2009120718A1 (en) * 2008-03-24 2009-10-01 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for controlling depth of field in images
FR2940841B1 (fr) * 2009-01-06 2011-04-22 Dxo Labs Systeme de capture d'images et utilisation associee pour ameliorer la qualite des images acquises
US20150077627A1 (en) * 2009-02-23 2015-03-19 Gary Edwin Sutton Curved sensor formed from silicon fibers
US8654215B2 (en) 2009-02-23 2014-02-18 Gary Edwin Sutton Mobile communicator with curved sensor camera
US8248499B2 (en) * 2009-02-23 2012-08-21 Gary Edwin Sutton Curvilinear sensor system
JP5411568B2 (ja) * 2009-04-30 2014-02-12 キヤノン株式会社 自動焦点調整装置
US20110043674A1 (en) * 2009-08-21 2011-02-24 Samsung Electronics Co., Ltd. Photographing apparatus and method
WO2011053678A1 (en) * 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
WO2011070757A1 (ja) * 2009-12-07 2011-06-16 パナソニック株式会社 撮像装置および撮像方法
CN101860668A (zh) * 2010-01-15 2010-10-13 英华达(上海)科技有限公司 数码相机及其操作方法
EP2466872B1 (en) 2010-12-14 2018-06-06 Axis AB Method and digital video camera for improving the image quality of images in a video image stream
US9083880B2 (en) 2011-03-02 2015-07-14 Panasonic Corporation Imaging device, semiconductor integrated circuit, and imaging method
JP5622648B2 (ja) * 2011-04-14 2014-11-12 日立オートモティブシステムズ株式会社 画像処理装置
JP5947507B2 (ja) * 2011-09-01 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
WO2013144427A1 (en) * 2012-03-26 2013-10-03 Nokia Corporation Method, apparatus and computer program product for image stabilization
US9191578B2 (en) * 2012-06-29 2015-11-17 Broadcom Corporation Enhanced image processing with lens motion
JP6210333B2 (ja) * 2013-04-15 2017-10-11 パナソニックIpマネジメント株式会社 距離測定装置、及び、距離測定方法
EP3015882B1 (en) * 2013-06-27 2020-12-09 Panasonic Semiconductor Solutions Co., Ltd. Distance measuring device
US9894023B2 (en) 2014-07-15 2018-02-13 Zebrafish Labs, Inc. Image feeding server network
KR102263537B1 (ko) * 2014-09-30 2021-06-11 삼성전자주식회사 전자 장치와, 그의 제어 방법
CN105530439B (zh) * 2016-02-25 2019-06-18 北京小米移动软件有限公司 用于抓拍照片的方法、装置及终端
US11307430B2 (en) * 2016-06-07 2022-04-19 Karl Storz Se & Co. Kg Optical device and method for providing improved depth of field and resolution modes
JP2018182554A (ja) * 2017-04-14 2018-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および固体撮像装置の制御方法、並びに電子機器
JP6755405B2 (ja) * 2017-08-18 2020-09-16 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
CN113614777A (zh) * 2019-03-28 2021-11-05 索尼集团公司 信息处理装置、信息处理方法和程序
JP2022151987A (ja) * 2021-03-29 2022-10-12 キヤノン株式会社 撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3533345A (en) * 1966-03-24 1970-10-13 Prontor Werk Gauthier Gmbh Photographic camera with reciprocating shutter blade system
US3537373A (en) * 1967-04-07 1970-11-03 Polaroid Corp Compact photographic camera including a scanning exposure system with compensation
US3618500A (en) * 1969-06-30 1971-11-09 Polaroid Corp Photographic exposure control system with automatic cocking mechanism
US4484233A (en) * 1982-09-30 1984-11-20 Schiff Photo Mechanics High speed, high resolution programmable multiformatting hardcopy video printer
US4881093A (en) * 1988-04-21 1989-11-14 Eastman Kodak Company Electromagnetic shutter apparatus
JP3429755B2 (ja) * 1990-04-27 2003-07-22 株式会社日立製作所 撮像装置の被写界深度制御装置
US5745175A (en) * 1995-10-02 1998-04-28 Flashpoint Technologies, Inc. Method and system for providing automatic focus control for a still digital camera
SE512350C2 (sv) * 1996-01-09 2000-03-06 Kjell Olsson Ökat skärpedjup i fotografisk bild
FR2769375B1 (fr) * 1997-10-08 2001-01-19 Univ Joseph Fourier Lentille a focale variable
DE69820871T2 (de) * 1998-07-08 2004-12-16 Hewlett-Packard Co. (N.D.Ges.D.Staates Delaware), Palo Alto Kamera mit Vorrichtung zur Korrektur des Trapezoidalbildfehlers
WO2001071419A2 (en) * 2000-03-21 2001-09-27 Accu-Sort Systems, Inc. Large depth of field line scan camera
JP3607237B2 (ja) 2001-10-19 2005-01-05 コニカミノルタフォトイメージング株式会社 デジタルカメラ
US6806985B1 (en) * 2003-02-24 2004-10-19 Raytheon Company Optical system with shutter assembly having an integral shutter-mounted actuator
US7171054B2 (en) * 2003-05-01 2007-01-30 Eastman Kodak Company Scene-based method for determining focus
US7453514B2 (en) * 2003-05-07 2008-11-18 Pure Digital Technologies, Inc. Digital photography device having a rolling shutter
US7611060B2 (en) * 2005-03-11 2009-11-03 Hand Held Products, Inc. System and method to automatically focus an image reader

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104738A (zh) * 2009-12-18 2011-06-22 三星电子株式会社 利用电子快门的多级曝光图像获取方法及拍摄装置
US9113086B2 (en) 2009-12-18 2015-08-18 Samsung Electronics Co., Ltd Multi-step exposed image acquisition method by electronic shutter and photographing apparatus using the same
CN102104738B (zh) * 2009-12-18 2016-01-13 三星电子株式会社 利用电子快门的多级曝光图像获取方法及拍摄装置
US8783886B2 (en) 2011-01-19 2014-07-22 Delta Electronics, Inc. Illumination system
CN102393566A (zh) * 2011-09-30 2012-03-28 长春奥普光电技术股份有限公司 一种用于对倾斜物面清晰成像的方法
CN102393566B (zh) * 2011-09-30 2014-04-30 长春奥普光电技术股份有限公司 一种用于对倾斜物面清晰成像的方法
CN105684421A (zh) * 2013-10-01 2016-06-15 株式会社尼康 电子设备
CN105684421B (zh) * 2013-10-01 2021-04-09 株式会社尼康 电子设备
CN107667520A (zh) * 2015-08-21 2018-02-06 谷歌有限责任公司 具有运动补偿的图像捕捉系统
CN107667520B (zh) * 2015-08-21 2019-04-30 谷歌有限责任公司 具有运动补偿的图像捕捉系统
WO2021102716A1 (zh) * 2019-11-27 2021-06-03 深圳市晟视科技有限公司 一种景深合成系统、相机和显微镜
CN113795862A (zh) * 2019-11-27 2021-12-14 深圳市晟视科技有限公司 一种景深合成系统、相机和显微镜

Also Published As

Publication number Publication date
US20060291844A1 (en) 2006-12-28
US7493030B2 (en) 2009-02-17
WO2006136894A1 (en) 2006-12-28
EP1896891A1 (en) 2008-03-12
EP1896891A4 (en) 2010-09-22
CN101233440B (zh) 2013-11-27
EP1896891B1 (en) 2015-09-09

Similar Documents

Publication Publication Date Title
CN101233440B (zh) 利用滚动快门的自适应光平面形成
US10419672B2 (en) Methods and apparatus for supporting burst modes of camera operation
US10516834B2 (en) Methods and apparatus for facilitating selective blurring of one or more image portions
CN101971072B (zh) 图像传感器和焦点检测装置
US9686471B2 (en) Methods and apparatus relating to image stabilization
CN101637019B (zh) 提供范围映射的多镜头照相机
CN101632296B (zh) 提供改进的聚焦能力的多镜头照相机
US8289377B1 (en) Video mode hidden autofocus
CN101854473B (zh) 成像设备和焦点检测方法
US9681042B2 (en) Image pickup apparatus, image pickup system, image processing device, and method of controlling image pickup apparatus
CN101534396A (zh) 能够控制闪光灯强度的数字成像设备和控制该设备的方法
CN101278549A (zh) 多次曝光光学成像设备
CN104604215A (zh) 摄像装置、摄像方法和程序
CN101632295A (zh) 可在多种模式下工作的多镜头照相机
TW201012202A (en) Solid-state panoramic image capture apparatus
CN102854704A (zh) 焦点调节装置及拍摄装置
SE518050C2 (sv) Kamera som kombinerar skarpt fokuserade delar från olika exponeringar till en slutbild
KR20170042226A (ko) 멀티-애퍼처 이미징 시스템을 위한 애플리케이션 프로그래밍 인터페이스
CN101794797A (zh) 图像拾取元件和图像拾取设备
US10623697B2 (en) Display panel, display device and image pickup method therefor
US20110090313A1 (en) Multi-eye camera and method for distinguishing three-dimensional object
CN103685910A (zh) 成像设备
CN108513047A (zh) 图像传感器和摄像设备
CN107517345A (zh) 拍摄预览方法及拍摄设备
CN105391934A (zh) 焦点检测设备、其控制方法以及摄像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160111

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131127

Termination date: 20170607