模糊图像复原问题通俗谈

唯一 2011-01-18 13:59:10

你有没有过这样的经历,难得有了一个百无聊赖的夜晚,蜷在沙发里翻看着旧日的照片,难免会看到若干张模糊的图片。新款相机的广告出炉的时候,都会在很明显的位置告诉你,这款相机具有如何强大的“防抖动”功能,所以如何将照片从模糊变为清晰,就一直是“图像处理”领域长议长新的话题。

图片模糊了,代表着图像细节的丢失。想把丢的东西找回来,只有两种方法:一种是你知道丢了什么并且知道怎么丢的,DIY就是最直接的方法。另一种,就是去再买一个。

模糊图像复原的两种基本思路

http://img1.guokr.com/gkimage/1b/ff/a1/1bffa1.png

一般情况下,我们都会在第一种方法上周旋相当长的时间。模糊的发生就像是一个筛子,漏下去的是个头小的留下来的是个头大的,筛子眼儿越大漏下去的东西越多,留下来的信息越少,图像就越模糊。显而易见,如果要补全模糊的信息,又有了两条路好走:

一种是在筛子下面放个盆,漏多少接住多少,最后再把漏下来的东西加回去。当然了,怎么样加回去也是个很费脑子的问题,不过在信息量无缺失的情况下,完整恢复原有状态还是有可能的。

另外一种方法,是在筛的时候记住漏下去了什么长得什么样子,比如漏下去多少个黄豆多少个绿豆多少个红豆,甚至连大小直径有无瑕疵都要记下来。这样当想要补齐的时候,去找长成这样子的豆子就可以了。对于RGB格式的图像来说,我们可以记录在哪一个筛子孔里漏下去多少红色绿色蓝色,计算机拼凑出这些颜色可比找到一模一样的豆子要容易许多了。

接着,要进一步解决问题,又会提出一系列的假设。就像《ARE YOUR LIGHTS ON?》里所说的一样,问题永远不可能被彻底解决,只是被转化为另外一个问题,这是问题存在的本质。所以,对于模糊图像变清晰这个问题,会有一系列的解决方法,这些方法都是能够将图像的问题归结为合理的数学模型(简单的说,数学模型就是公式)来进行计算。

模糊图像复原的技术进展

http://img1.guokr.com/gkimage/ng/p8/e7/ngp8e7.png

最新提出的一项技术,是微软亚洲研究院(MSRA)在2010年的SIGGRAPH会议上利用“惯性测量传感器”实现图像自动去模糊的新技术。这种技术还配了一个零件,叫做“惯性测量传感器”,它就担当了筛豆子时在旁边记录筛下来的豆子颜色大小直径的这个角色,利用它可以计算出成像时所收到的干扰因素,比如说手部抖动,然后利用这些数据配合算法对图像质量进行优化。优化的过程就是根据前面记录出豆子的数据来满世界找豆子的过程,它不需要一模一样,只需要差别尽可能小就可以了。在图像处理中,优化的结果没有统一的标准,所以对于算法结果的测算通常是找来一大批用户进行体验,体验者单凭主观感受为结果打分,算法的结果认可度较高就算作可接受。 微软解决问题的方法,实际上是他们假设了引起模糊的原因是用户本身所造成的,也就是在拍照过程中传感器可测量到的微小运动量。可是如果镜头没擦干净或者景物本身抖动了,这个算法就无法解决问题。

柯达中国研究院前几年也提出一种算法。因为每张照片除了最后呈现出的图像之外,还会有一个隐藏的头文件,悄悄记录下你拍照时的光照、曝光率、快门速度等大量信息,根据这些信息可以测算出当时引起图片模糊的一些可能情况,从而进行图像信息还原。

更新的数学模型

http://img1.guokr.com/gkimage/27/5g/q1/275gq1.png

不过图像模糊的问题不光是研究图像的人们关注的。我们不要忽视了科学界的终极人士——数学家们。数学家们掌握了各种抽象的数学模型,它们是一个个锦囊,可是它们太抽象了,怎样与各行业亟待解决的问题分别对应起来,这才是技术突破的创新点。

中科院计算所的支丽红老师,她的研究方向是混合计算。她在2010年提出了一种解决图像模糊问题的方法,于是获得了2010年欧莱雅“中国青年女科学家奖”。她找到的数学模型其实很简单,就是求解最大公因式。最大公因式其实就是多项式的最大公因子,最大公因子相信大家都知道,比如6和3的最大公因子是3,27和36的最大公因子是9。最大公因式代表了两个多项式的最大程度相似部分。支老师提出的解决方法是对于同一处场景,假设我们连拍了两张模糊的图像,那么这两张图像可以被假设为光照、角度、捕捉到的景物都是一样的,这样一来,在两张照片中最大程度相同的部分就可以认为是被还原的清晰的图像。

这个模型很新颖,不知专门研究图像的人员是不是能够认可这种算法,实际产业中能否再通过进一步的合理转化将这个模型用到相机生产中去呢。

最后告诉你我们老师经常说的一句话,没有不好的算法,只有不好的模型。

这句话嚣张了点儿,可也的的确确说明了问题存在的实质。世界上没有万能的通用的锦囊,只能针对不同问题各个突破,好的解决办法要么在攻击力度上强大一些要么在覆盖面上大一些。


参考来源:

Image Deblurring using Inertial Measurement Sensors ;Neel Joshi, Sing Bing Kang, C. Lawrence Zitnick, Richard Szeliski (Microsoft Research); SIGGRAPH2010

Mining Geotagged Photos for Semantic Understanding ;Jiebo Luo;Kodak Research Laboratories

中国青年女科学家奖官网

25条评论

  • 1楼
    2011-01-18 14:43:31 Yan 电气工程硕士生 ψ
    a ~ lena.
    引用
  • 2楼
    2011-01-18 14:55:09 v
    太强大了!
    引用
  • 3楼
    2011-01-18 14:56:59 v
    爱拍照的手抖人士向数学家们表示最崇高的敬意
    引用
  • 4楼
    2011-01-18 15:07:02 BlackCat
    经常看到美国电影里 fbi从监视摄像头里截取犯罪嫌疑人的照片,然后无限放大再无限放大只到得出清晰的照片为止……如果真可以这样的话就没必要提升数码相机的像素了……
    引用
  • 5楼
    2011-01-18 16:09:05 两点两分
    引用 BlackCat 的回应:经常看到美国电影里 fbi从监视摄像头里截取犯罪嫌疑人的照片,然后无限放大再无限放大只到得出清晰的照片为止……如果真可以这样的话就没必要提升数码相机的像素了……
    问题是不方便。。
    引用
  • 6楼
    2011-01-18 16:55:42 ohSprite
    顺便说下 那个美女很有名的,学过图像处理之类的人都应该见过。她其实是花花公子的封面女郎,下面其实没穿衣服啦 嘿嘿
    引用
  • 7楼
    2011-01-18 16:58:30 NASA
    这个技术可以去马赛克么?我邪恶了……
    引用
  • 8楼
    2011-01-18 17:00:46 Red
    奇怪,手机上为啥不能回复......我觉得模糊的根本原因还是曝光量的缺失,人眼睛能看到的,感光元件却不一定能“看到”,因此硬件也是未来努力的方向之一。富士在一年多前推出一种新型感光元件,高感光高宽容度的CMOS,很大程度上从源头解决了部分问题,但是科技无止境,人们追求清晰的视觉感受也无止境!
    引用
  • 9楼
    2011-01-18 18:41:08 Camel 机械工程硕士生,DIYe... ψ
    我也表示以前做MATLAB图像处理的时候 参考书上都是她!!!!!!!!
    引用 ohSprite 的回应:顺便说下 那个美女很有名的,学过图像处理之类的人都应该见过。她其实是花花公子的封面女郎,下面其实没穿衣服啦 嘿嘿

    引用
  • 10楼
    2011-01-18 19:00:24 Luna3.0 节目编导 ψ
    引用 Camel 的回应:我也表示以前做MATLAB图像处理的时候 参考书上都是她!!!!!!!!引用 ohSprite 的回应:顺便说下 那个美女很有名的,学过图像处理之类的人都应该见过。她其实是花花公子的封面女郎,下面其实......

    都看腻味了,强烈要求换人
    引用
  • 11楼
    2011-01-18 19:32:00 xiaoA
    - - 看下头像的
    引用
  • 12楼
    2011-01-18 20:12:46 小虚
    回复red (手机上不能引用):曝光量的问题光流法可以解决,不过感光颗粒啥的不太了解………
    引用
  • 13楼
    2011-01-18 22:22:03 Mark-L
    嗯……
    一个很严峻的问题
    马赛克算是模糊么……
    引用
  • 14楼
    2011-01-18 22:22:47 glzr
    记得大学里写的毕业论文,就是关于运动模糊图像的恢复技术,呵呵。。。搞笑。。
    引用
  • 15楼
    2011-01-19 08:34:55 B612
    照相技术的书里他好像也出现过。。。
    引用
  • 16楼
    2011-01-20 15:37:09 xxc
    求 支丽红老师 提出模型的文章..拜谢..
    引用
  • 17楼
    2011-01-20 16:33:11 维京海盗
    引用 Camel 的回应:我也表示以前做MATLAB图像处理的时候 参考书上都是她!!!!!!!!引用 ohSprite 的回应:顺便说下 那个美女很有名的,学过图像处理之类的人都应该见过。她其实是花花公子的封面女郎,下面其实......

    同。。。在matlab里对她进行各种折腾。。。
    引用
  • 18楼
    2011-01-23 00:10:53 果壳箱
    大家都讨论女人去了··
    引用
  • 19楼
    2011-01-25 16:31:42 SILENTGHOST 果壳爱宠站编辑 ψ
    这技术真实用啊。
    引用
  • 20楼
    2011-01-25 16:34:06 天蓝提琴 创客,机器人爱好者 ψ
    这就是出现在经典教材上的效应么。。。
    引用
  • 21楼
    2011-01-25 16:47:38 Micro
    摄影控 收藏了!
    引用
  • 22楼
    2011-01-25 17:01:26 残基A
    朦胧没了 美有了 嘿嘿
    引用
  • 23楼
    2011-01-25 17:08:44 三米大叔
    透亮哈
    引用
  • 24楼
    2011-01-25 17:16:18 神马奖
    给力!
    引用
  • 25楼
    2011-01-25 17:24:12 Big.D 果壳性情站编辑 ψ
    猫很萌的。
    引用

登录 后发表评论,你也可以用以下帐号直接登录

新浪微博 人人网 QQ

©2012果壳网 京ICP备09043258号-2 京公网安备1101052730