Description

Computational photography is an emerging field at the convergence of photography, computer vision, image processing, and computer graphics. It leverages the power of computational processing to overcome limitations of traditional photography and offers new opportunities for the enhancement and enrichment of visual media. This graduate course covers both fundamental ideas in photography and new software solutions to photography challenges.

Topics include cameras, image formation, image and video processing, image manipulation, high dynamic range imaging, human visual perception and color, image-based lighting and rendering.

Instructor

Jehee Lee

Office: 302-325

Phone: 880-1845

Class hours

Monday and Wednesday 4:00-5:15pm

Classroom

Building 302, Room 308

Pre-requisites

Undergraduate computer graphics or computer vision

Basic programming skills

Some knowledge on linear algebra

Grading policy

Classroom presentation: 30 %

Programming assignments: 40%

Quiz & exam: 30%

Textbook

There is no required textbooks.

Photography (8th edition). London, Upton, Stone, Kobre and Brill. Prentice Hall.

High Dynamic Range Imaging: Acquisition, Display and Image-based Lighting. Reinhard, Ward, Pattanaik and Debevec. Morgan Kaufmann.

Siggraph 2005 course notes by Raskar, Tumblin and Nayar.

Schedule

Week 1

3 / 6

 Introduction

3 / 8

 Camera [ppt]

• London Chap 2 and 3

Week 2

3 / 13

 Light and color [ppt]

• Reinhard Chap 2

3 / 15

 Light and color (continued)

Week 3

3 / 20

 Image processing

3 / 22

 Image warping [ppt]

• Programming assignment #1 out

Week 4

3 / 27

 Image morphing [ppt]

3 / 29

 Color2Gray and Gray2Color

• [주은정] Colorization using optimization, Siggraph 2004.

• [김현강] Color2Gray: Salience-preserving color removal, Siggraph 2005.

Week 5

4 / 3

 Black-and-white photography and color filters [ppt]

 Image displacement mapping

• Programming assignment #1 in

• Programming assignment #2 out

• RBF interpolation references

  • Shape transformation using variational implicit functions, Siggraph 1999.

  • Reconstruction and Representation of 3D Objects With Radial Basis Functions, Siggraph 2001.

4 / 5

 Fourier transform

Week 6

4 / 10

 No class (출장)

4 / 12

 No class (출장)

Week 7

4 / 17

 Convolution

4 / 19

 Image Pyramid

Week 8

4 / 24

 Matting

• [구남국] Lazy snapping

• [구남국] "GrabCut" - Interactive foreground extraction using iterated graph cuts

• [문승현] Defocus Video Matting

4 / 26

 Editing

• [박종필] Poisson image editing

• [정석교] Interactive digital photomontage

Week 9

5 / 1

 Exposure, Dynamic range, Contrast [ppt]

5 / 3

 High dynamic range imaging

Week 10

5 / 8

 Tone Mapping [ppt]

5 / 10

Week 11

5 / 15

• [강성태] High dynamic range video. Siggraph 2003.

• [김민혁] Video enhancement using per-pixel virtual exposures. Siggraph 2005.

5 / 17

• [안소민] Digital photography with flash and no-flash image pairs. Siggraph 2004.

• [안소민] Flash Photography Enhancement Via Intrinsic Relighting. SIGGRAPH 2004.

• [강신국] Removing photography artifacts using gradient projection and flash-exposure sampling. Siggraph 2005.

Week 12

5 / 22

5 / 24

 Cylindrical and spherical mosaics

• Term project out

Week 13

5 / 29

 Videography

• [석광원] Video tooning. Siggraph 2004.

• [오두나] Video matching. Siggraph 2004.

5 / 31

 No class (임시공휴일)

Week 14

6 / 5

6 / 7

Future cameras

• [최명걸] Synthetic aperture confocal imaging. Siggraph 2004.

• [최명걸] High performance imaging using large camera arrays. Siggraph 2005.

• [모남진] Fourier Slice photography. Siggraph 2005.

Week 15

6 / 12

 Term project presentation

발표 및 토론

• 매 시간 두 편의 논문에 대한 토론을 진행할 예정이다. 모든 수강생들은 2편 정도의 논문을 발표하고 토론을 주도해야 한다. 발표자가 먼저 각 논문에 대해 10분에서 15분 정도의 시간 동안 논문에서 다루는 문제와 해결 방법에 대해 설명한 뒤 수강생 전체가 참여하는 자유 토론 형식으로 진행한다.

• 모든 수강생들은 매 강의 토론할 논문 2편을 최소한 서론까지 읽어 각 논문에서 해결하고자 하는 문제가 무엇인지 파악하고 강의에 참여해야 한다. 본문의 내용과 결과 등은 한번 훑어보는 정도로 충분하며, 이보다 더 중요한 것은 나라면 그 문제를 어떻게 해결할 것인가를 미리 생각해 보는 것이다. 강의에서는 논문에서 제시하는 방법과 자신의 생각을 비교해 생각하며 토론에 참여한다.

• Saying enough without saying too much: 10분에서 15분 정도의 비교적 짧은 시간 동안 논문의 내용을 충실히 설명하기 위해서는 논문의 핵심적인 내용을 요약해야 한다. 먼저, 문제를 명쾌하게 설명해야 한다. 문제에 입력이 무엇이고 기대하는 출력이 무엇인지를 명확히 해야 한다. 둘째, 논문에서 제시하는 해결책을 개략적으로 설명한다. 필요한 경우 이와 연관된 한두 가지의 기술적인 주제에 대해 추가적인 설명을 덧붙인다. 발표에 있어서 가장 중요한 점은 반드시 설명해야 하는 핵심적인 주제와 생략할 수 있는 부수적인 내용을 구분하는 것이다.

• 발표는 원칙적으로 말로 설명하며 필요한 경우 칠판을 사용한다. 파워포인트 슬라이드는 최소화한다. 이는 논문의 주요 내용을 정확한 표현으로 설명하는 연습을 위한 것으로, 그간 슬라이드의 남용으로 인해 말로 설명하기 보다는 슬라이드에 의존하는 경향을 피하고자 한다. 다만, 논문의 결과 영상과 비디오를 보여주기 위한 용도로 프로젝터를 사용할 수 있다. 노트북 컴퓨터는 매 강의 미리 준비되어 있을 예정이므로 USB 메모리 등에 필요한 자료를 담아오거나, 데이터가 너무 큰 경우에는 최소한 강의 하루 전에 데이터를 미리 강의용 노트북 컴퓨터에 다운로드 받아야 한다.

• 논문에 대해서는 다음과 같은 내용을 토론한다.

  • 다루어지는 문제가 중요한가? 문제의 중요도는 여러 가지 측면에서 생각해 볼 수 있다. 일단 다양한 응용 분야에서 활용 가능하거나, 오랜 시간 미제로 남겨져 있었거나, 앞으로 새로운 문제들을 창조하는 기폭제 역할을 할 경우에 중요한 문제로 볼 수 있다.

  • 제시된 해결책이 적절한가? 실제로 풀고자 하는 문제를 해결하고 있는지, 일반적인 경우에 항상 적용할 수 있는지, 계산 시간이나 메모리 소모에 있어서 실용적인지 등을 고려한다.

  • 개선할 여지가 있는가? 문제의 범위를 넓히거나, 더 풀기 쉬운 형태로 바꾸는 것을 고려한다. 해결책에 있어서 개선할 여지가 있는지, 혹은 제시된 해결책을 다른 문제에 적용할 수 있는지 등을 고려한다.

• 토론에 있어서 발표자의 역할은 (1) 질문에 대해 답을 할 수 있도록 논문의 세부적인 내용을 숙지하고 있어야 하고, (2) 수강생들의 관심과 참여를 이끌 수 있는 주제를 설정하여 토론을 주도해야 한다.

Paper list

The papers are available at following links.

   http://www.cs.brown.edu/people/tor/sig2002.html

   http://www.cs.brown.edu/people/tor/sig2003.html

   http://www.cs.brown.edu/people/tor/sig2004.html

   http://www.cs.brown.edu/people/tor/sig2005.html

• High dynamic range and tone mapping

  • Evaluation of tone mapping operators using a high dynamic range display. Siggraph 2005.

  • Compressing and companding high dynamic range images with subband architectures. Siggraph 2005.

  • High dynamic range display systems. Siggraph 2004.

  • High dynamic range video. Siggraph 2003.

  • Gradient domain high dynamic range compression. Siggraph 2002.

  • Fast Bilateral Filtering for the Display of High-Dynamic-Range Images. SIGGRAPH 2002.

  • Photographic tone reproduction for digital images. Siggraph 2002.

• Special camera

  • Fourier Slice photography. Siggraph 2005.

  • Dual photography. Siggraph 2005.

  • High performance imaging using large camera arrays. Siggraph 2005.

  • Non-photorealistic camera: Depth edge detection and stylized rendering using multi-flash imaging. Siggraph 2004.

  • Synthetic aperture confocal imaging. Siggraph 2004.

• Flash

  • [강신국] Removing photography artifacts using gradient projection and flash-exposure sampling. Siggraph 2005.

  • [안소민] Digital photography with flash and no-flash image pairs. Siggraph 2004.

  • [안소민] Flash Photography Enhancement Via Intrinsic Relighting. SIGGRAPH 2004.

• Color and lighting

  • [김현강] Color2Gray: Salience-Preserving Color Removal. Siggraph 2005.

  • Performance relighting and relectance transformation with time-multiplexed illumination. Siggraph 2005.

  • [주은정] Colorization using optimization. Siggraph 2004.

  • Transferring color to greyscale images. Siggraph 2002.

• Editing and completion

  • Image completion with structure propagation. Siggraph 2005.

  • [정석교] Interactive digital photomontage. Siggraph 2004.

  • Textureshop: Texture synthesis as a photograph editing tool. Siggraph 2004.

  • Fragment-based image completion. Siggraph 2003.

  • [박종필] Poisson image editing. Siggraph 2003.

• Video and motion

  • Motion Magnification. Siggraph 2005.

  • Video object cut and paste. Siggraph 2005.

  • Panoramic video textures. Siggraph 2005.

  • Video enhancement using per-pixel virtual exposures. Siggraph 2005.

  • Animating pictures with stochastic motion textures. Siggraph 2005.

  • [석광원] Video tooning. Siggraph 2004.

  • Video matching. Siggraph 2004.

  • High-quality video view interpolation using a layered representation. Siggraph 2004.

• Matting and rotoscoping

  • [문승현] Defocus Video Matting. Siggraph 2005.

  • Interactive Video Cutout. Siggraph 2005.

  • [구남국] Lazy snapping. Siggraph 2004.

  • [구남국] "GrabCut" - Interactive foreground extraction using iterated graph cuts. Siggraph 2004.

  • Poisson Matting. Siggraph 2004.

  • Keyframe-based tracking for rotoscoping and animation. Siggraph 2004.

  • Video matting of complex scenes. Siggraph 2002.

• Texture

  • Texture design using a simplicial complex of morphable textures. Siggraph 2005.

  • Feature matching and deformation for texture synthesis. Siggraph 2004.

  • Near-regular texture analysis and manipulation. Siggraph 2004.

  • Graphcut textures: Image and video synthesis using graph cuts. Siggraph 2003.