Instructor

Jehee Lee

Office: 302-325

Phone: 880-1845

Class hours

Tuesday and Thursday 1:00-2:15pm

Classroom

Building 302, Room 309

Pre-requisites

Undergraduate computer graphics

Grading policy

Classroom presentation & participation: 100 %

Schedule

Week 1

3 / 1

 No class (삼일절)

3 / 3

 Course introduction

Week 2

3 / 8

 (석광원) Sampling Plausible Solutions to Multi-Body Constraint Problems

 (주은정) A Morphable Model for the Synthesis of 3D Faces

3 / 10

 (최명걸) Video Rewrite

 (박종필) Composable Controller for Physics-Based Character Animation

Week 3

3 / 15

 (김만명) Evolving Virtual Creatures

 (오민재) Image Quilting for Texture Synthesis and Transfer

3 / 17

 (깅영준) The Space of Human Body Shapes: Reconstruction and Parameterization From Range Scans

 (최태규) Learning Controls for Blend Shape Based Realistic Facial Animation

Week 4

3 / 22

 (양경용) Motion Synthesis From Annotations

 (정문기) Precomputing Interactive Dynamic Deformable Scenes

3 / 24

 (김병희) Turning to the Masters: Motion Capturing Cartoons

 (김동오) Modeling by Example

Week 5

3 / 29

 (박성호) Vision-based Control of 3D Facial Animation

 (홍태식) Object Removal by Exemplar-based Inpainting

3 / 31

 No class (출장)

Week 6

4  / 5

 No class (식목일)

4 / 7

 (강우진) Integrated Learning for Interactive Synthetic Characters

 (이강훈) Image Analogies

Week 7

4 / 12

 (김만명) Sensor-actuator networks

 (박종필) Spacetime Revisited

4 / 14

 (석광원) NeuroAnimator: Fast Neural Network Emulation and Control of Physics-Based Models

 (오민재) Video Textures

Week 8

4 / 19

 (김영준) Interaction-free dressing of virtual humans

 (최태규) Real-time Speech Motion Synthesis from Recorded Motions

4 / 21

 (김병희) A Bayesian Approach to Digital Matting

 (주은정) Reanimating Faces in Images and Video

Week 9

4 / 26

 (정문기) Pose Space Deformations: A Unified Approach to Shape Interpolation and Skeleton-Driven Deformation

4 / 28

 (강우진) Style Machines

Week 10

5 / 3

 (양경용) Motion Textures

 (이강훈) Segmenting Motion Capture Data into Distinct Behaviors

5 / 5

 No class (어린이날)

Week 11

5 / 10

 (홍태식) Style-Based Inverse Kinematics

 (최명걸) Specifying Gestures by Example

5 / 12

 (깅동오) Example-Based Style Synthesis

 (박성호) Interactive Control of Avatars Animated with Human Motion Data

Week 12

5 / 17

 (박종필) Learning Physics-Based Motion Style With Nonlinear Inverse Optimization

 (석광원) Dynamic Response for Motion Capture Animation

5  / 19

 (정문기) Soft Shadow Volumes for Ray Tracing

 (김영준) Texture Optimization for Example-based Synthesis

Week 13

5 / 24

 (양경용) Style Translation for Human Motion

5 / 26

 No class (출장)

Week 14

5 / 31

 (김만명) Synthesizing Physically Realistic Human Motion in Low-Dimensional Behavior-Specific Spaces, Siggraph 2004.

 (김병희) Color2Gray: Salience-Preserving Color Removal

 (박성호) Geostatistical Motion Interpolation

6 / 2

 (주은정) Face Transfer With Multilinear Models

 (최명걸) Action Synopsis: Pose Selection and Illustration

 (최태규) Efficiently Combining Positions and Normals for Precise 3D Geometry

Week 15

6 / 7

 (오민재) Automatic Photo Pop-up

 (홍태식) Efficient Content-Based Retrieval of Motion Capture Data

6 / 9

 (강우진) Speaking With Hands: Creating Animated Conversational Characters From
Recordings of Human Performance, Siggraph 2004.

 (김동오) A Data-Driven Approach to Quantifying Natural Human Motion

Here are papers that we may read for class.

Siggraph 2005 papers link

Character Animation

• (홍태식) Style-Based Inverse Kinematics, Keith Grochow, Steven L. Martin, Aaron Hertzmann, Zoran Popović, Siggraph 2004.

• Precomputing Avatar Behavior from Human Motion Data, Jehee Lee, Kang Hoon Lee, SCA 2004.

• (이강훈) Segmenting Motion Capture Data into Distinct Behaviors, GI 2004.

• Rythmic-Motion Synthesis Based on Motion-Beat Analysis, Tae-hoon Kim, Sang Il Park, Sung Yong Shin, Siggraph 2003.

• (양경용) Motion Synthesis From Annotations, Okan Arikan, David A. Forsyth, James F. O'Brien, Siggraph 2003.

• (강우진) Integrated Learning for Interactive Synthetic Characters, Bruce Blumberg, Marc Downie, Yuri Ivanov, Matt Berlin, Michael Patrick Johnson, William Tomlinson, Siggraph 2002.

• (양경용) Motion Textures: A Two-Level Statistical Model for Character Motion Synthesis, Yan Li, Tianshu Wang, Heung-Yeung Shum, Siggraph 2002.

• (박성호) Interactive Contol of Avatars Animated With Human Motion Data, Jehee Lee, Jinxiang Chai, Paul S. A. Reitsma, Jessica K. Hodgins, Nancy S. Pollard, Siggraph 2002.

• (강우진) Style Machines, Matthew Brand, Aaron Hertzmann, Siggraph 2000.

Speech & Face

• (최태규) Real-time Speech Motion Synthesis from Recorded Motions, Yong Cao, Petros Faloutsos, Eddie Kohler, Fred Pighin, SCA 2004.

• Unsupervised Learning for Speech Motion Editing, Yong Cao, Frederic Pighin, Petros Faloutsos, SCA 2003.

• (최태규) Learning Controls for Blend Shape Based Realistic Facial Animation, Pushkar Joshi, Wen Tien, Mathieu Desbrun, Frederic Pighin, SCA 2003.

• (박성호) Vision-based Control of 3D Facial Animation, Jinxiang Chai, Jing Xiao, Jessica Hodgins, SCA 2003.

• (주은정) Reanimating Faces in Images and Video, V. Blanz, C. Basso, T. Poggio, T. Vetter, Eurographics 2003.

• Trainable Videorealistic Speech Animation, Tony Ezzat, Gadi Geiger, Tomaso Poggio, Siggraph 2002.

• (주은정) A Morphable Model for the Synthesis of 3D Faces, Siggraph 1999.

• Voice Puppetry, M. Brand, Siggraph 1999.

Shape & Modeling

• (김동오) Modeling by Example, Thomas Funkhouser, Michael Kazhdan, Philip Shilane, Patrick Min, William Kiefer, Ayellet Tal, Szymon Rusinkiewicz, David Dobkin, Siggraph 2004.

• (김영준) The Space of Human Body Shapes: Reconstruction and Parameterization From Range Scans, Brett Allen, Brian Curless, Zoran Popović, Siggraph 2003.

• (정문기) Pose Space Deformations: A Unified Approach to Shape Interpolation and Skeleton-Driven Deformation, J.P. Lewis, Matt Cordner, Nickson Fong, Siggraph 2000.

• Separating style and content with bilinear models, J. B. Tenenbaum, W. T. Freeman, Neural Computation.

Image & Texture & Video

• (깅동오) Example-Based Style Synthesis, I. Drori et al., CVPR 2003.

• (홍태식) Object Removal by Exemplar-based Inpainting, A. Criminisi, P. Perez, K. Toyama, CVPR 2003.

• Fragment-based Object Removal, I. Drori, D. Cohen-Or, H. Yeshurun, Siggraph 2003.

• (김병희) Turning to the Masters: Motion Capturing Cartoons, Christoph Bregler, Lorie Loeb, Erika Chuang, Hrishikesh Deshpande, Siggraph 2002.

• (이강훈) Image Analogies, Aaron Hertzmann, Charles E. Jacobs, Nuria Oliver, Brian Curless, David H. Salesin, Siggraph 2001.

• (오민재) Image Quilting for Texture Synthesis and Transfer, Alexei A. Efros, William T. Freeman, Siggraph 2001.

• (깅병희) A Bayesian Approach to Digital Matting, Yung-Yu Chuang, Brian Curless, David H. Salesin, and Richard Szeliski, CVPR 2001.

• (오민재) Video Textures, Arno Sch?l, Irfan Essa, Richard Szeliski, David H. Salesin, Siggraph 2000.

• (최명걸) Video Rewrite, C. Bregler et al. Siggraph 1997.

Dynamics

• (정문기) Precomputing Interactive Dynamic Deformable Scenes, Doug L. James, Kayvon Fatahalian, Siggraph 2003.

• (박종필) Composable Controller for Physics-Based Character Animation, Petros Faloutsos, Michiel van de Panne, Demetri Terzopoulos, Siggraph 2001.

• (석광원) Sampling Plausible Solutions to Multi-Body Constraint Problems, Stephen Chenney, David Forsyth, Siggraph 2000.

• (석광원) NeuroAnimator: Fast Neural Network Emulation and Control of Physics-Based Models, Siggraph 1998.

• Metropolis Light Transport, Siggraph 1997.

• Automated Learning of Muscle-Actuated Locomotion through Control Abstraction, Siggraph 1995.

• (김만명) Evolving Virtual Creatures, Siggraph 1994.

• (김만명) Sensor-actuator networks, Siggraph 1993.

• (박종필) Spacetime Revisited, Siggraph 1993.

Gesture

• (최명걸) Specifying Gestures by Example, Siggraph 1991.

발표 및 토론

• 매 시간 두 편의 논문에 대한 토론을 진행할 예정이다. 모든 수강생들은 2편 정도의 논문을 발표하고 토론을 주도해야 한다. 발표자가 먼저 각 논문에 대해 10분에서 15분 정도의 시간 동안 논문에서 다루는 문제와 해결 방법에 대해 설명한 뒤 수강생 전체가 참여하는 자유 토론 형식으로 진행한다.

• 모든 수강생들은 매 강의 토론할 논문 2편을 최소한 서론까지 읽어 각 논문에서 해결하고자 하는 문제가 무엇인지 파악하고 강의에 참여해야 한다. 본문의 내용과 결과 등은 한번 훑어보는 정도로 충분하며, 이보다 더 중요한 것은 나라면 그 문제를 어떻게 해결할 것인가를 미리 생각해 보는 것이다. 강의에서는 논문에서 제시하는 방법과 자신의 생각을 비교해 생각하며 토론에 참여한다.

• Saying enough without saying too much: 10분에서 15분 정도의 비교적 짧은 시간 동안 논문의 내용을 충실히 설명하기 위해서는 논문의 핵심적인 내용을 요약해야 한다. 먼저, 문제를 명쾌하게 설명해야 한다. 문제에 입력이 무엇이고 기대하는 출력이 무엇인지를 명확히 해야 한다. 둘째, 논문에서 제시하는 해결책을 개략적으로 설명한다. 필요한 경우 이와 연관된 한두 가지의 기술적인 주제에 대해 추가적인 설명을 덧붙인다. 발표에 있어서 가장 중요한 점은 반드시 설명해야 하는 핵심적인 주제와 생략할 수 있는 부수적인 내용을 구분하는 것이다.

• 발표는 원칙적으로 말로 설명하며 필요한 경우 칠판을 사용한다. 파워포인트 슬라이드는 허용되지 않는다. 이는 논문의 주요 내용을 정확한 표현으로 설명하는 연습을 위한 것으로, 그간 슬라이드의 남용으로 인해 말로 설명하기 보다는 슬라이드에 의존하는 경향을 피하고자 한다. 다만, 논문의 결과 영상과 비디오를 보여주기 위한 용도로 프로젝터를 사용할 수 있다. 노트북 컴퓨터는 매 강의 미리 준비되어 있을 예정이므로 USB 메모리 등에 필요한 자료를 담아오거나, 데이터가 너무 큰 경우에는 최소한 강의 하루 전에 데이터를 미리 강의용 노트북 컴퓨터에 다운로드 받아야 한다.

• 논문에 대해서는 다음과 같은 내용을 토론한다.

  • 다루어지는 문제가 중요한가? 문제의 중요도는 여러 가지 측면에서 생각해 볼 수 있다. 일단 다양한 응용 분야에서 활용 가능하거나, 오랜 시간 미제로 남겨져 있었거나, 앞으로 새로운 문제들을 창조하는 기폭제 역할을 할 경우에 중요한 문제로 볼 수 있다.

  • 제시된 해결책이 적절한가? 실제로 풀고자 하는 문제를 해결하고 있는지, 일반적인 경우에 항상 적용할 수 있는지, 계산 시간이나 메모리 소모에 있어서 실용적인지 등을 고려한다.

  • 개선할 여지가 있는가? 문제의 범위를 넓히거나, 더 풀기 쉬운 형태로 바꾸는 것을 고려한다. 해결책에 있어서 개선할 여지가 있는지, 혹은 제시된 해결책을 다른 문제에 적용할 수 있는지 등을 고려한다.

• 토론에 있어서 발표자의 역할은 (1) 질문에 대해 답을 할 수 있도록 논문의 세부적인 내용을 숙지하고 있어야 하고, (2) 수강생들의 관심과 참여를 이끌 수 있는 주제를 설정하여 토론을 주도해야 한다.