Jehee Lee / 이제희Professor (on leave, 휴직 중) Office: 302-325 서울대학교 컴퓨터공학부 교수 |
I am a professor in the Department of Computer Science and Engineering at Seoul National University. My research interests are in the areas of computer graphics, animation, biomechanics, and robotics. I am particularly interested in developing new ways of understanding, representing, planning, and simulating human and animal movements. This involves full-body motion analysis and synthesis, biped control and simulation, clinical gait analysis, deep learning, motion capture, motion planning, data-driven and physically based techniques, interactive avatar control, crowd simulation, and controller design. I co-chaired ACM/EG Symposium on Computer Animation (SCA) in 2012, ACM SIGGRAPH conference on Motion, Interaction and Games (MIG) in 2018, and Pacific Graphics in 2019. I am the Technical Papers chair of SIGGRAPH Asia 2022. I also served on numerous program committees, including ACM SIGGRAPH, ACM SIGGRAPH Asia, Eurographics, ACM/EG Symposium on Computer Animation, Pacific Graphics, CGI, and CASA. I served as an Associate Editor of IEEE Transactions on Visualization and Computer Graphics. I am leading SNU Movement Research Lab.
I am currently on leave at NCsoft. I won't be able to assist with requests for internship, graduate studies or visiting professorship at Seoul National University.
(Publications | Research | Courses | Google Scholar Me )
Learning Virtual Chimeras by Dynamic Motion Reassembly, SIGGRAPH Asia 2022. Link
Generative GaitNet, SIGGRAPH 2022. Link
Deep Compliant Control, SIGGRAPH 2022. Link
Human Motion Control of Quadrapedal Robots using Deep Reinforcement Learning, RSS 2022. Link
Human Dynamics from Monocular Video with Dynamic Camera Movements, SIGGRAPH Asia 2021. Link
Learning a family of motor skills from a single motion clip, SIGGRAPH 2021. Link
Learning Time-Critical Responses for Interactive Character Control , SIGGRAPH 2021. Link
Functionality-Driven Musculature Retargeting, Computer Graphics Forum 2020. Link
Learning Predict-and-Simulate Policies From Unorganized Human Motion Data, SIGGRAPH Asia 2019. Link
Learning Body Shape Variation in Physics-based Characters, SIGGRAPH Asia 2019. Link
SoftCon: Simulation and Control of Soft-Bodied Animals with Biomimetic Actuators, SIGGRAPH Asia 2019. Link
Figure Skating Simulation from Video, Pacific Graphics 2019. Link
Scalable Muscle-Actuated Human Simulation and Control, SIGGRAPH 2019. Link
Aerobatics Control of Flying Creatures via Self-Regulated Learning, SIGGRAPH Asia 2018. Link
Interactive Character Animation by Learning Multi-Objective Control, SIGGRAPH Asia 2018. Link
Dexterous Manipulation and Control with Volumetric Muscles, SIGGRAPH 2018. Link
How to Train Your Dragon, SIGGRAPH Asia 2017. Link
Soft Shadow Art, Symposium on Computational Aesthetics 2017. Link
3D Bone Shape Reconstruction from Uncalibrated Radiographs, Medical Engineering & Physics 2017. Link
Shadow Theatre, SIGGRAPH 2016. Link
Motion Grammars for Character Animation, Eurographics 2016. Link
Push-Recovery Stability of Biped Locomotion, SIGGRAPH Asia 2015. Link
Generate and Ranking Diverse Multi-Character Interactions, SIGGRAPH Asia 2014. Link
Locomotion Control for Many-Muscle Humanoids, SIGGRAPH Asia 2014. Link
Interactive Manipulation of Large-Scale Crowd Animation, SIGGRAPH 2014. Link
Data-driven Control of Flapping Flight, ACM Transactions on Graphcis, 2013. Link
Creature Features: Online Motion Puppetry for Nonhuman Characters, SCA 2013. Link
Tiling Motion Patches: Simulating Multiple Character Interaction, SCA 2012 and TVCG 2013. Link
Retrieval and Visualization of Human Motion Data via Stick Figures, Pacific Graphics 2012. Link
Deformable Motion: Squeezing into Cluttered Environments, Eurographcis 2011. Link
Morphable Crowds: Interpolating Navigation Styles, SIGGRAPH Asia 2010. Link
Data-Driven Biped Control, SIGGRAPH 2010. Link
Editing Dynamic Human Motions via Momentum and Force, SCA 2010. Link
Linkless Octree Using Multi-Level Perfect Hashing, Pacific Graphics 2009. Link
Synchronized Multi-Character Motion Editing, SIGGRAPH 2009. Link
Group Motion Editing, SIGGRAPH 2008. Link
Expressive Facial Gestures from Motion Capture Data, Eurographics 2008. Link
Representing Rotations and Orientations in Geometric Computing, IEEE CG&A 2008. Link
Group Behavior From Video (Data-Driven Crowd Simulation), SCA 2007. Link
Simulating Biped Behavior from Human Motion Data, SIGGRAPH 2007. Link
Motion Patches: Building Blocks for Virtual Environments Annotated with Motion Data, SIGGRAPH 2006. Link
Low-Dimensional Motion Space, CASA 2006. Link
Reinforcement Learning with Motion Graphs, SCA 2004 and Graphics Models 2006. Link
Planning Biped Locomotion Using Motion Capture Data and Probabilistic Roadmaps, ACM ToG 2003. Link
Interactive Control of Avatars Animated with Human Motion Data (a.k.a. Motion Graphs), SIGGRAPH 2002. Link
General Construction of Time-Domain Filters for Orientation Data, IEEE TVCG 2002. Link
Computer Puppetry: An Importance-based Approach, ACM ToG 2001. Link
A Coordinate-Invariant Approach to Multiresolution Motion Analysis, Graphical Models 2001. Link
Hierarchical Motion Editing, SIGGRAPH 1999. Link
딥러닝으로 드래곤 길들이기 (How to Train Your Dragon via Deep Learning), SW Starlab Forum 2018. Slides |
Ten years in locomotion control research, Words of Wisdom at SCA 2016. Slides |
Data-Driven Control of Flapping Flight. Presented at SIAT workshop in Shenzhen in 2014. Slides Abstract: The animation and simulation of human/animal behavior is an important issue in the context of computer animation, games, robotics, and virtual environments. The study on human movements and animal locomotion has revealed various principles based on physics, biomechanics, physiology, and psychology. In this talk, we will discuss the design of a physically based controller that simulates the flapping behavior of a bird in flight. We recorded the motion of doves and parrots using marker-based optical motion capture and high-speed video cameras. The bird flight data thus acquired allow us to parameterize natural wingbeat cycles and provide the simulated bird with reference trajectories to track in physics simulation. Our controller simulates articulated rigid bodies of a bird’s skeleton and deformable feathers to reproduce the aerodynamics of bird flight. Motion capture from live birds is not as easy as human motion capture because of the lack of cooperation from subjects. Therefore, the flight data we could acquire were limited. We developed a new method to learn wingbeat controllers even from sparse, biased observations of real bird flight. Our simulated bird imitates life-like flapping of a flying bird while actively maintaining its balance. The bird flight is interactively controllable and resilient to external disturbances. |
Principles vs Observation: How do people move? The slide set at the link is based on my research in 2010.
Slides in Korean
Slides in English Abstract: The animation and simulation of human behavior is an important issue in the context of computer animation, games, robotics, and virtual environments. The study on human movements has revealed various principles based on physics, biomechanics, physiology, and psychology. Many of existing animation techniques rely on those principles, which may be described as mathematical equations, algorithms, or procedures. Another stream of research, called data-driven animation, made use of human motion data captured from live actors. The research on data-driven animation has developed a variety of techniques to edit, manipulate, segment and splice motion capture clips. The current trend of animation research is to combine these two approaches to complement each other. Over the past few years, we have explored several methods that addressed the problem of simulating human behaviors in virtual environments. Each solution relies on different principles of human movements and motion data captured at different scales. We found that principles and observed data can interact with each other in several ways. Sometimes, motion data drive physically-simulated bipeds that walk, turn, and spin. Sometimes, physics principles guide interactive motion editing to make a canned jump higher/wider and a spin longer. The group/crowd behavior can be captured from video, analyzed, interpolated, and re-synthesized to create a larger group/crowd of virtual humans for an extended period of time. Sometimes, simply adding more flexibility to motion data allows our animated characters to navigate highly-constrained, cluttered environments interactively. |
Introduction to Data-Driven Animation: Programming with Motion Capture, SIGGRAPH Asia 2010 Course. Course Web Abstract: Data-driven animation using motion capture data has become a standard practice in character animation. A number of techniques have been developed to add flexibility on captured human motion data by editing joint trajectories, warping motion paths, blending a family of parameterized motions, splicing motion segments, and adapting motion to new characters and environments. Even with the abundance of motion capture data and the popularity of data-driven animation techniques, programming with motion capture data is still not easy. A single clip of motion data encompasses a lot of heterogeneous information including joint angles, the position and orientation of the skeletal root, their temporal trajectories, and a number of coordinate systems. Due to this complexity, even simple operations on motion data, such as linear interpolation, are rarely described as succinct mathematical equations in articles. This course provides not only a solid mathematical background but also a practical guide to programming with motion capture data. The course will begin with the brief review of affine geometry and coordinate-invariant (conventionally called coordinate-free) geometric programming, which will generalize incrementally to deal with three-dimensional rotations/orientations, the poses of an articulated figure, and full-body motion data. It will lead to identifying a collection of coordinate-invariant operations on full-body motion data and their object-oriented implementation. Finally, we will discuss the practical use of our programming framework in a variety of contexts ranging from data-driven manipulation/interpolation to state-of-the-art biped locomotion control. |
Data-Driven Crowd and Group Behaviors, Part of SIGGRAPH Asia 2010 Course. Course note |
컴퓨터공학부 신입생을 위한 학교생활 안내, 학부 신입생 오리엔테이션 2016. Slides |
컴퓨터공학부 대학원 신입생을 위한 학교생활 안내, 대학원 신입생 오리엔테이션 2016. Slides |
SIGGRAPH 논문은 어떻게 결정되는가, 한국컴퓨터그래픽스학회 2008. Slides |
Two minute papers (May 27, 2022) This AI makes you a virtual stuntman! link
SCIENCE to the Future (May 13, 2022) 현실과 상상의 인터랙션으로 새로운 즐거움을 창조하다 link
Two minute papers (Sep 30, 2021) This AI stuntman just keeps getting better! link
Two minute papers (Oct 7, 2020) The AI Can Deal With Body Shape Variation! link
동아일보 (Nov 13, 2019) AI로 인체의 근육 움직임 세계 최초 재현 link
Two minute papers (Oct 19, 2019) AI Learns Human Movement From Unorganized Data link
Elements S4E82 (Aug 22, 2019) Why This Virtual Human Is Being Injured by Scientists link
80.lv (June 26, 2019) Next-Gen Simulation of Human Character Movement link
Two minute papers (July 16, 2019) Virtual Characters Learn To Work Out And Undergo Surgery link
Two minute papers (May 4, 2019) How To Train Your Virtual Dragon link
메디칼옵져버 (May 25, 2015) 북미소아정형외과학회 기초논문본상 수상 link
한국스포츠경제 (May 25, 2015) 북미소아정형외과학회 기초논문본상 수상 link
과학동아 (Nov 27, 2017) 상상 속 용, 이렇게 날았다...나는 법 스스로 학습하는 AI 나왔다 link
연합뉴스 (Nov 27, 2017) 만화·게임 속 '상상의 동물' 비행 모습 입체적 재현 link
로봇신문 (Nov 27, 2017) AI 이용 가상 비행생명체 자동제어기술 개발 link
KBS (Jan 1, 2017) 다큐멘터리3일 [482회] 열정, 미래를 열다 - 서울대 첨단과학기술연구팀 72시간 link
과학동아 (Dec 29, 2016) 서울대 공대 미래7대 기술 link
MBC News (Aug 1, 2016) 컴퓨터로 만드는 ''그림자연극'', 3D 기술로 재현, link
YTN Science (Aug 1, 2016) 빛의 예술 ''그림자연극'', 배우 대신 컴퓨터로 만든다, link
연합뉴스 (Aug 1, 2016) 그림자연극 속 ''숨은 동작'' 찾아내는 기술 개발, link
서울경제 (Aug 1, 2016) 컴퓨터 알고리즘으로 구현한 인체동작, link
디지털타임스 (Aug 1, 2016) ''그림자연극'' 동작 컴퓨터가 만든다, link
뉴스원 (Aug 1, 2016) 컴퓨터 알고리즘을 통한 그림자 연극의 창의적 동작 개발, link
아주경제 (Aug 1, 2016) 국내 연구팀, 컴퓨터 알고리즘 통한 그림자 연극 동작 개발, link
아시아경제 (Aug 1, 2016) 컴퓨터...그림자 연극에 뛰어들다, link
이데일리 (Aug 1, 2016) 국내연구진, 컴퓨터 알고리즘 통한 '그림자연극' 동작 개발, link
아이뉴스24 (Aug 1, 2016) 컴퓨터 알고리즘 활용, 그림자 연극 동작 개발, link
KBS News (Dec 15, 2014) Many-Muscle Humanoids, AVI
동아일보 (Dec 5, 2014) Previsualization, PDF
동아사이언스 (Dec, 2014) 공대가 좋아2 10회, Link
과학동아 (Dec, 2014) 3D 프린터로 하늘을 나는 새를 만든다, PDF
수학동아 (Oct, 2014) 생명체의 움직임을 재현한다, PDF
MBC News (Oct 24, 2013) Bird flight simulation, AVI
YTN 사이언스투데이 (Oct 24, 2013) Bird flight simulation, Link
동아사이언스에서 제작한 "공대가 좋아" 프로그램 컴퓨터공학부 편에 제 나름의 생각을 설명했습니다 (Link). 비디오에서 설명하지 못한 내용을 첨언하자면, 컴퓨터공학을 공부하길 원하는 학생들을 위해서 "괴델, 에셔, 바하"라는 책을 추천했습니다. 이 책은 컴퓨터와 음악과 미술을 넘나들며 컴퓨터과학 및 공학에 대한 흥미를 끌 수 있는 훌륭한 교양서입니다. 다만, 오래 전에 국내에 소개된 번역본이 수준 이하여서 원본의 내용을 이해할 수 없을 정도입니다. 누군가 다시 한번 번역본을 내준다면 좋겠지만, 현재로서는 번역본을 추천할 수는 없을 것 같습니다. 원본은 내용이 어렵지 않아서 고등학생이나 학부생들도 읽을 수 있습니다.
서울대학교 공과대학에서 진행한 공학진로탐색프로그램 컴퓨터공학부 편에서도 컴퓨터공학에 대해 소개했습니다. link
유학을 생각 중인데 추천서를 받을 수 있을까요?연구실에 남는 자리가 있으면 인턴을 받습니다. 대학원생이 많을 때는 자리가 부족한 경우도 있습니다. 그럴 때는 자리가 빌 때까지 기다려야 합니다. 연구실에 인턴으로 있다고 해서 대학원 진학 시에 우리 연구실에 오는 것을 보장하지 않습니다. 학부생 인턴과 대학원 진학은 별개 입니다.
내 수업을 들은 적이 있던가, 혹은 나와 같이 일을 한 경험이 있던가, 혹은 어떤 이유에서든 내가 알만한 이유가 있는 학생들의 추천서는 거절하지 않습니다. 다만, 추천서에는 내가 아는 내용만 씁니다. 수업을 통해서 보여준 능력, 나와 같이 한 일을 통해서 보여준 모습, 객관적인 자료를 통해 설명할 수 있는 내용은 충실히 적지만, 내가 알지 못하거나 확인할 수 없는 내용은 적지 않습니다. 추천서는 가능한 객관적인 시각에서 내가 아는 학생의 모습을 정확히 설명하려고 노력합니다.
우리 연구실에 지원하기 위해서는 어떤 준비를 해야 하나요?연구실 지원자와 정원은 매년 달라서 몇명이나 우리 연구실에 지원할지 몇명이나 뽑게 될지 미리 알기 어렵습니다. 일단 서울대학교 컴퓨터공학부 석사 혹은 석박사과정에 지원해서 필기시험과 면접시험을 통과하고 나면 개별 교수들과의 심층 면접 과정에서 저와 면담할 기회가 생길 것입니다. 그 이후에 연구실에 올 수 있을지에 대해 얘기할 수 있습니다. 박사과정으로 진학을 원하는 경우는 필히 입시 과정에 들어가기 전에 별도로 면담을 해야 합니다.
컴퓨터 관련 학과가 아닌 타전공 학생도 뽑나요?대학원에서 연구실을 선택하는 문제는 학생 개개인의 인생에서 적지 않은 시간을 투자하는 중요한 결정입니다. 마찮가지로 교수에게 있어서도 짧으면 2년, 길면 6~7년 정도의 긴 시간을 함께 할 사람을 뽑는 중요한 결정입니다. 면담 과정을 통해서 지원자가 어떤 능력을 갖추고 있는지, 앞으로 어떤 미래를 그리고 있는지, 어떤 열정을 가지고 있는지 신중히 판단하고 결정합니다. 다만, 모든 학생들은 제각기 다른 능력과 열정, 미래를 가지고 있기 때문에 우리가 원하는 인재상을 간단한 말로 표현하기는 어렵습니다.
연구실 지원자에게 어떤 능력을 기대합니까?뽑습니다. 이미 다양한 전공의 학생들이 연구실에서 공부하고 있습니다.
학부 수준의 컴퓨터공학 기본 지식을 갖추고 있기 바랍니다. 특히, 프로그래밍 능력은 반드시 필요합니다. 수학이나 물리학을 잘 하면 좋습니다. 수학이나 물리학에 능통하지 않더라도 최소한 흥미를 가지고 있고 피하지 않아야 합니다. 말하고, 글을 쓰는 능력도 필요합니다. 팀을 리드하는 리더쉽도 필요합니다. 쓰다보니 다재다능하기를 원하는데 실제로 대학원 입학 시점에 이 모든 능력을 갖춘 지원자는 찾아보기 어렵습니다. 아마도 일부 능력은 미리 갖추고 있고, 일부는 진학한 이후에 키우리라 생각합니다.
[Last update: September 2022]