첫번째 논문은 “Interaction and Presentation Techniques for Shake Menus in Tangible Augmented Reality”입니다. 저자 Sean White는 아까도 나왔던 Columbia University의 CGUI Lab 출신입니다. 이번에 발표되는 기술은 식물 채집 가이드 시스템인 LeafView에 적용되었고, 2007년도에 발표했던 Visual Hints의 연장선상에 있는 듯 합니다.

http://www.youtube.com/watch?v=DE7AMVtDo9U

두번째 논문인 “Influence of Visual and Haptic Delays on Stiffness Perception in Augmented Reality”는 햅틱 AR 환경에서 시각적 촉각적 딜레이에 따라 사람이 느끼는 강성의 차이를 분석했다고 합니다만, 직접 써보지 않고서는 잘 모르겠네요^^;

마지막은 “A User Study towards Understanding Stereo Perception in Head-worn Augmented Reality Displays”입니다. AR 관련 사용성 평가에서 자주 볼 수 있는 Naval Research Laboratory 소속 Mark Livingston의 논문입니다.

두번째 날 마지막 세션은 Modeling입니다. 첫번째 논문인 “Online Environment Model Estimation for Augmented Reality”는 UCSB Four Eyes Lab에서 제출하였습니다. 제목만 보고는 파노라마 환경 맵을 만들어주던 Envisor의 후속인가 했었는데, 오히려 Ninja on a Plane을 확장했다고 볼 수 있는 내용이었습니다. SLAM으로 영상 속의 평면을 찾은 후 텍스쳐 정보까지 활용한다고 하네요.

두번째 논문인 “In Situ Image‐based Modeling”는 저자를 보니 아무래도 VideoTrace와 관련이 있을 것 같군요. 실시간 라이브로 돌리는 것일까요? 왠지 ProFORMA나 OutlinAR가 연상됩니다.

마지막 논문인 “Dynamic Seethroughs: Synthesizing Hidden Views of Moving Objects”는 제 3의 카메라를 이용하여 벽 뒤의 광경을 투시하는 방법을 설명합니다. 2004년도에 나왔던 츠쿠바 대학의 시스템과 유사해 보이는데, 움직이는 객체를 분리하여 시점을 보정해준다는 점이 특징인 것 같습니다. 자동차 부품 회사 DENSO에서 지원을 받아 귀여운 광고도 찍었네요.

마지막 날의 첫번째 세션은 Applications입니다. 이중에서 세번째 “Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret”는 다시 Columbia University입니다. 올해 많이 나오네요. 군용 기계 정비를 위한 ARMAR라는 시스템인데 아래에 동영상이 있습니다. 몇년 전에 나왔다가 최근 다시 인기를 끌었던 BMW의 AR 정비 컨셉과도 유사하죠?

http://www.youtube.com/watch?v=mn-zvymlSvk

대망의 마지막 세션은 Tracking입니다. 올해는 모바일 쪽과 별도로 구분되어 있죠. 첫번째 논문은 ISMAR의 단골 손님 TUM CAMPAR에서 나온 “A Dataset and Evaluation Methodology for Template-based Tracking Algorithms”입니다. 올해는 논문수가 예년에 비해 적은 것 같네요.

두번째는 역시 또다른 단골 TU Graz의 “Global Pose Estimation using Multi-Sensor Fusion for Outdoor Augmented Reality”입니다. GPS와 가속도 센서, 그리고 카메라를 모두 활용하여 추적 오차를 보정하는 방법을 설명합니다.

세션 마지막이자 학회 마지막은 올해 유일의 한국 논문인 “ESM-Blur: Handling and Rendering Blur in Object Tracking and Augmentation”입니다. 예전 연구실 선배이기도 한 박영민 박사과정은 작년에 이어 올해에도 ISMAR에 논문을 발표하는 쾌거를 이루었네요. 공동저자인 Vincent Lepetit은 BazAR로도 유명하죠. 카메라가 흔들릴 때 발생하는 블러를 인식하여 트래킹과 렌더링에 적용하는 내용을 담고 있습니다.

잠시 짬을 내서 급하게 찾아본 내용이라 틀린 부분도 있을 것 같습니다만, 다음 주에 ISMAR 참석하시는 분들이 많으니 더 좋은 이야기 들을 수 있으리라고 생각합니다. 다녀 오신 분들의 후기도 기대하고 있겠습니다:)

이중 논문 구두 발표는 총 8개의 세션으로 구성되어 있으며, 프로그램은 여기에 나와 있습니다. 그럼 올해에는 어떤 재미난 논문들이 나오는지 제목만으로 한번 훑어보겠습니다.

첫번째는 User Interfaces 세션입니다. 다른 곳은 잘 모르겠고 두번째의 “Interference Avoidance in Multi-User Hand-Held Augmented Reality”는 Goblin XNA를 만든 Ohan Oda의 논문입니다. 지도교수인 Steven Feiner는 작년에 한국을 방문하여 대학교 및 연구소 등을 대상으로 증강현실에 대한 특강을 하기도 하였죠. 제목은 다수 사용자의 간섭에 대한 것이라는데 정확히 감은 안 오네요. 영상 속에서 뭔가 가렸을 때의 문제를 말하는 것이려나요?

그 다음 세션은 Rendering입니다. 첫번째 논문인 “Animatronic Shader Lamps Avatars”는 Ramesh Raskar의 Shader Lamps를 화상회의 시스템에 적용하였습니다. 움직이는 가짜 사람 얼굴 모형에 실제 영상을 투영시키는 것이죠.

두번째 논문인 “Augmenting Aerial Earth Maps with Dynamic Information From Videos”는 이미 몇주전부터 굉장히 유명했죠. 구글 어스와 같은 항공 사진 지도 위에 CCTV 영상 등의 동적인 콘텐츠를 올려놓았습니다. Georgia Tech의 김기환님을 비롯한 한국 유학생들이 저자로 참여한 논문입니다.

http://www.youtube.com/watch?v=TPk88soc2qw

그 다음은 Tracking on Mobile Devices 세션입니다. 요즘 모바일 AR이 대세이기 때문에 가장 큰 관심이 쏟아지지 않을까 싶습니다. 이중에서 TU Graz의 “Multiple Target Detection and Tracking with Guaranteed Frame Rates on Mobile
Phones”와 “Towards Wide Area Localization on Mobile Phones”는 지난 글에서 소개해드린 적이 있고요. “Parallel Tracking and Mapping on a Camera Phone”도 역시 iPhone에서 PTAM을 돌린 영상으로 널리 알려져 있습니다.

“Shape Recognition and Pose Estimation for Mobile Augmented Reality”는 기존의 점 피쳐를 사용하는 정형화된 NFT와는 다르게 외곽선 피쳐를 사용하여 보다 유연한 인식과 추적을 보여주고 있습니다. 예를 들어 아래 영상에 나오는 것처럼 펜으로 대충 모양을 그린 다음 사용할 수도 있다는 것이죠.

http://www.youtube.com/watch?v=je8SihypYA4

그리고 이를 응용한 논문이 다음 날의 Paper AR 세션에 또 있습니다. “In‐Place 3D Sketching for Authoring and Augmenting Mechanical Systems”라는 제목으로, 종이에 스케치하는 모양대로 저작을 하고 증강이 되는 시스템입니다. 재미있죠? 게다가 이미 iPhone 3.0으로 포팅이 되어 있는 상태이고, 카메라 API까지 공개하겠다고 해서 큰 관심을 받고 있습니다.

http://www.youtube.com/watch?v=M4qZ0GLO5_A

이 세션의 두번째 논문은 “Augmenting Text Document by On‐Line Learning of Local Arrangement of Keypoints”인데, 왠지 ISMAR 2007에서 Ricoh가 전시하였던 HOTPAPER가 떠오르는군요.

마지막은 “Augmented Touch without Visual Obtrusion”이라는 논문입니다. PHANTOM Omni와 같은 햅틱 장치와 AR의 결합은 가상의 촉각과 시각을 함께 자극할 수 있다는 점에서 많은 연구가 이루어지는 분야인데요. 이러한 햅틱 장치가 워낙 무식하게 생겨서 눈에 거슬렸던 것도 사실입니다. 이것을 미리 준비한 배경의 영상에 기반한 렌더링으로 해결하자는 아이디어가 되겠습니다. 제가 AR을 처음 배우면서 만들어 보았던 마커 지우기가 떠오르네요^^;

자, 여기까지 세션 4개를 살펴보았구요. 너무 길어지는 것 같으니 나머지는 다음 글에서 이어가도록 하겠습니다.

http://www.youtube.com/watch?v=qvfEORp-fhU

그런데 이런 표준이 왜 중요한 것일까요? 쉽게 말하자면 Wikitude와 Layar가 서로의 콘텐츠를 볼 수 없는 문제를 해결하자는 것입니다. 마치 웹 초창기의 비표준 브라우저 난립에 빗대기도 하는데요. 실제로 AR 콘텐츠의 상호운용성과 이를 위한 표준화 작업은 많은 사람들이 관심을 가지고 있는 문제입니다. AR이 웹처럼 활성화되기 위한 5가지 장애물 중의 하나로 꼽히기도 하였죠.

국내 학계에서는 고려대학교의 김정현 교수님이 ISO JTC 1/SC 24에서 이와 관련된 표준화 작업을 진행하고 계시기도 합니다.

물론 이러한 일들이 한번에 이루어지지는 않을 것입니다. 비슷한 표준들인 X3D와 Collada 사이에서 고민하기도 하고, ARML에서 Layar처럼 3D 모델 지원을 할 수 있을지 걱정도 합니다. 현재의 GPS+나침반 시스템에서 영상 인식 기반으로의 확장을 기대할 수도 있겠지요.

httpvp://www.youtube.com/view_play_list?p=B7EE93BC8B43E263

Nintendo의 Wiimote가 선전한 이후 Microsoft의 Project Natal과 Sony의 새로운 콘트롤러 등이 좇아가는 흐름과도 일맥상통하죠. 저도 ZCam과 같은 새로운 인터페이스를 AR에 접목하는 것에 관심이 많았기에 이 광고를 보며 여러가지 상상을 하고는 했습니다. 그러고 보니 “Roku’s Reward”의 경우를 봐도 그렇고 HP가 이쪽 분야에 관심이 많았던 듯 한데 요즘엔 무엇을 하고 있으려나요.

Nokia Research에서 AR 관련 연구를 이끌고 있는 Kari Pulli는 모바일 폰에 적용할 수 있는 다양한 영상 처리 기법들을 소개하였습니다. 특히 최근 많은 고민을 하고 있는 영상 descriptor 생성과 matching에 대한 부분은 예전에 따로 세미나도 했던 내용이었지만, 역시 저자 직강을 들으니 더욱 흥미로웠습니다. 이외에 모바일 폰에서 여러 장의 사진으로 HDR 영상이나 파노라마를 만드는 방법에 대한 소개가 이어졌는데요. 기존에 PC에서 오프라인으로 하던 작업들이 모바일상에서 직접 가능하게 됨에 따라 재미있는 응용들이 많이 등장할 것 같습니다.

토론 시간에는 모바일 플랫폼에서 영상 처리를 위한 GPU의 활용에 대한 의견을 물어보았습니다. 마지막에 잠깐 보여준 슬라이드에서 fixed point 연산으로 hand optimized된 CPU 코드와 GPU 코드의 수행 속도에 큰 차이가 없다는 결과가 나왔고, 저도 지금 작업하고 있는 일에서 비슷한 고민을 하고 있었기 때문입니다. 답변은 요약하자면 현재의 모바일 플랫폼은 메모리 대역폭의 한계 등으로 실제 최적의 성능을 뽑아내기 어려운 상태인 것 같고 다음 세대 정도를 기다려봐야 할 것 같다는 이야기였습니다. 모바일용 OpenCL은 아직 공식적으로 예정된 내용이 없는데 Nokia 내부적으로는 OpenGL ES 2.0을 wrapping해서 테스트하고 있는 듯 하였습니다.

오스트리아 TU Graz의 Daniel Wagner는 ARToolKitPlus의 개발자로 잘 알려져 있으며 최근에는 모바일 폰에서 실시간으로 구동하는 NFT (natural feature tracking)를 선보이며 일약 스타가 되었습니다. 그래서 트래킹 쪽에 집중된 주제를 기대하였는데 정작 모바일 AR에 대한 개론이 대다수 내용을 차지하여 약간 김이 빠지긴 했습니다. 그래도 최근 진행중인 일에 대한 언급은 유용한 정보가 되었습니다. 여기서도 모바일 파노라마 연구를 하고 있다는 것을 보니 요즘 유행이라는 생각도 들었습니다. 토론 시간에는 NFT 알고리즘의 scalability에 대한 질문을 하였는데 역시 대량의 feature에 대한 matching은 쉽지 않다는 이야기와 함께 현재 연구를 계속 진행중이라는 정도의 답변이 돌아왔습니다.

이후 이어진 오후 세션에서는 독일 Münster University의 Antonio Krüger가 주로 프로젝션 AR의 사용성 문제에 대한 이야기를 하였습니다. 곁다리로 소개한 PhotoMap이 오히려 흥미로웠는데 안내판의 지도를 사진으로 찍어서 네비게이션에 직접 사용할 수 있는 시스템이었습니다. 자리를 옮기며 현재의 위치를 두번 찍어주면 되는 방식이 인상적이었지만, Wagner의 지적대로 사진을 정면에서 찍지 않으면 안 된다는 치명적인 단점이 있었습니다.

마지막으로 호주 University of South Australia의 Bruce Thomas가 자신의 Wearable Computing Lab에서 진행하고 있는 연구를 소개하였습니다. 이곳은 몇년 전 ARQuake로 유명해진 곳이기도 하죠. 프로젝터를 이용한 spatial AR을 디자인 프로세스에 적용하는 연구에 대한 소개도 있었는데, occlusion에 대한 질문을 던지기도 하였습니다.

지난 3년 동안 계속 참석하였던 ISUVR을 올해에는 가지 못하게 되었지만, 대신 이렇게라도 좋은 강연을 들을 수 있어서 다행이네요. 앞으로도 국내에서 이런 기회가 많아졌으면 하는 바람입니다.

Flash에서 마커 인식과 추적을 가능하게 해주는 FLARToolKit이라는 라이브러리가 있습니다. AR 분야에서는 이미 고전이 되어 버린 ARToolKit을 Java로 포팅한 NyARToolkit라는 것을 다시 ActionScript로 포팅한 것입니다. 비록 이제는 식상할 수 있는 마커 기반이지만 디자이너들에게 익숙한 Flash 기반으로 웹에서 바로 돌릴 수 있다는 장점때문에 많은 사람들의 관심을 받고 있는 프로젝트이기도 합니다. 얼마 전에는 FLARToolKit으로 만든 GE의 Smart Grid 데모가 Popular Science지의 표지에 실려 화제가 되기도 했었습니다.

문제는 그 다음에 일어났습니다. iPhone을 처음 jailbreak하여 유명해졌다는 Chris Hughes라는 사람은 바로 이 FLARToolKit과 Papervision 3D을 자신이 만든 프로젝트인 것처럼 TED에 발표해버린 것입니다.

며칠 전 동영상이 공개되자 많은 사람들의 분노를 샀고, 뒤늦은 해명에도 불구하고 불미스러운 마무리가 된 모양입니다.

이번 사건은 좀 극단적이긴 하였지만, 연구를 하거나 개발을 하면서 credit을 적절히 표현하지 못하는 문제는 의외로 많이 있다고 봐요. ARToolKit이 현재의 위상을 갖게 된 것은 오픈 소스라는 점이 크게 작용하였지만, 오히려 많은 사람들이 GPL의 강제성에 대해서는 깊이 고민하지 않는 것도 굳이 엮어볼 수 있는 하나의 사례가 될까요.