자율주행 자동차를 말할 때 빠지지 않고 등장하는 기술 중 하나가 딥러닝(deep learning)[1]이다. 이번 회차에선 딥러닝 기술이 자율주행 자동차에 어떻게 적용되는지, 그리고 자율주행 자동차와 딥러닝에 관해 어떤 논의가 이뤄지고 있는지 살펴보겠다.

딥러닝 기술, 핵심은 ‘데이터 반복 입력 통한 자가 학습’

운전자가 주행 도중 전방에 나타난 물체의 정체를 판단하는 일은 매우 중요하다. 그 물체가 차량인지 보행자인지 쓰레기 봉투인지에 따라 운전 방식을 바꿔야 하기 때문. 인간 두뇌가 정보를 분류하는 과정은 순서가 정해진 논리적 판단이라기보다 무의식 중 이뤄지는 습관적∙직관적 판단에 가깝다. 예를 들어 누군가가 “저 물체를 왜 차량으로 분류했느냐”고 물으면 대부분은 “(바퀴∙램프∙창문 등) 자동차를 구성하는 요소들이 적절히 갖춰져서”라고 설명하기보다 “그냥 머릿속에서 차(車)로 분류됐기 때문”이라고 답할 것이다. 그런 대답이 가능한 건 △대부분 어릴 때부터 수많은 자동차를 봐왔고 △그게 자동차란 사실을 교육 받았으며 △그런 경험을 통해 뇌 속에 자동차를 직관적으로 분류할 수 있는 신경 네트워크가 형성됐기 때문이다.

이처럼 인간이 경험을 거치며 스스로 학습하는 과정을 모방, 인공지능을 만들어내는 기술 분야가 바로 ‘머신러닝(machine learning)’이다. 지금껏 연구된 여러 머신러닝 기술 중 가장 주목 받는 건 인간 뇌를 형성하는 신경망을 모방해 학습하는 딥러닝이다.

딥러닝을 활용, 특정 기능을 인공지능으로 구현하려면 그 기능에 대한 논리나 규칙을 프로그래밍하기 보다 데이터를 반복적으로 입력하는 과정을 통해 컴퓨터가 필요한 기능을 스스로 학습해가도록 해야 한다. 즉, 딥러닝 기반 인공지능 구현에서 필요 기능에 대한 전문 지식보다 더 중요한 건 컴퓨터를 충분히 학습시킬 수 있는 데이터다. 오늘날 딥러닝이 신기술로 주목 받는 것도 데이터 제공∙처리에 필요한 여러 기술이 뒷받침됐기 때문이다. 클라우드를 기반으로 한 빅데이터 기술의 발전으로 학습에 사용할 수 있는 데이터의 양과 종류가 엄청나게 늘어났고, 딥러닝의 방대한 자료를 처리할 수 있는 컴퓨팅 플랫폼(computing platform)도 날로 발전하고 있다.

딥러닝은 데이터가 존재하는 분야라면 어디에든 적용할 수 있다. 오랫동안 ‘사진 속 물체를 분류하는’ 문제는 인간의 능력 밖 일로 치부돼왔다. 하지만 딥러닝의 등장으로 지금은 단순히 사진 속 물체 분류뿐 아니라 전체 사진이 어떤 내용인지 설명하는 문장까지 만들어낼 수 있다. 딥러닝의 등장으로 음성인식 분야의 성능 역시 기존 알고리즘에 비해 크게 향상됐다(스마트폰에 적용된 각종 음성인식 애플리케이션을 써보면 쉽게 확인할 수 있다). 그뿐 아니다. 딥러닝은 번역∙금융∙법률∙보험∙의료 등 학습 가능한 데이터가 존재하는 곳 어디서나 적용되고 있으며, 더 나아가 인간의 능력에 필적하는 성능을 발휘하고 있다. 자율주행 자동차도 마찬가지다. 자동차에 장착된 각종 센서에서 검출되는 데이터와 운전자(사람)의 운전 방식 데이터 덕에 딥러닝은 자율주행 자동차에도 다양하게 활용되고 있다.

사용자 기호∙감성까지 제어하는 자율주행차 탄생 ‘초읽기’

자율주행 자동차가 스스로 주행하려면 인지∙판단∙제어 등 세 가지 기능이 반드시 필요하다. 인지 기능은 카메라∙레이더∙라이다(LiDAR) 등 차체 내 센서 정보를 처리해 주변 환경 정보를 알아차리는 것, 판단 기능은 인지된 정보를 이용해 향후 벌어질 일을 예측한 후 가장 안전하고 빠른 차량 궤적을 생성하는 것, 제어 기능은 최종적으로 생성된 차량 궤적을 부드럽고 정확하게 따라갈 수 있도록 운전대∙액셀러레이터∙브레이크를 조작하는 것이다. 실제로 여러 곳에서 이 세 기능에 딥러닝 기술을 적용하는 연구가 활발하게 진행되고 있다. 지금껏 나온 여러 연구 결과만 봐도 딥러닝이 각각의 성능을 비약적으로 향상시킬 수 있단 사실을 알 수 있다.

특히 카메라를 이용한 주행 환경 인지 분야에서 딥러닝은 가장 중요한 기술로 자리 잡았다. 카메라를 통해 입력된 이미지에 딥러닝을 적용하면 자율주행 시스템에 필요한 정적(靜的) 환경 정보(차선∙운전가능도로∙교통표지판∙교통신호 등)와 동적(動的) 환경 요소(차량∙보행자∙이륜차 등)를 전부 검출, 분류할 수 있다. 그 성능도 기존 머신러닝 알고리즘보다 월등히 뛰어나다. 또한 기존엔 인식이 불가능하다고 여겨졌던 영역의 성능까지 점차 개선되고 있다. 앞으로 카메라의 이미지 정보뿐 아니라 레이더와 라이다(LiDAR)의 센서 정보, 그리고 차량 간 통신에서 오는 정보를 모두 딥러닝에 적용할 경우 인간의 인지 능력을 뛰어 넘는 자율주행 자동차의 인지 시스템을 구현할 수 있을 전망이다.

딥러닝은 차량의 궤적을 생성하는 판단 기능에도 사용될 수 있다. 미래의 움직임을 판단하고 결정하려면 다른 운전자의 움직임을 예측해야 한다. 하지만 다양한 운전 방식을 파악하고 이를 (정답이 딱 떨어지는) 수학 모델로 정의하긴 쉽지 않다. 다른 차량 운전자가 어떻게 운전할지 논리적으로 예측하는 건 불가능하기 때문이다. 이처럼 행동 방식을 논리적으로 파악하기 어려울 때 딥러닝은 매력적 솔루션이 된다. 다양한 운전 방식과 관련 센서 정보를 데이터로 입력한 후 이를 딥러닝 알고리즘으로 학습한다면 정확한 수학 모델 없이 데이터만으로도 다른 운전자의 운행을 예측할 수 있는 인공지능 구현이 가능하다. 이런 방식은 논리적으로 설명하기 어려운, 운전자들의 미묘한 운전 규칙도 포함할 수 있기 때문에 발전 가능성이 무궁무진하다.

차량 제어 분야에서도 딥러닝을 응용할 수 있다. 고도의 안정성이 요구되는 차량 제어 기능을 구현하려면 검증된 기존 기술을 사용하는 게 일반적이다. 하지만 탑승자의 승차감을 튜닝(tuning)하기 위한 제어 기능엔 딥러닝을 적용할 여지가 있다. 승차감은 개개인이 느끼는 감성적 요소인 만큼 ‘공학적 기준’을 만들어 적용하기엔 한계가 있다. 따라서 이 경우, 딥러닝 기술을 활용해 개개인의 운전 방식을 데이터화하면 인간 감성을 고려한 차량 제어가 가능해진다. 다시 말해 단순 자율주행 기능뿐 아니라 탑승자의 안색∙음성∙상태 등을 인식, 개별 탑승자에게 ‘맞춤형 편의 기술’을 제공하는 서비스에도 딥러닝이 적용될 수 있다.

운전 과정 통째로 익히는 ‘엔드투엔드’ 방식도 한계 뚜렷

앞서 살펴본 것처럼 자율주행 자동차의 기능은 인지∙판단∙제어로 분류된다. 하지만 이 모두는 사람이 설계한 범위 안에서 작동하기 때문에 설계 시점에서 예상치 못한 상황엔 적절히 대처할 수 없다. 따라서 이런 가정을 해볼 수 있다. 기능적 구분과 설계 없이 운전에 필요한 과정을 통째로 학습하는 딥러닝으로 자율주행 알고리즘을 구현하면 어떨까?

자율주행에 필요한 중간 기능 분류 없이 운전 과정 전체를 학습하는 방법을 ‘엔드투엔드(end-to-end)’ 자율주행이라고 한다. 엔드투엔드 자율주행 자동차는 운전에 필요한 센서 데이터를 직접 입력 받고 다양한 운행 상황에 대해 학습한 후 스티어링(steering)과 액셀러레이터, 브레이크 값을 직접 출력해낸다. 즉 딥러닝 알고리즘 안에서 인지∙판단∙제어 기능이 처음부터 끝까지 네트워크로 구현되는 것이다.

엔드투엔드 학습 방식엔 운전자(사람)의 운행 방식을 데이터로 수집, 이를 모방하는 학습 방식과 시뮬레이터를 이용해 가장 최적화된 운전 방식을 스스로 학습하는 강화학습 기반 방식이 있다. 엔드투엔드 방식을 자율주행 자동차에 적용하면 새로운 운행 환경과 관련해 추가 기능이 필요할 때 인지∙판단∙제어 알고리즘을 매번 재설계하거나 변경하지 않고, 새로운 상황에 대한 데이터를 추가해 학습함으로써 자율주행 시스템을 구현할 수 있다.

하지만 (인간이 아닌) 딥러닝이 자율주행 알고리즘을 만들어냈단 사실은 자칫 엔드투엔드 자율주행 실현의 발목을 잡을 수 있다. 딥러닝 네트워크는 수 백만 개의 뉴럴 네트워크가 학습을 통해 복합적으로 연결돼 있고, 그 결과가 출력되는 구조다. 하지만 이 네트워크를 차근차근 분석해 왜 그런 결과가 나왔는지 논리적으로 분석, 검증하는 건 매우 어렵다. 대다수의 운전자가 정확한 논리 구조와 절차에 의해 운전하는 게 아니라 머릿속 운전 신경 네트워크를 따라 습관적으로 운전하듯 엔드투엔드 방식도 설계된 논리적 절차가 아니라 학습으로 형성된 네트워크에 의해 운전하기 때문이다.

쉽게 말해 일반 자동차 운행에서 주어진 상황에 따라 운전자(사람)가 어떻게 운전할지 100% 예측하기 어려운 것처럼 엔드투엔드 방식을 적용한 자율주행 자동차 역시 어떻게 운전할지 100% 예측이 불가능하다. 이상 행동을 보일 때에도 논리적 분석을 통해 해결하긴 어려울 것이다. 이런 블랙박스 구조(architecture)는 안전과 직결된 기능에서 100% 검증이 불가능한 만큼 엔드투엔드 딥러닝을 기반으로 한 자율주행을 실현하려면 더 많은 연구가 필요하다.

데이터∙학습의 선순환, ‘보다 안전한’ 자율주행차 만들 것

자동차가 움직이려면 동력기관 연료가 있어야 한다. 마찬가지로 자율주행 자동차가 움직이려면 딥러닝 기술 구현에 활용될 데이터 구축이 필수다. 자동차는 도로를 주행하며 차량 안팎의 다양한 센서를 동원,  ‘빅데이터’를 형성할 테고 이 데이터는 클라우드 서비스로 공유된 후 자율주행 자동차의 딥러닝 알고리즘 학습에 쓰일 것이다. 빅데이터를 통합 딥러닝 학습은 한층 발전된 자율주행을 가능케 할 것이며, 자율주행으로 생성된 빅데이터는 다시 공유, 학습될 것이다. 이 같은 데이터와 학습의 선순환 구조가 자율주행 자동차를 더 안전하게, 자율주행 자동차가 누빌 도로를 더 원활하게 만들길 기대한다.

※이 칼럼은 해당 필진의 개인적 소견이며 삼성전자의 입장이나 전략을 담고 있지 않습니다

[1] ‘딥 뉴럴 네트워크(deep neural network)’라고도 한다

요즘 출시되는 자동차 내부엔 100개 이상의 마이크로컴퓨터가 장착됐다. 이들의 역할은 여러 부품이 원활하게 작동될 수 있도록 복잡한 연산을 수행하는 것. 이 과정에서 쓰이는 소프트웨어는 비행기 작동에 사용되는 것보다 복잡한 걸로 알려졌다. 그런데 인공지능이 인간과의 바둑 대국이나 퀴즈 대회에서 승리하고 의사를 대신해 진단까지 도맡는 이 시대에 자동차는 왜 아직 스스로 거리를 돌아다닐 수 없는 걸까? 어떤 기술적 난관 때문에 아직 ‘완전 자율주행’ 단계에 이르지 못한 걸까? 자동차 운전이 바둑이나 진료보다 어렵기 때문일까?

자동차 운전, 바둑이나 진료보다 어렵다?

만약 당신이 자동차로 출퇴근한다면 차에 타서 가장 먼저 할 일은 ‘제일 안 막힐 것 같은 길을 직관적으로 고르는 것’, 혹은 ‘내비게이션의 도움을 받아 목적지를 검색하는 것’일 테다. 일단 자동차를 출발시킨 후엔 목적지에 도착할 때까지 끊임없이 (눈으로) 주변 환경을 감시하고, (귀로) 다른 차량의 경적 소릴 들으며, (몸 전체로) 차량의 움직임과 노면(路面) 상태를 감지한다. 여러 신체 감각 기관에서 접수된 정보는 뇌에서 일괄적으로 처리돼 그 상황에 가장 적합한 운전 유형을 결정하며, 그와 동시에 운전자의 판단에 따라 차체를 움직일 수 있도록 손발을 통제해 운전대·액셀러레이터·브레이크 따위를 조작한다.

자율주행 자동차에도 똑같은 과정이 필요하다. 우선 경로계획 시스템은 디지털 지도상에서 운전자의 위치를 파악한 후 지도 위 도로 상황과 실시간 교통 정보를 활용, ‘운행 시간이 짧으면서도 연비는 좋은’ 길을 선택한다. 탑승자가 자율주행 시작 명령을 내리면 인지 시스템이 가동될 차례다. 인지 시스템은 자동차에 설치된 카메라와 레이더, 레이저 스캐너(LiDAR^[1]) 등의 센서를 사용해 차량 주변 환경 정보를 수집한다. 이 정보들은 기계가 이해할 수 있는 형태로 처리된다.

판단 시스템은 인지된 정보를 이용해 현재 차량(과 그 주변) 상황, 그리고 앞으로 벌어질 일 등을 예측한 후 가장 안전하고 빠른 차량 궤적을 생성한다. 마지막으로 제어 시스템은 판단 시스템 단계에서 제공된 차량 궤적을 부드럽고 정확하게 좇을 수 있도록 운전대와 액셀러레이터, 브레이크를 조작한다. 사실 사람에게 이런 절차는 ‘익숙해지면 누구나 할 수 있는’ 비교적 간단한 일로 여겨질 것이다. 하지만 자동차에 이 모든 과정이 원활하게 작동되도록 하는 시스템을 탑재하는 일은 쉽지 않다.

눈과 손발은 ‘이상무’… 관건은 똑똑한 뇌

사실 현재 도로를 주행 중인 차량에도 꽤 많은 운전 보조 시스템이 내장돼 있다. 대표적인 게 내비게이션 시스템이다. 내비게이션 시스템은 GPS^[2]나 IMU^[3]를 이용, 차량의 현재 위치를 디지털 지도상에서 파악한 후 목적지까지 가장 빠르고 정확하게 이르는 길을 찾아낸다. 이 과정에서 사용되는 게 바로 검색 알고리즘이다. 지도에서 차량이 갈 수 있는 모든 길을 찾아내고, 각각에 점수와 순위를 매겨 최적의 길을 검색하는 방식이다.

자율주행 자동차의 경로계획 시스템 역시 같은 종류의 알고리즘을 사용한다. 컴퓨터는 짧은 시간 내에 수많은 검색 조건을 기준으로 가능한 모든 길에 대해 점수를 매길 수 있으므로 이 분야에 관한 한 이론적으로 사람보다 낫다. 향후 차량 무선 네트워크나 인터넷을 연결하면 더 많은 정보에 접근할 수 있게 되는 만큼 그 단계에선 사람보다 훨씬 훌륭하게 최적의 길을 찾아낼 수 있을 것이다.

안전 운전 보조 장치로 ESC^[4]도 빼놓을 수 없다. 이 시스템은 운전대 각도 센서와 차량 움직임 센서를 활용, 운전자가 원하는 차량 움직임과 실제 차량 움직임을 지속적으로 측정한다. 운전자가 의도하는 움직임과 현재 차량 움직임 간에 큰 차이가 있다면 ESC는 눈 깜짝할 새 각 바퀴에 적절히 제동을 걸어 차량이 운전자 의도대로 안전하게 갈 수 있도록 돕는다.

(2017년 12월) 현재 법적 의무화가 진행 중인 AEB^[5]는 자동차에 달린 카메라나 레이더가 차량의 전방 상황을 분석, 물체와 충돌 위험이 크고 운전자 조작이 적절치 않았을 때 브레이크를 긴급히 작동해 피해를 경감시키는 장치다. 이 같은 시스템을 작동시키는 컴퓨터는 수 십 분의 1초 단위로 센서 정보를 분석하고 해당 알고리즘의 연산을 통해 빠르고 정확하게 운전에 개입한다. 고속으로 달리는 자동차에선 0.1초의 조작 오차가 큰 사고로 이어질 수 있기 때문이다.

요컨대 현재까지의 자동차는 정밀한 센서 기술과 정확한 알고리즘 연산 덕분에 ‘주어진 움직임을 따라가고 충돌에 반응하는’ 기능에 관한 한 인간보다 더 신뢰성 있는 성능을 제공한다. 인간이 미처 반응할 수 없는 긴급 상황에선 이미 시스템에 운전을 맡기고 있는 셈이다. 또 방대한 양의 지도 데이터와 실시간 교통 정보, 탑승자 취향 등을 반영해 최상의 길을 제공하는 부문에서도 시스템이 인간보다 한 수 위라고 할 수 있다. 하지만 이것만으로 차량을 스스로 움직이게 하긴 역부족이다. 성능 좋은 눈과 손발, 다량의 교통 정보가 있지만 그 모든 걸 처리하고 판단 내리는 두뇌가 완벽하지 않은 탓이다.

자율주행 발목 잡는 ‘예측 불가 도로 상황’

‘어려운 일은 쉽고 쉬운 일은 어렵다(Hard problems are easy and easy problems are hard).’ 모리벡의 역설(Moravec’s paradox)은 ‘컴퓨터가 복잡한 퍼즐이나 체커게임에서 어른 이상의 성능을 발휘하도록 하긴 쉽지만 한 살짜리 아이의 환경 인지와 신체 움직임을 재현하긴 어렵다’는 메시지를 담고 있다.

자율주행 자동차가 기술적으로 아직 실현되지 못한 이유 역시 이 역설로 설명될 수 있다. 주변 환경 인식이나 움직임 판단 같은 일은 인간 두뇌에서 무의식적으로 일어나기 때문에 아주 단순하고 쉬워 보이지만 정작 컴퓨터로 그 기능들을 구현하기란 결코 쉽지 않다. 예를 들어 사람은 운전 도중 큰 노력 없이도 엄청나게 많은 것들을 인지할 수 있다. 차선과 주변 차량, 갓돌(연석)·표지판·신호등·보행자·자전거 등 안전 운전에 필수적인 정보를 순식간에 파악할 수 있을 뿐 아니라 사이사이 풍경을 감상하거나 도로 주변 광고 간판을 읽는 것도 가능하다. 심지어 표정과 손짓으로 다른 차 운전자와 간단히 의사를 전달할 수도 있다. 하지만 고성능 센서가 장착된 자율주행 자동차는 운전에 필수적인 정보를 파악하기만도 벅차다. 컴퓨터가 센서에서 발생하는 다량의 데이터를 분석, 처리함으로써 유의미한 유형 정보를 실시간으로 찾아내야 하기 때문이다.

이 데이터를 기반으로 차량의 움직임을 결정, 판단하는 것도 자율주행 자동차의 몫이다. 운전 과정은 대부분 도로를 따라가며 움직이는 반복적 판단으로 이뤄지지만 갑작스럽게 발생하는 사건에 어떻게 대응할지 판단하는 상황도 끊임없이 발생하게 마련이다. 차 앞에 뛰어든 아이나 강아지, 공사 때문에 차선 없이 임시로 설치된 도로, 길 위에 널린 각종 쓰레기 등이 대표적 예. 이런 상황에서 운전자는 이성적 판단이 아니라 본능적 감각으로 대응한다. 하지만 컴퓨터는 미리 프로그래밍되지 않은 상황과 맞닥뜨렸을 때 본능적으로 판단하기가 불가능하다(이걸 가능케 하려면 무한에 가까운 상황을 전부 사전에 입력해줘야 한다).

이처럼 모호하고 예측 불가능한 도로 상황이야말로 자율주행 판단 시스템의 구현을 방해하는 최대 요소다. 따라서 이 같은 비(非)예측성만 없애거나 통제할 수 있다면 자동차에도 기차나 항공기처럼 곧바로 자율주행 기능을 적용할 수 있을 것이다. 실제로 오늘날 이런 한계를 극복하고 자율주행에 필요한 인지·판단 기능을 강화하기 위해 다양한 인공지능 기술이 연구, 적용되고 있다. 특히 딥러닝(과 강화학습)을 통한 인지 기술, 정밀 지도와 인터넷 연결을 통한 데이터 공유 등은 완전 자율주행을 견인할 원동력으로 주목 받는다(각 기술의 상세 내용은 다음 칼럼에서 보다 자세히 다룰 계획이다).

모두가 받아들이는 객관적 지표 만들어야

그렇다면 인류는 모든 상황을 100% 인지, 판단할 수 있는 자율주행 자동차가 나올 때까지 기다려야 할까? 만약 예측 불가능한 도로 상황에 100% 대응할 수 있는 사람에게만 운전할 자격을 줬다면 세상 누구도 운전면허를 취득하지 못했을 것이다. 이처럼 기술적·환경적 한계가 뚜렷한 상황에서 자율주행 자동차를 도입하려면 사용자와 생산자 모두가 받아들일 수 있는, 직관적이고 명확한 지표가 있어야 한다. 이를테면 자동차 엔진 출력은 마력으로, 충돌 안전성은 5스타로 각각 나타내듯 말이다.

현재 연구 단계에 있는 자율주행 자동차의 신뢰도는 시스템 감시자가 주행 거리별로 개입한 횟수에 따라 평가된다. 이와 비슷하게 주행 거리(혹은 시간)에 따른 고장이나 사고 횟수로 신뢰도와 성능을 가늠할 수 있다면 자율주행 자동차가 사람보다 얼마나 안전하고 효율적인지 정량적으로 측정하는 일도 불가능하지 않을 것이다. 소비자 역시 그 기준에 따라 자율주행 자동차를 선택할 테고, 생산자 입장에선 좀 더 높은 기준을 달성하기 위한 동기 부여가 될 테니 모두에게 유용한 기준이라고 생각된다.

※이 칼럼은 해당 필진의 개인적 소견이며 삼성전자의 입장이나 전략을 담고 있지 않습니다

^[1] Light Detection And Ranging. 빛을 활용해 거리를 측정하고 물체를 감지하는 기술
^[2] Global Positioning System. 인공위성 신호를 수신, 사용자 위치를 계산하는 위성항법 시스템
^[3] 관성 측정 장비(Inertial Measurement Unit). 센서에 기반해 이동 물체의 속도와 방향, 중력, 가속도를 측정하는 장치
^[4] 차체 자세 제어 장치(Electronic Stability Control)
^[5] 자동 긴급 제동 장치(Autonomous Emergengy Braking)