[K-VIBE] 정광복의 K-자율주행 도전기…파운데이션 모델의 다음 단계
[※ 편집자 주 = 한국국제교류재단(KF)의 지난해 발표에 따르면 세계 한류 팬은 약 2억2천500만명에 육박한다고 합니다. 또한 시간과 공간의 제약을 초월해 지구 반대편과 동시에 소통하는 '디지털 실크로드' 시대도 열리고 있습니다. 바야흐로 '한류 4.0'의 시대입니다. 연합뉴스 동포·다문화부 K컬처팀은 독자 여러분께 새로운 시선으로 한국 문화를 바라보는 데 도움이 되고자 전문가 칼럼 시리즈를 준비했습니다. 시리즈는 주간으로 게재하며 K컬처팀 영문 한류 뉴스 사이트 K바이브에서도 영문으로 보실 수 있습니다.]
[자율주행기술개발혁신사업단 제공]
자율주행차 개발자가 가장 두려워하는 문장은 다음과 같다.
"그 상황은 실제 도로에서 테스트해 본 적이 없었습니다."
현실 도로에서 일어날 수 있는 모든 위험을 미리 경험해 보는 건 원칙적으로 불가능하다. 그래서 자율주행 기술의 진짜 승부처는 이제 도로가 아니라, 컴퓨터 안에 만든 가상 도시로 옮겨가고 있다. 그 중심에 서 있는 것이 바로 자율주행 파운데이션 모델이다. 지난 칼럼에 이어 파운데이션 모델 이야기를 이어가고자 한다.
요즘 업계에서는 이 거대한 모델을 따로 '자율주행 파운데이션 모델'(Autonomous Driving Foundation Model, ADFM)이라고 부른다. 말 그대로 자율주행차의 눈(인지)과 뇌(판단), 그리고 손발(제어)까지 한 번에 맡는 두뇌다.
과거처럼 '보고, 이해하고, 계획하고, 조향·가속·제동하는' 단계가 잘게 쪼개져 있던 구조와는 다르다. ADFM은 한 덩어리의 거대한 신경망이 카메라와 센서로 세상을 보고, 다음 순간을 예측하고, 그에 맞는 움직임을 고르는 방식으로 작동한다.
이 ADFM이 강해지는 비밀 무기는 시뮬레이터다. 실제 도로에서는 사고 난 상황, 아찔했던 장면을 반복해서 재현할 수 없지만, 가상환경에서는 같은 장면을 수천 번, 수만 번 변형하며 반복 학습할 수 있다.
웨이모의 'Orbit', 테슬라의 'SynthoGen', 화웨이의 'Scene Diffusion' 같은 시뮬레이션 엔진은 이제 '연습용 게임'이 아니다. 파운데이션 모델과 서로 학습을 주고받는 '쌍둥이 실험실'에 가깝다.
흥미로운 점은, 이 모델들이 사람이 미리 규칙을 일일이 입력해 주지 않아도 된다는 것이다. 이전에는 "이런 상황에서는 이렇게 피하라", "이때는 속도를 이렇게 줄여라" 같은 세부 규칙을 개발자가 설계했다.
이제는 모델이 실제 주행 데이터와 시뮬레이터 속 다양한 가상의 상황을 보면서, 스스로 '위험한 패턴'을 만들어내고 학습한다. 눈앞의 자전거가 어느 각도로 움직일 때 위험한지를 하나하나 가르치는 대신, 수많은 사례를 보여주면서 "이런 움직임은 조심해야 한다"라는 감각을 익히게 하는 셈이다.
지도 의존도도 줄어들고 있다. 자율주행은 한때 '고정밀 지도(HD Map) 없이는 불가능하다'는 인식이 강했다. 하지만 도심은 늘 바뀌고, 새 도로·공사·임시 차선은 지도 업데이트가 따라가지 못한다. 최근 ADFM은 카메라·라이다 등 센서가 보는 장면을 토대로, 모델 내부에서 간단한 형태의 'HD Map-lite'를 스스로 만들어낸다. 덕분에 완벽한 지도 없이도 주변 구조를 이해하고, 새 지역으로 진출할 때 초기 구축 비용을 크게 줄일 수 있다.
이 거대한 흐름을 가장 공격적으로 밀어붙이는 회사는 역시 테슬라다. 테슬라는 '완전자율주행 FSD'(Full Self-Driving)라는 모듈의 버전 12에 이어, 국제 학회에서 '완전자율주행을 위한 파운데이션 모델'(Foundational Model for FSD)을 공개하며 "우리는 이제 하나의 대형 모델로 모든 주행을 처리하겠다"고 선언했다.
테슬라 방식의 특징은 두 가지다.
첫째, 카메라만으로 세상을 이해하는 비전 중심 모델이라는 점이다. 라이다 없이도 카메라 영상과 딥러닝을 통해 3D 공간을 재구성하고, 전방·측면·후방에 달린 카메라들의 데이터를 하나의 통합 모델로 처리한다.
둘째, 100억km를 넘는 실제 운전 데이터와 사람 운전자의 피드백을 적극 활용한다는 점이다. 사람이 직접 운전한 기록을 보며, '이 상황에서 인간은 이렇게 대응했다'를 모델이 강화 학습하는 방식이다. 이렇게 학습된 모델은 위험을 미리 감지하고 부드럽게 피하는 방향으로 점점 진화한다.
웨이모는 조금 다른 길을 간다. 웨이모 차량은 360도 라이다, 카메라 등 다양한 센서를 십분 활용해 '월드 모델'(World Model)을 만든다. 이 모델은 주변 차량·보행자·신호등·차선의 3D 정보를 모두 받아, '신 트랜스포머'(Scene Transformer) 같은 구조로 인지와 예측을 동시에 수행한다.
웨이모의 힘은 Orbit라는 시뮬레이터다. 실제 도로에서 수집한 장면을 기반으로, '만약 저 차가 갑자기 내 차선으로 튀어나왔다면?', '만약 저 보행자가 뒤돌아 뛰기 시작했다면?'이라는 상황을 수없이 만들어낸다.
현실에서 일어나지 않은 사고를, 현실과 다름없는 데이터로 계속 경험하는 것이다. 모델은 이렇게 가상의 '위험 상황' 속에서 수련을 거듭하며, 드문 돌발 상황에도 대비할 힘을 기른다.
중국의 바이두 아폴로는 멀티모달 통합에 집중한다. 카메라와 라이다 데이터를 결합해 '새의 시점'(Bird's-Eye View, BEV) 형태의 360도 위에서 내려다본 장면을 만들고, 여기에 확산모델(Diffusion Model)을 적용해 복잡한 도로 상황을 정교하게 재현한다.
이를 기반으로 로보택시 서비스를 운영하며, 거대한 도시 데이터를 파운데이션 모델의 연료로 쓴다. 동시에 'Map-lite' 기술로 고정밀 지도 의존도를 낮추면서, 새로운 도시로의 서비스 확장을 빠르게 진행하고 있다.
화웨이는 한발 더 나아가 '차 안에서 완결되는 파운데이션 모델'을 지향한다. 자체 스마트 주행 시스템인 'MDC610/810' 같은 자율주행 전용 컴퓨팅 플랫폼에 '일반 주행 모델'(General Driving Model, GDM)을 올려, 차량 자체가 하나의 작은 데이터센터처럼 움직이게 한 것이다.
카메라와 4D 레이더 데이터를 통합한 'End-to-End' 모델이 차량 내부의 AI 칩에서 실시간으로 판단·예측·제어를 수행한다. 외부 클라우드에 의존하지 않기 때문에 통신 지연과 장애에 덜 민감하고, 상용화에도 유리하다.
여기에 영국의 웨이브(Wayve)와 미국의 자율주행 스타트업들, 유럽의 여러 연구팀까지 가세해 '자율주행 전용 파운데이션 모델'을 두고 경쟁 중이다. 어떤 곳은 비전만으로, 어떤 곳은 모든 센서를 섞어, 어떤 곳은 시뮬레이터 속 데이터를 더 많이, 또 어떤 곳은 기기 자체(On Device) 기반의 계산 능력을 더 강화하는 방향으로 가고 있다.
접근은 다르지만, 지향점은 비슷하다. 더 많은 데이터, 더 넓은 환경, 더 큰 모델, 그리고 더 통합된 구조를 지향한다.
이 지향점의 목표는 하나다. 사람처럼 자연스럽고, 사람보다 안전하게 운전하는 인공지능이다.
자율주행 파운데이션 모델이 바꿔가고 있는 것은 기술 구조만이 아니다.
먼저 지도 의존도가 낮아지면서 새로운 도시와 주변 국가로의 확장이 빨라진다. 그다음에 시뮬레이터와의 양방향 학습 덕분에 희귀 사고를 미리 대비할 수 있다. 무엇보다도 규칙 기반 시스템이 갖고 있던 '예외 처리의 지옥'에서 벗어나, 상황 전체를 보고 종합적으로 판단하는 인간형 의사결정에 한 걸음 가까워진다.
마지막으로 장기적으로는 자율주행차뿐 아니라 로봇, 드론, 물류 시스템 등 '움직이는 인공지능'(Physical AI) 전반을 떠받칠 공통 두뇌가 된다.
물론 과제도 남아 있다. 악천후, 복잡한 도심, 법·윤리·책임 문제, 인프라와 통신망, 데이터 편향과 해석 가능성 등 풀어야 할 숙제가 산더미다. 하지만 한 가지는 분명해지고 있다.
미래 자율주행의 승패는 개별 센서나 규칙의 싸움이 아니라, '얼마나 좋은 파운데이션 모델을 갖고 있느냐'의 싸움에 가까워지고 있다는 사실이다.
자율주행차를 둘러싼 논쟁은 종종 레벨4의 도입 시기에만 집중된다. 하지만 더 중요한 질문은 이 질문일 수도 있다.
"우리의 도시는, 도로는, 법과 제도는 이런 새로운 두뇌를 받아들일 준비가 되어 있는가."
파운데이션 모델은 자율주행 기술을 다음 단계로 끌어올리는 엔진이다. 그 엔진이 실제 도로 위에서 많은 사람의 삶을 바꾸는 장면을 보고 싶다면, 기술과 함께 제도·인프라·사회적 합의라는 또 다른 '모델'도 함께 학습시켜야 할 때다.
정광복 자율주행기술개발혁신사업단(KADIF) 단장
▲ 도시공학박사(연세대). ▲ 교통공학 전문가·스마트시티사업단 사무국장 역임. ▲ 연세대 강사·인천대 겸임교수 역임. ▲ 서울시 자율주행차시범운행지구 운영위원. ▲ 한국도로공사 고속도로자율주행 자문위원. ▲ 강릉 ITS 세계총회 조직위 위원.
<정리 : 이세영 기자>
seva@yna.co.kr