“자율주행을 시작합니다.”

평일 오후 10시 서울 강남구 매봉역 인근. 자율주행 택시 ‘서울자율차’에 올라타자 차량이 움직이기 시작했다. 운전석에는 자율주행 매니저가 앉아 있었지만 운전대에는 손을 대지 않았다. 운전대는 스스로 좌우로 움직였고 차량은 앞차와 거리를 맞추며 신호에 따라 속도를 줄였다.

기아 EV6를 기반으로 제작된 자율주행 택시는 일반 차량과 달리 외관 곳곳에 주변 도로를 살피는 센서와 카메라가 눈에 띄었다. 카카오모빌리티가 자체 개발한 모듈형 센서 플랫폼 ‘AV-키트(Kit)’로, 라이다 3대와 레이더 5대, 카메라 7대가 주변 차량과 보행자, 도로 환경 등을 인식한다.

뒷좌석에서는 자율주행차가 바라보는 도로를 시각화 장치인 ‘AVV(Autonomous Vehicle Visualizer)’ 화면으로 확인할 수 있었다. 차량과 보행자, 앞으로 이동할 경로가 실시간 3차원 그래픽으로 나타났다. 

이날 서울자율차 시승은 매봉역 일대에서 약 20~30분간 진행됐다. 좌·우회전부터 어린이보호구역, 터널, 차량 합류까지 도심 자율주행에서 마주할 수 있는 여러 환경을 지나는 코스였다.
 
주행을 이어가던 중 “어린이 보호구역입니다”라는 안내가 흘러나왔다. 동시에 뒷좌석 AVV에도 어린이보호구역에 진입했다는 사실이 표시됐다. 

카카오모빌리티는 지난 8월부터 서울자율차의 운행 범위를 어린이보호구역 등 교통약자 보호구역까지 확대했다. 보호구역에서는 제한속도의 80% 이하로 감속하고 급가속을 제한하도록 했다. 어린이보호구역의 제한속도가 시속 30㎞라면 최고 시속 24㎞로 운행하는 방식이다. 

카카오모빌리티 관계자는 “교통약자 보호구역은 제한 사항이 많은 만큼 안전을 최우선으로 시행하고 있다”고 말했다. 

시승 후반부에는 매봉터널로 들어섰다. 터널은 위성항법시스템(GPS) 신호를 안정적으로 받기 어려운 음영구역으로, 주변 환경을 파악하는 센서의 역할이 중요해진다. 이에 GPS 신호가 제한된 환경에서 센서를 활용한 인지·주행 성능을 확인할 수 있는 구간으로 꼽힌다. 

터널에 진입하는 과정에서는 옆 차로 차량이 합류하는 상황도 이어졌다. 서울자율차는 주변 차량의 움직임에 맞춰 속도와 위치를 조절한 뒤 터널로 진입했다. 차량이 적지 않았지만 자율주행 매니저가 운전대를 잡는 상황은 발생하지 않았다. 이후 터널 안에서도 자율주행을 이어갔다. 
 
매봉역 인근 버스정류장에 다다르자 도로 한쪽에 비상등을 켠 차량이 서 있었다. 그대로 멈춰 있을지, 갑자기 출발할지는 알 수 없었다. 조금 더 달리자 승하차를 위해 도로에 잠시 멈춘 차량도 눈에 띄었다. 불법 주정차 차량과 무단횡단 보행자도 강남 도로에서 자율주행차가 수시로 마주치는 변수다. 

카카오모빌리티가 강남에서 자율주행 데이터를 쌓는 이유도 여기에 있다. 자주 발생하지 않거나 움직임을 예측하기 어려운 ‘엣지케이스’를 실제 도로에서 최대한 많이 경험하고 학습하기 위해서다. 서울시와 카카오모빌리티 등 자율주행 사업자는 난도가 낮은 지역에서 1년간 주행하는 것보다 강남에서 한 달간 다양한 상황을 경험하는 것이 자율주행 모델 고도화에 더 유리하다고 보고 있다. 

카카오모빌리티는 지난 3월부터 강남에서 심야 자율주행 서비스를 운영하며 간선도로와 이면도로를 달려왔다. 지난 6월부터는 차량과 보행자가 더 많은 낮 시간에도 강남 전역을 돌며 데이터를 쌓고 있다. 

   
밤낮으로 마주친 도로 위 다양한 상황은 다시 자율주행 AI의 학습 데이터로 활용된다. 카카오모빌리티는 주행 데이터를 수집한 뒤 정제와 오토라벨링, 데이터 마이닝을 거쳐 모델을 재학습하는 데이터 파이프라인을 구축했다. 이 과정에서 학습 가치가 높은 엣지케이스를 선별해 AI에 다시 학습시킨다. 

현재 서울자율차에는 AI 플래너와 규칙 기반 플래너를 함께 사용하는 하이브리드 방식이 적용되고 있다. 실제 도로에서 확보한 데이터를 학습한 AI가 주행 상황을 판단하되 안전과 관련된 영역에서는 정해진 규칙도 함께 활용하도록 설계된 단계다. 

카카오모빌리티는 연내 인지·판단 영역에서 E2E(엔드 투 엔드) 모델의 비중을 높일 계획이다. AI가 주행 상황을 인지·판단해 주행 계획을 세우면, 규칙 기반 ‘안전 평가기’가 마지막 단계에서 이를 다시 검증하는 방식이다.

카카오모빌리티 관계자는 “지금도 AI 플래너가 일정 부분 판단하고 있지만 전체를 E2E가 담당하는 것은 아닌 단계”라며 “E2E 비중을 높여 AI가 판단하는 영역을 늘려갈 계획”이라고 말했다. 

카카오모빌리티는 운전자 개입이 필요 없는 레벨4 자율주행 서비스도 준비하고 있다. 현재는 승객이 운행 도중 목적지를 변경할 경우 자율주행을 중단하고 자율주행 매니저가 직접 대응하고 있다. 향후 무인 자율주행에 대비해 목적지 변경과 승하차 확인, 돌발 상황 대응 등 현재 사람이 맡고 있는 역할을 차량과 관제 시스템을 통해 처리할 수 있도록 관련 기술를 고도화하고 있다.