테슬라(TLSA US)_삼성증권 레포트 해설과 End-to-End, 모듈러 방식 이해

관세에 대한 잡음이 테슬라에도 영향을 미치고 있다는 내용입니다. 머스크가 트럼프 정권의 핵심인물로 부상하면서 테슬라가 정권 수혜주로 부각됐으나, 유럽과 북미에서 관세 보복 우려, 중국에서의 판매 부진 우려로 오히려 피해주로 전락하고 있다는 내용입니다. 실제로 1월 판매량 데이터를 보면 유럽 -45%, 미국 -13%, 중국 -15% yoy 로 부진했습니다.

이 부분에서는 다소 어려운 개념들이 나와서 이 부분에 대한 스터디를 해보고자 합니다. Park to Park나 End-to-End, 모듈러 방식은 자율 주행을 공부하지 않은 사람들에게는 생소한 개념이지만, 꼭 알고 넘어야 할 부분이기 때문에 이해를 하고 넘어가야 겠습니다.

Park to Park:

출발 지점에서 주차되어 있는 상태에서 시작해, 목적지에 도착해서 다시 주차하는 과정 전체를 자율 주행으로 수행할 수 있다는 의미입니다.

구체적으로는:
1. 출발시 주차해둔 상태에서 차량이 스스로 빠져나옴
- 운전자가 주차장에서 차량을 빼지 않고, 차량이 ‘언파킹(Unparking)’ 과정을 알아서 수행

2. 도중의 주행(시내, 고속도로, 골목길 등)을 자율적으로 처리
- 차선 변경, 신호등 인식, 교차로 통과 등 복합 도로 환경에서 자율주행 기능을 사용

3. 목적지 주차장 진입 후 자동으로 주차(Park) 완수
- 최종 목적지 주차장에 도착하면 차량이 스스로 적절한 주차 위치를 찾고 주차까지 완료

End-to-End vs. 모듈러:

현대 자율주행 기술 개발에는 End-to-End 딥러닝 방식과 모듈러 아케텍처 방식이라는 두 가지 뚜렷한 접근법이 공존합니다.

End-to-End 자율주행 방식

- 개념: 카메라, LiDAR 등의 원시 센서 입력을 직접 통합해 하나의 거대한 신경망으로 차량 제어 명령을 출력하는 접근입니다. 다시 말해 시각 센서 등으로부터 곧바로 조향·가속·감속 같은 제어 신호를 신경망이 생성하며, 주행 파이프라인 전체가 하나의 통합된 합습 모델로 이루어집니다. 인간이 운전 학습을 하듯이, 주행에 필요한 모든 판단을 단일 AI 모델이 데이터로부터 습득하도록 설계된 것입니다.

- 장점: 방대한 주행 데이터를 활용해 전체 시스템을 하나의 최적화 문제로 다룰 수 있으므로 모듈식 접근의 복잡도와 오류 누적 문제를 피하고, 파이프라인 구조를 단순화할 수 있습니다. 감지부터 제어까지 공동으로 학습되기 때문에 각 부분을 개별적으로 개발하는 경우보다 기능 간 시너지가 높고, 충분한 데이터를 확보하면 드문 상황(예: 신호를 무시하고 질주하는 구급차 회피 등)에도 적응력이 뛰어난 운전 대응을 보여줄 가능성이 있습니다. 실제로 End-to-End 모델은 훈련 데이터에 기반해 최적의 특징 표현을 스스로 학습하므로, 인간이 일일이 규칙을 설계하기 어려운 복잡한 도로 상황의 장기 패턴까지 포착하여 대응할 수 있다는 기대를 받고 있습니다.

- 단점: 내부 동작이 “블랙박스”처럼 묻혀 있기 때문에 해석 가능성이 떨어지고, 오동작 시 원인을 추적하거나 디버깅하기 어려운 것이 큰 단점입니다. 각 모듈의 출력이 명시적으로 분리되어 있지 않기 때문에 안전 검증과 책임 설명성 측면의 어려움이 있으며, 모델이 어떤 근거로 판단을 내렸는지 이해하기 어렵습니다. 또한 훈련 데이터 분포에 성능이 좌우되는 경향이 커서 학습하지 못한 상황에서는 예측이 불확실해질 수 있고, 명시적 규칙 기반 시스템보다 형식적 안전 보장을 제공하기 어렵습니다. 이러한 이유로 End-to-End 방식은 예기치 못한 실패 사례에 대한 두려움과 규제 승인 문제 등을 극복해야 하는 과제가 남아 있습니다.

- 주요 사례: 최근 테슬라의 FSD(Full Self-Driving) Beta v12는 카메라 비전부터 차량 제어까지 거의 전 과정을 신경망으로 구현한 End-to-End 자율주행 시스템의 대표적인 사례입니다. 테슬라 FSD v12에서는 경로계획과 제어까지도 뉴럴넷이 맡도록 전환하여, 사람이 코딩한 규칙이나 알고리즘을 최소화하고 데이터 주도 학습에 의존하고 있습니다. 그 결과 주행이 이전보다 더 부드럽고 자연스러워졌다는 평가가 있으며, 테슬라 측은 End-to-End 전환으로 주행 안전성이 향상될 수 있다고 주장합니다. 이 밖에도 Comma.ai의 오픈파일럿(OpenPilot)이나 영국 스타트업 Wayve처럼 차량 센서부터 제어까지 완전 딥러닝으로 구현하는 End-to-End 자율주행을 지향하는 사례들이 존재합니다.

모듈러 자율주행 방식

- 개념: 모듈러(Modular) 방식은 자율주행 소프트웨어를 인지(Perception), 정위치(Localization), 경로 계획(Planning), 제어(Control) 등 여러 단계의 모듈로 분할하여 각각의 기능을 독립적으로 구현하는 전통적인 접근입니다. 예를 들어, 센서 입력은 우선 객체 인식이나 주행 환경 파악을 위한 감지 모듈로 전달되고, 그 결과를 바탕으로 주변 차량 및 보행자 예측 모듈, 자차 경로 계획 모듈을 거쳐 최종적으로 제어 명령을 산출합니다. 각 모듈은 맡은 기능에 특화된 알로리즘이나 신경망으로 이루어지며, 이들의 출력이 순차적으로 연결되어 전체 주행을 구성합니다.

- 장점: 각 구성 요소를 개별적으로 최적화하고 검증할 수 있기 때문에 시스템의 투명성과 신뢰성이 높다는 점이 큰 장점입니다. 감지, 계획 등의 모듈별로 성능을 측정하고 개선할 수 있어 문제 발생 시 어느 부분에서 오류가 났는지 추적하기 쉽고, 해당 모듈만 개선하거나 재훈련하면 됩니다. 이는 디버깅을 용이하게 하고, 안전에 문제가 생겼을 때 원인 규명과 대응이 수월하므로 규제 당국 입장에서도 신뢰하기 쉬운 구조입니다. 또한 모듈별로 최신 기술을 선택적으로 통합할 수 있어, 예컨대 감지에는 최첨단 딥러닝을 쓰고 제어에는 검증된 전통 제어이론을 적용하는 식으로 시스템을 구성할 수 있습니다. 오랫동안 로보틱스 분야에서 축적된 알고리즘들을 활용하기에도 용이하여 초기 개발 단계에서 구현과 테스트가 수월한 점도 장점으로 꼽을 수 있습니다.

- 단점: 시스템이 복잡해진다는 것입니다. 완전 자율 주행은 원래도 복잡한 문제인데, 이를 나눈 모듈들이 많아질수록 전체 파이프라인의 복잡성이 가중되고 모듈 간 인터페이스 설계와 통합이 어려워집니다. 모듈별로 따로 최적화되다 보니 하위 모듈의 에러가 상위 모듈로 전파되는 오류 누적(error propagation) 문제도 존재합니다. 예를 들어 감지 모듈이 보행자를 잘못 인식하면 그 오차가 그대로 경로 계획에 악영향을 주는 식으로, 모듈 하나의 성능 저하가 전체 성능 저하로 이어질 수 있습니다. 또한 하나의 모듈을 개선하거나 업데이트할 때 다른 모듈들과의 호환성을 모두 재검증해야 하므로, 새로운 아이디어나 기법을 전체 시스템에 적용하는 데 시간이 오래 걸릴 수 있습니다. 실제로 모듈식 아키텍처를 사용하는 시스템에서는 한 모듈을 조정하면 다른 모듈들도 함께 튜닝해야 하며, 이로 인해 개발 및 유지보수 비용이 증가하는 경향이 있습니다.

- 주요 사례: Waymo나 GM의 Cruise처럼 자율주행 차량을 실제 도로에 투입한 전통 기업들은 대부분 모듈러 접근법을 채택해왔습니다. 예를 들어 Waymo는 고정밀 지도(HD map)와 라이더(LiDAR)를 활용하는 철저한 인지 시스템, 그리고 규칙 기반+머신러닝을 접목한 계획/제어 모듈을 조합하여 일직이 로보택시 서비스를 상용화했습니다. 이러한 모듈식 구조 덕분에 세부 요소별로 안정석와 안전성을 입증하여 규제기관으로부터 신뢰를 얻는 투명한 운영이 가능했는데, 실제로 미국 애리조나주 피닉스 등지에서 수만 건의 완전 무인 자율주행 승차 서비스를 안전하게 제공하고 있습니다. Cruise 역시 샌프란시스코 등지에서 모듈러 자율주행 시스템 기반의 무인 택시 서비스를 펼치고 있으며, 사고 발생 시 각 모듈 로그를 분석해 문제를 개선하는 식으로 개발을 반복하고 있습니다. 이러한 기업들은 한동안 모듈러 구조를 고수하며 상당한 성과를 거두었지만, 최근 들어 일부 업체들은 End-to-End 딥러닝을 부분적으로 도입하려는 움직임도 보이고 있습니다.

두 방식의 비교 분석

- 학습 및 훈련 방법: 모듈러 방식에서는 각 모듈을 개별적으로 데이터에 맞춰 훈련하며, 모듈마다 고유한 학습 목표를 가집니다. 예를 들어 감지 모듈은 물체 인식 정확도를 높이기 위한 객체 검출 학습(mAP 향상)을 하고, 경로 계획 모듈은 주행 안전성과 승차감을 높이는 방향으로 별도 설계·최적화됩니다. 이처럼 목표가 분산되다 보니 시스템 전체 성능이 각 모듈학습의 조합으로 간접 달성되며, 경우에 따라 모듈간 목표 충돌이 생길 수 있습니다. 반대로 End-to-End 방식에서는 전체 시스템이 하나의 네트워크로 연결돼 있으므로 단일한 학습 목표(예: 주행 결과의 성공률 혹은 주행자의 조작 모방)를 정의하여 End-to-End 모델을 훈련합니다. 이를 통해 최종 주행 성능을 직접적으로 최적화할 수 있지만, 한편으로는 이러한 학습을 안정적으로 수행하기 위한 데이터량과 계산량이 방대하며, 학습 과정에서 보상 함수 설계나 모델 수렴 등의 난이도가 높습니다. 현재 End-to-End 자율주행 학습에는 주로 인간 운전 데이터를 모방하는 지도학습(IL)과 시뮬레이션을 활용한 강화학습(RL) 또는 두 접근의 혼합 기법이 활용되고 있습니다. 반면 모듈러 방식의 각 구성 요소는 전통적인 컴퓨터 비전/로보틱스 기법과 딥러닝을 적절히 병용하여 모듈별로 가장 효과적인 방법으로 학습됩니다. 요약하면, 모듈러는 모듈 내 최적화 + 모듈 간 통합, End-to-End는 단일 네트워크 전체 최적화로 학습 절차가 크게 다릅니다.

- 실제 적용 사례 및 성과 비교: 현재까지 모듈러 접근의 대표 격인 Waymo와 Cruise는 제한된 도시 지역에서 레벨4 자율주행(운전자 업는 완전 주행)을 상용서비스로 구현해냈습니다. 수백만 마일 이상의 주행 테스트를 거쳐 이들 시스템은 큰 사고 없이 안정적으로 운행되고 있으며, 이는 모듈러 구조의 안정성과 안전성 입증으로 이어졌습니다. 다만 이러한 서비스는 지정된 도시와 구역(Geo-fenced) 내에서, 정교하게 제작된 HD 지도와 정형화된 도로 환경을 전제로 운영되는 경향이 있습니다. End-to-End 접근을 택한 Tesla FSD는 전 세계 다양한 도로 환경에서 수십만 대의 차량에 탑재되어 운용되고 있으며, 지도 의존도가 낮고 다양한 상황에 대응한다는 장점을 보입니다. 하지만 현재까지 운전자의 지속적 모니터링이 필요한 Level 2~3단계에 머물러 있어(주행 중 사람의 개입 가능성 존재), 완전 자율주행 달성에는 이르지 못한 상태입니다. 그럼에도 불구하고 Tesla의 End-to-End FSD 시스템은 소프트웨어 업데이트를 통한 비약적인 성능 향상을 반복적으로 보여주고 있습니다. 특히 ‘23~’24년에 출시된 FSD v12.x 버전들은 이전 세대 대비 획기적으로 향상된 주행 능력을 선보였다는 평가를 받았고, 이를 통해 End-to-End 학습 접근의 가능성을 입증하고 있습니다. 한편 Waymo도 최근들어 자사 모듈러 파이프라인에 딥러닝 기반 End-to-End 요소를 부분 도입하는 연구를 발표하는 등, 전통적 강자들도 End-to-End 방식의 잠재력을 주목하고 있습니다. 요약하면, 모듈러 방식은 이미 일부 지역에서 완전 무인 주행의 안정성을 검증하였고 체계적인 검증 프로세스를 갖췄다는 강점이 있지만, End-to-End 방식의 잠재력을 주목하고 있습니다.

미래 전망: End-to-End 대세화와 모듈러 방식의 역할

End-to-End로의 전환 가능성: 대규모 데이터와 강력한 딥러닝 모델의 발전으로 업계 전반에 End-to-End 자율 주행에 대한 관심과 선회가 확산되고 있습니다. 테슬라의 성과에 자극 받아 중국의 바이두, 샤오미, 화웨이 등의 기업들도 조직을 개편하여 End-to-End 전략을 가속화하고 있으며, 모듈러 방식을 고수하던 Waymo조차 최신 연구에서 End-to-End 학습 기법을 부분적으로 통합하는 방향을 모색하고 있습니다. 향후 자율주행 소프트웨어의 주류 패러다임이 End-to-End로 점차 이동할 가능성이 높으며, 특히 복잡한 도심 시나리오 등에서는 End-to-End로 점차 이동할 가능성이 높으며, 특히 복잡한 도심 시나리오 등에서는 End-to-End의 데이터 주도 적응력이 돌파구를 제공할 것이라는 전망이 나옵니다. 또한 거대 사전학습 모델, 강화학습 등을 접목한 종합적인 End-to-End AI 운전자가 인간 수준 또는 그 이상의 운전 능력을 갖출 것이라는 기대도 있습니다.

모듈러 방식의 지속적인 필요성: 그러나 모듈러 아키텍처의 가치가 완전히 사라지지는 않을 것이라는 견해도 많습니다. 자율주행은 안전이 최우선인 분야이므로, 신뢰성과 해석가능성을 확보하기 위해 일부 모듈 구조나 중간 산출물을 남겨두는 혼합형 접근이 현실적으로 필요할 수 있습니다. 실제로 Modular End-to-End로 불리는 프레임워크가 제안되어, 해석이 용이한 중간 모듈(예: 객체 인식이나 BEV 세그멘테이션)을 두면서도 최종 계획 성능을 높이기 위해 End-to-End로 공동 최적화하는 연구가 이루어지고 있습니다. Tesla나 Wayve 등도 일부 모듈 출력을 내부에서 활용하면서 전체를 통합 학습하는 비슷한 아이디어를 적용하고 있다고 알려져 있습니다. 또한 법규 준수나 예외 상황에 대한 안전 보장을 위해 최종 제어 신호를 검증하는 별도의 모듈(안전 필터)을 두는 방안 등도 논의됩니다. 요컨데 End-to-End 학습으로의 큰 흐름 속에서도, 모듈러 접근의 강점인 투명성과 검증 용이성을 살리는 방식으로 진화할 가능성이 있습니다. 완전 End-to-End AI 운전자가 인간과 동등한 신뢰를 얻기 위해서는 왜 그런 판단을 했는지 설명할 수 있어야 한다는 지적이 있으며, 이를 만족하기 위해 해석 가능한 중간 표현을 병렬로 학습시키거나 사고 시 책임소재를 규명할 수 있는 아키텍처에 대한 수요는 계속될 것입니다. 결국 미래에는 End-to-End의 데이터 주도 학습 능력과 모듈러의 안전성·투명성 확보가 절충된 자율주행 기술이 발전하고, 적용되는 환경이나 요구사항에 따라 두 접근법의 요소를 상황별로 조합하는 방향으로 나아갈 것으로 전망됩니다.

자율주행 기능이 완성도에 도달하거나, 로보택시 등 구체적인 서비스가 시작되면, 테슬라는 이연 매출을 정식 매출로 전환하면서 수익을 크게 늘릴 수 있습니다. 6월에 텍사스 오스틴에서 로보택시 서비스 시작이 수익성 개선의 시그널로 인식 될 수 있다는 걸로 볼 수 있겠습니다.