테슬라 FSD v14: 아무 이유 없이 갑자기 방향을 틀어 차를 도랑으로 몰아넣으려 했습니다.

테슬라의 완전 자율 주행 시스템(버전 14.3.6)이 제 차가 이미 지나친 고속도로 출구를 시속 110km(68mph)의 속도로 진입하려다 하마터면 차를 도랑으로 밀어 넣을 뻔했습니다.

나는 차를 제어할 준비가 되어 있었고 실제로 그렇게 했지만, 상황은 정말 끔찍했다. 조수석에 앉아 있던 내 친구는 공포에 질려 비명을 질렀다.

대시보드 카메라에 찍힌 내용

이 사건은 일요일 밤 퀘벡 주 모리시 지역의 55번 고속도로에서 발생했으며, 당시 차량에는 최신 하드웨어에 탑재된 테슬라의 최신 FSD 시스템인 v14.3.6 버전이 작동 중이었습니다.

차는 오른쪽 차선에서 시속 110km로 주행 중이었다. 노면은 건조했고, 양방향 모두 차량 통행이 없었으며, 도로 표시는 최신식으로 선명했고, 머리 위 표지판은 반사 재질이었다. FSD 시스템을 작동시키기에 완벽한 조건이었다. 217번 출구의 고가도로 아래를 지나자 우측 방향지시등이 켜졌고, 차는 도로 갓길 쪽으로 방향을 틀기 시작했다. 화면에는 여전히 "자율 주행"이라는 메시지가 표시되어 있었다.

문제는 우리 뒤쪽 경사면이 이미 갈라지기 시작했다는 것이었다. 그 속도로 급커브를 돌았다면 그대로 구덩이 속으로 빠져들었을 것이다.

차량이 기동을 하는 동안 속도계는 110, 109, 107, 104로 떨어졌다. 그 순간, 나는 핸들을 꽉 움켜쥐었다. 102km/h에서 "자율주행"이라는 글자가 화면에서 사라졌다.

차체가 트랙에서 불안정하게 흔들리거나 순간적인 망설임이 아니었습니다. 차가 갑자기 방향지시등을 켜고 들어가면 안 되는 출구로 빠져나간 것입니다.

이는 FSD 시스템에 이상적인 조건이었다.

테슬라를 위한 가장 단순한 시나리오를 설계한다면 바로 이것일 겁니다.

분리된 고속도로. 야간에도 마주 오는 차량의 전조등과 차선 반사판을 쉽게 구분할 수 있음. 교통량이 없어 분석이 필요 없음. 차선 표시가 명확함. 크고 밝은 표지판.

버전 14에서 제가 본 모든 것을 바탕으로 판단했을 때, 야간 고속도로 주행이나 한적한 도로 주행은 이 시스템의 최고의 장점입니다 . 저는 이런 방식으로 수천 킬로미터를 주행하면서 아무런 설정도 건드릴 필요가 없었습니다. 그래서 저는 이 시스템에 대해 매우 자신 있습니다. 하지만 바로 그 자신감이 함정입니다.

저는 지난 6월에 이 특정 위험에 대해 글을 썼습니다.

두 달 반 전에 저는 FSD v14 시스템이 너무 훌륭해서 위험할 정도로 과신하게 된다는 내용의 기사를 썼습니다. 당시 저는 " 거의 완벽하게 작동하는 시스템은 함정을 만든다. 운전자들은 시스템을 충분히 신뢰하여 주의를 기울이지 않게 되지만, 여전히 예기치 않게, 때로는 치명적인 오류를 일으킬 수 있다"라고 썼습니다.

저는 제가 했던 모든 말을 고수하며, 일요일 밤이 그것을 증명했습니다. 중요한 개입 사이에 수천 마일을 이동하는 것은 정말 놀라운 공학적 성과입니다. 하지만 그 간격은 또한 당신의 뇌가 스캔을 멈추고 주의를 기울이도록 훈련시켜, 테슬라를 구매하기 전에 다시 한번 생각하게 만드는 시간이기도 합니다.

테슬라의 v14.3.6 릴리스 노트에 따르면, 회사는 "FSD 시스템의 신경망을 훈련하기 위해 강화 학습(RL) 단계를 개발"했고, MLIR을 사용하여 AI 해석기를 재작성하여 "응답 시간을 20% 단축"했으며, 시스템 성능 저하에 대한 차량의 반응을 개선하여 "불필요한 운전자 개입 중단 사례를 줄였다"고 밝혔습니다. 운전자 개입 중단 사례는 소프트웨어 개선으로 줄어들기도 하지만, 운전자가 개입을 멈출 때도 줄어듭니다. 테슬라는 외부인이 이 두 가지 요인을 구분할 수 있도록 하는 정보를 공개하지 않습니다.

공개된 수치는 그다지 안심할 만한 수준이 아닙니다. 테슬라는 한 달 동안 오토파일럿과 FSD 관련 사고를 207건이나 보고했는데, 이는 역대 최고 기록입니다. 게다가 2019년 이후 보고된 3,763건의 운전자 보조 시스템 사고 중 99.9%는 사고 경위가 공개되지 않았습니다. 머스크는 투자자들에게 올해 말까지 미국에서 무인 FSD가 광범위하게 도입될 것이라고 계속해서 주장하고 있으며, 웨이모의 공동 CEO는 카메라 기반 자율주행이 진정한 자율주행 시스템에 필요한 요건을 충족하지 못하는 이유를 계속해서 설명하고 있습니다.

DzTecnium 의견

실제로 일어날 뻔했던 한 사건은 단순한 이야기일 뿐 데이터는 아니지만, 경계를 늦추지 말아야 할 필요성을 일깨워주는 중요한 사례라고 생각합니다.

앞서 여러 차례 언급했듯이, 테슬라의 FSD v14 시스템은 정말 인상적인 제품입니다. 하지만 FSD가 애초에 홍보했던 목표, 즉 완전한 자율 주행에는 한참 못 미칩니다. 아직 그 수준에는 한참 못 미치며, 앞으로도 도달하지 못할 수도 있습니다. 이는 앞으로도 계속 문제로 남을 것이며, 어쩌면 테슬라 역사상 최악의 실수가 될지도 모릅니다.

하지만 그런 점은 잠시 접어두고 FSD를 출발점에서 목적지까지의 운전자 보조 시스템으로만 본다면, 정말 놀라운 시스템입니다.

하지만 이러한 눈부신 모습은 안일함(무관심)을 낳습니다. 특히 일론 머스크 CEO가 "이제는 휴대폰을 사용하면서도 화면을 볼 수 있습니다."라고 발언하는 등 테슬라의 행보는 이러한 무관심을 더욱 부추깁니다.

이건 명백히 무모한 행동입니다. 시스템이 개선됨에 따라 테슬라는 운전자들이 이러한 방심의 문제를 인지하도록 설득하는 데 더 능숙해져야 하며, 그 반대가 되어서는 안 됩니다.