← 프로젝트

BARO — 자율주행 택시 호출 · 관제 플랫폼

  • 2026.04 – 06
  • 5인 팀 · BE / DevOps
  • AWS ECS · Terraform
  • MQTT · Kafka
  • OpenStack · K3s

개요

자율주행 택시가 실제로 도로를 달리려면, 차량 수백 대의 위치를 끊김 없이 받아 가장 가까운 빈 차를 배차하고, 운행이 끝난 차는 다시 수요가 많은 곳으로 보내야 합니다. BARO는 이 과정을 호출 → 배차 → 이동 → 재배치까지 한 흐름으로 묶은 무인 택시 호출 · 관제 플랫폼입니다.

실제 차량 대신 Python 시뮬레이터가 서울 택시승차대 254곳에서 출발하는 차량 1,500대를 띄웁니다. 서비스는 AWS(ECS Fargate와 자체 운영 Kafka · Mosquitto)에서, 분석 · 관측 · 장기 저장은 온프레미스 OpenStack 위의 K3s에서 돌립니다. 두 환경은 Site-to-Site VPN으로 연결했습니다.

현대오토에버 모빌리티 SW스쿨 3기 클라우드 최종 프로젝트로, 5명이 2026년 4월부터 6월까지 만들었습니다. 저는 백엔드와 DevOps를 맡았습니다.

아키텍처

스크롤을 내리면 설명을 따라 다이어그램이 움직입니다. 노드를 가리키거나 선택하면 사양이 보입니다.

한눈에 보기

BARO는 승객 앱 · 차량, 서비스가 도는 AWS, 분석 · 관측을 맡은 온프레미스(OpenStack K3s)로 나뉩니다. AWS와 온프레미스는 Site-to-Site VPN으로 이어져 있습니다.

ECS Fargate ×7EC2: Kafka · MosquittoIPsec VPN

1차량 위치가 흐르는 길

차량 1,500대가 1초마다(시뮬레이션 시간으로는 3초, 3배속) 위치를 MQTT(QoS0)로 보냅니다. control은 공유 구독으로 받아서, 인스턴스를 늘려도 한 메시지는 한 곳에서만 처리됩니다.

vehicles/{id}/telemetry$share/control-service

관제 화면에는 SSE로 곧장 뿌리고, 나머지는 Kafka vehicle-data-topic으로 보냅니다. key=carId라 같은 차량의 위치는 순서가 보장됩니다.

4 partitionskey = carId

dispatch는 10초 넘은 메시지를 버리고 빈 차와 재배치 중인 차만 Valkey GEO에 올립니다. 온프레미스 consumer는 VPN 너머에서 같은 토픽을 받아 TimescaleDB에 쌓습니다.

GEO dispatch:cars:idle:geohypertable vehicle_data

2호출 한 건이 배차되기까지

호출은 ALB → gateway를 지납니다. JWT는 user가 발급하고 gateway 한 곳에서만 검증합니다. dispatch는 Kakao로 요금 · 경로를 먼저 계산해 보여줍니다(PRE배차).

X-Authenticated-User-Idquote TTL 10 min

확정하면 15km 안 후보 10대를 찾고, 300초 넘게 소식 없는 차는 빼고, SETNX 선점 락(30초)으로 두 승객이 같은 차를 잡지 못하게 합니다. 배차는 트랜잭션으로 저장합니다.

GEOSEARCH 15kmSETNX TTL 30s

명령은 MQTT(QoS1)로 차량에 가고 ACK가 돌아옵니다. 10초 안에 ACK가 없으면 다음 차량으로 자동 재배차합니다.

vehicles/{id}/commandsACK timeout 10s

승객 앱엔 SSE로 차량 위치와 도착 상태(픽업 → 목적지)를 실시간으로 밀어줍니다.

SSE vehicle-location

3운행이 끝나면 — 재배치

목적지 도착 이벤트를 받은 control이 relocation에 비동기로 알립니다. 배차 흐름과 엮이지 않도록 분리한 구조입니다.

ARRIVED(to_dest)202 Accepted

PostGIS로 주변 승차대에 점수(0.7 · 수요 − 0.3 · 거리)를 매겨 가장 좋은 곳으로 RELOCATE. 이동 중에도 배차 가능한 상태라 호출이 오면 바로 받습니다.

ST_DWithin 10→30kmstatus = relocating

4밤사이 — 수요 학습

매일 02:00, Airflow가 VPN 너머 internal ALB로 최근 24시간 배차 데이터를 가져와 승차대 × 요일 × 시간대 수요를 집계합니다.

gzip CSV exportX-Internal-Api-Key

XGBoost로 학습한 승차대 가중치를 relocation에 보내면, 다음 재배치부터 바로 반영됩니다.

weights 0–1

5지켜보는 눈 — 관측

온프레미스 Prometheus가 VPN 너머 서비스 · Kafka · EC2 지표를 모으고, 알림은 AWS · 온프레미스 · 서비스 3개 Slack 채널로 나눠 보냅니다.

JMX :9404CloudWatch exporterAlertmanager → Slack
한눈에 보기1 / 13
클라이언트 · 차량AWS · ap-northeast-2VPC 10.20.0.0/16온프레미스 · K3sSITE-TO-SITE VPN · IPSEC승객 모바일 웹React · SSE 수신관제 화면baro-admin · SSE차량 ×1500asyncio 시뮬레이터Kakao Mobility외부 경로·요금 APISlack알림 3채널 분리Public ALBHTTPS · 경로 라우팅gatewayJWT · 서킷브레이커user회원 · 토큰 발급MosquittoEC2 · MQTTdispatch배차 · 선점 락 · SSEcontrolMQTT ↔ Kafka · 관제ValkeyElastiCache · GEORDS PostgresPostGIS · 스키마 분리KafkaEC2 KRaft · 4 파티션relocation승차대 점수 · 재배치Internal ALB/internal · 메트릭PrometheusGrafana · 알림 룰Airflow매일 02:00 수요 학습TimescaleDB시계열 hypertablekafka-consumerVPN 너머 소비 · 적재

직접 해보기

  • 대기—
  • 픽업 중—
  • 운행 중—
  • 재배치 중—

배속 —누적 배차 —

지도 위 차량 1,500대가 움직이고, 호출 → 배차 → 이동 → 재배치가 저절로 진행되는 데모

실제 서비스의 배차 규칙(반경 15km 안 가까운 후보 10대, ACK 10초, 재배치 점수)을 브라우저에서 재현했습니다. 차량은 OpenStreetMap 도로망을 따라 시속 60km로 움직이고, 수요 가중치는 예시입니다.

운영 기록

Kafka가 멈추자 관제 화면도 멈췄다

증상
관제 화면에 차량이 1대만 보이고, Mosquitto 로그에 Broken pipe가 쌓였습니다.
원인
Kafka producer의 기본 대기 시간(max.block.ms 60초) 동안 MQTT 수신 스레드가 붙잡혀 브로커 큐가 넘쳤습니다.
조치
max.block.ms를 500ms로, 재시도를 0으로 줄여 Kafka 장애가 MQTT 수신까지 번지지 않게 격리했습니다.
결과
Kafka가 끊겨도 MQTT 수신과 관제 화면 SSE는 계속 동작합니다.

control-service는 MQTT로 받은 위치를 두 곳으로 보냅니다. 관제 화면(SSE)과 Kafka입니다. Kafka 브로커가 끊기자 producer가 메타데이터를 기다리며 send()에서 최대 60초 동안 멈췄고, 이 호출은 MQTT 수신 스레드 안에서 일어나고 있었습니다. 수신이 멈춘 사이 Mosquitto 쪽 큐가 가득 차 연결이 끊겼고(Broken pipe), 관제 화면에는 차량이 1대만 보였습니다.

Kafka는 위치를 쌓아 두는 용도라 잠깐 유실돼도 괜찮지만, 관제 화면은 멈추면 안 됩니다. 그래서 발행이 오래 걸리면 바로 실패하도록 바꾸고, 실패 로그는 30초에 한 번만 남기게 했습니다. 실패 수는 기존 메트릭(baro_control_telemetry_kafka_publish_failed_total)으로 확인합니다.

배운 점 동기 호출의 기본 타임아웃은 장애를 옆 시스템으로 옮기는 통로가 될 수 있습니다. 기본값을 그대로 믿지 않고 경로마다 타임아웃을 정합니다.

consumer lag 2.9M, 범인은 hot path의 DB 조회

증상
dispatch 서비스의 위치 소비가 밀려 Kafka consumer lag이 2.9M까지 쌓였습니다.
원인
위치 메시지마다 해당 차량의 진행 중 배차를 DB에서 조회하고 있었습니다.
조치
차량 → 배차 매핑을 메모리에 캐시해 메시지 처리 경로에서 DB 조회를 없앴습니다.
결과
메시지마다 나가던 DB 쿼리가 사라지고 lag이 해소됐습니다.

dispatch 서비스는 Kafka로 들어오는 모든 위치 메시지를 보고, 배차 중인 차량이면 승객 앱에 SSE로 위치를 밀어줍니다. 문제는 “이 차가 배차 중인가”를 메시지마다 DB에 물어보고 있었다는 점입니다. 당시 차량 1,000대가 1초마다 위치를 보내 쿼리가 초당 1,000번 가까이 나갔고, 소비 속도가 발행 속도를 따라가지 못해 lag이 2.9M까지 불었습니다.

이제 매핑은 승객 앱이 위치 스트림(SSE)을 열 때 등록하고 마지막 연결이 닫힐 때 지우며, 메시지를 처리하는 동안에는 메모리만 봅니다.

배운 점 메시지마다 도는 경로에서는 쿼리 한 번도 비쌉니다. 핫 패스에서 I/O를 먼저 걷어냅니다.

차량 2,000대에서 Mosquitto가 메시지를 버렸다

증상
차량 수를 늘린 부하 테스트에서 Mosquitto가 큐 한도를 넘는 메시지를 버렸고, 2,000대 규모에서는 control-service의 MQTT 연결까지 끊겼습니다.
원인
max_queued_messages(기본 1,000, 이후 10,000)를 넘은 메시지가 버려지고 있었습니다.
조치
한도를 10,000으로 올렸고, 그래도 넘치자 무제한(0)으로 바꿨다가 메모리 부족(OOM) 위험 때문에 몇 분 만에 50,000 상한으로 되돌렸습니다.

부하 테스트 중 기본 한도(1,000)를 넘는 메시지가 버려져 한도를 10,000으로 올리고, 차량 접속은 10대마다 0.05초 간격으로 나눠 붙였습니다. 이후 2,000대까지 늘리자 10,000도 넘쳤고, control-service의 MQTT 연결까지 끊겼습니다. 한도를 무제한(0)으로 바꿨지만, 무제한이면 구독자가 느려질 때 브로커 메모리가 끝없이 늘어납니다. t3.micro 한 대에서 도는 브로커라 OOM 위험 때문에 몇 분 만에 50,000 상한으로 되돌렸습니다.

배운 점 큐 한도는 "막히면 버린다"는 정책입니다. 늘릴 때도 무제한 대신 메모리로 감당할 수 있는 상한을 정합니다.

VPN 터널은 살아 있는데 AWS로 가는 트래픽이 사라졌다

증상
StrongSwan 터널은 ESTABLISHED인데, 온프레미스에서 AWS 사설 엔드포인트로 연결이 되지 않았습니다.
원인
StrongSwan(charon)이 SA를 맺을 때 Linux routing table 220에 policy route를 자동으로 넣는데, table 220은 main table보다 먼저 평가돼 AWS 대역 트래픽이 VTI가 아닌 Wi-Fi 기본 경로로 나갔습니다.
조치
터널 상태가 바뀔 때마다 호스트 VPN 스크립트가 충돌하는 table 220 경로를 지우도록 했습니다.

AWS VPC와 온프레미스(OpenStack)는 Site-to-Site VPN으로 이어져 있고, 온프레미스 쪽 끝은 OpenStack 호스트의 StrongSwan VTI 터널입니다. 터널 상태만 보면 정상인데 AWS 쪽 사설 엔드포인트로 가는 연결이 실패했습니다. ip route get <AWS 사설 IP>를 보니 경로가 VTI가 아니라 Wi-Fi 인터페이스로 잡혀 있었고, ip route show table 220에 AWS 대역 경로가 들어 있었습니다. charon이 자동으로 넣은 경로가 main table의 VTI 경로보다 먼저 적용된 것입니다.

이제 호스트 스크립트가 터널 상태가 바뀔 때마다 이 경로를 정리합니다. 재부팅 뒤에도 br-ex · 경로 · iptables를 먼저 복구한 다음 터널과 VTI 경로를 올리는 순서를 지키도록 운영 절차로 정리했습니다.

배운 점 터널이 붙었다는 것과 트래픽이 터널로 간다는 것은 다릅니다. ip route get으로 실제로 선택되는 경로와 source IP를 먼저 확인합니다.

설계 결정

AWS IoT Core 대신 EC2에서 Mosquitto를 직접 운영

배경
처음에는 AWS IoT Core(mTLS, X.509 인증서)로 차량과 통신했습니다. 시뮬레이터 차량을 늘리자 연결 속도 제한 때문에 접속을 10대마다 1.2초씩 늦춰야 했고, 비용도 차량 수에 비례해 늘었습니다.
검토한 대안
  • AWS IoT Core 유지(기존 구성)
선택 이유
브로커 설정(큐 한도 · 인증 · 세션)을 직접 조정할 수 있고, 연결 속도 제한이 없어 10대마다 0.05초 간격으로 1,000대를 약 5초 만에 붙일 수 있습니다.
트레이드오프
가용성 · 패치 · 모니터링을 직접 책임져야 합니다. 인증 정보는 Secrets Manager에 두고, 배포는 SSM으로 자동화해 운영 부담을 줄였습니다.

Kafka를 ECS Fargate에서 EC2 + EBS(KRaft 단일 노드)로 이전

배경
처음엔 Kafka를 ECS Fargate 태스크로 띄우고 데이터를 EFS에 뒀습니다. 클라이언트가 접속할 advertised listener 주소를 안정적으로 고정하기 어려웠고, 로그 저장소도 네트워크 파일시스템 위에 있었습니다.
검토한 대안
  • ECS Fargate + EFS 유지(기존 구성)
  • Amazon MSK
선택 이유
고정 사설 IP와 Cloud Map 이름(kafka.baro.internal)으로 advertised listener를 고정하고, 로그는 EBS gp3에 둡니다. vehicle-data-topic은 4 파티션으로 두어 dispatch 소비 동시성 4와 맞췄습니다.
트레이드오프
브로커 1대(RF=1)라 브로커 장애 시 위치 스트림이 멈춥니다. 위치는 1시간만 보관하는 휘발성 데이터라 비용을 우선했습니다.

위치는 QoS0, 명령은 QoS1 — 그리고 공유 구독

배경
위치는 차량마다 초 단위로 쏟아지고 곧 새 값으로 바뀝니다. 반면 배차 명령 · 도착 이벤트 · ACK는 한 건만 빠져도 배차가 꼬입니다. 관제 서비스도 여러 대로 늘릴 수 있어야 했습니다.
검토한 대안
  • 모든 메시지를 QoS1로
  • control 인스턴스마다 전체 토픽 구독
선택 이유
위치는 QoS0로 가볍게, 명령 · 이벤트 · ACK는 QoS1로 확실하게 보냅니다. control은 공유 구독($share/control-service/…)과 인스턴스별 clientId를 써서 여러 대가 떠 있어도 한 메시지는 한 인스턴스만 처리합니다.
트레이드오프
QoS0 위치는 연결이 끊긴 동안 유실됩니다. 곧 새 위치로 덮이는 값이라 이 손실은 감수했습니다.

실시간 전달은 WebSocket 대신 SSE

배경
승객 앱과 관제 화면은 서버가 보내는 위치 · 상태를 받기만 하면 됩니다.
검토한 대안
  • WebSocket
선택 이유
단방향 push에는 SSE로 충분하고, 일반 HTTP 위에서 동작해 nginx와 Vercel 함수 프록시를 그대로 통과합니다. 연결이 끊기면 승객 앱은 지수 백오프(1초에서 최대 10초)로, 관제 화면은 브라우저 EventSource 기본 재연결로 다시 붙습니다.
트레이드오프
SSE 연결을 서버 메모리가 들고 있어서, 인스턴스를 늘리면 연결이 인스턴스마다 나뉩니다(한계 · 회고 참고).

인증은 gateway 한 곳에서, 내부 경로는 이중으로 차단

배경
서비스가 다섯 개로 나뉘면서, 서비스마다 JWT를 검증하면 검증 로직과 키 관리가 흩어집니다.
검토한 대안
  • 서비스마다 JWT 검증
선택 이유
JWT는 gateway에서만 검증하고, 사용자 정보는 X-Authenticated-User-* 헤더로 넘깁니다. 클라이언트가 같은 이름의 헤더를 보내면 gateway가 지웁니다. 온프레미스 배치(Airflow)가 부르는 /internal/** API는 X-Internal-Api-Key로 확인하고, 서비스 간 호출은 Cloud Map 내부 주소로만 오가게 했습니다. 내부 경로는 ALB(403)와 gateway(404)에서 이중으로 막습니다.
트레이드오프
서비스는 gateway 뒤에 있다는 전제로 헤더를 믿습니다. 그래서 내부 경로가 외부에 열리지 않도록 ALB · 보안그룹 규칙을 함께 지켜야 합니다.

RDS 한 대에 서비스별 스키마

배경
서비스마다 DB 인스턴스를 따로 두면 비용이 서비스 수만큼 늘어납니다.
검토한 대안
  • 서비스마다 RDS 인스턴스
선택 이유
RDS PostgreSQL 한 대(db.t4g.micro)에 user · dispatch · relocation · control 스키마를 만들고, user · dispatch · relocation 서비스가 접속 URL의 currentSchema로 자기 스키마만 쓰게 했습니다(control 스키마는 만들어 두었지만 control 서비스는 DB를 쓰지 않습니다). 스키마는 일회성 ECS 태스크(db-init)가 만듭니다.
트레이드오프
접속 계정은 공용이라 다른 스키마 접근을 권한으로 막지는 않고, DB 장애와 부하도 모든 서비스가 함께 겪습니다. 서비스별 계정과 인스턴스로 나누는 게 다음 단계입니다.

인프라 · 비용

git pushmainActionsGitHub · 경로 감지빌드 · 테스트JDK 21 · GradleECR서비스별 이미지ECS 배포CI 통과분만

Terraform으로 만든 AWS

  • envs/dev 한 환경을 Terraform으로 관리합니다. VPC(2 AZ, public · private 서브넷), 공개 · 내부 ALB, ECS Fargate 서비스 7개, RDS PostgreSQL, ElastiCache(Valkey), Kafka · Mosquitto용 EC2, Cloud Map, Secrets Manager, Site-to-Site VPN까지 코드로 정의했습니다.
  • 상태는 S3와 DynamoDB 락으로 보관합니다. PR에서는 fmt · validate · plan, main에서는 apply → db-init → 엣지 배포(SSM)까지 GitHub Actions가 이어서 실행합니다.
  • 실수로 지우지 않도록 destroy는 destroy-dev 같은 확인 문자열을 입력해야만 돌아갑니다.

배포 파이프라인

서버는 변경된 경로만 감지해 빌드 · 테스트하고, 변경된 서비스의 CI가 모두 통과해야 그 서비스들을 ECR에 올려 ECS에 배포합니다(하나라도 실패하면 배포하지 않습니다). 승객 모바일 웹은 CodeDeploy Blue/Green으로 배포하고, 실패하면 자동으로 되돌립니다.

비용을 줄인 방법

  • runtime_enabled=false 한 번으로 NAT · ALB · ECS · RDS · EC2를 내리고, VPC · ECR · Secrets 같은 기반은 남깁니다. ElastiCache와 Site-to-Site VPN은 이 스위치 밖이라 계속 켜져 있습니다.
  • 내리기 전에 RDS 스냅샷을 자동으로 만들고, 다음 apply 때 가장 최근 스냅샷으로 자동 복원합니다.
  • Kafka EC2를 t3.medium에서 t3.small로 줄이고, bastion을 없애 SSM으로만 접속하고, 로그 보존을 7일로 줄이고, 차량별 로그를 DEBUG로 내려 CloudWatch 비용을 줄였습니다.

내 기여

BARO는 기획부터 배포 · 운영까지 팀원들과 대화하며 프로젝트 전반에 참여했습니다. 아래는 그중 제가 직접 코드로 올린 작업으로, 2026년 4월 말부터 6월 말까지 여섯 개 저장소에 PR 128개를 머지했습니다.

차량 위치가 화면과 배차까지 가는 길

  • 차량 위치를 받는 control 서비스를 MQTT → Kafka 한 경로로 정리했습니다. 초기의 Redis · PostGIS 의존을 걷어내고, 관제 화면용 차량 상태를 메모리에 두고 SSE로 밀어 주는 엔드포인트를 만들었습니다.
  • MQTT 세션 · 인바운드 클라이언트 문제, ALB 경로(/control)의 404를 고치고, 위치 메시지에 운행 상태와 차량 번호를 실었습니다.
  • Kafka 컨슈머가 차량 데이터에 운행 상태까지 저장하게 하고, 환경마다 컨슈머를 켜고 끌 수 있게 했습니다.

배차와 재배치

  • 30초 넘게 위치가 오지 않은 차량은 배차 후보에서 빼고(Redis lastSeen), 차량이 배차 지시에 응답(ACK)하지 않으면 다시 배차하도록 했습니다.
  • 운행이 끝난 차량을 수요가 많은 곳으로 자동 재배치하는 흐름을 구현했습니다. 재배치 중인 차량도 호출이 오면 배차로 전환됩니다.
  • 게이트웨이에서 어드민 경로를 분리하고, JWT의 role로 관리자 권한을 확인하게 했습니다.

관제 대시보드

  • 실시간 차량 관제 대시보드를 만들었습니다. 차량 위치, 운행 경로, 재배치 중인 차량(보라색 마커와 목적지)을 지도에 보여 주고, 어드민 로그인과 JWT 인증을 붙였습니다.
  • 승객 앱 지도에서 화면 크기가 바뀌거나 사용자가 확대할 때 지도가 깨지던 문제도 고쳤습니다.

인프라와 배포 (Terraform)

  • baro-dev VPC와 온프레미스를 잇는 Site-to-Site VPN, Kafka를 ECS에서 EBS를 붙인 EC2로 옮기는 작업(Cloud Map DNS), AWS IoT Core 대신 EC2 Mosquitto로 바꾸는 작업을 Terraform으로 했습니다.
  • control 서비스의 ECR 빌드 · ECS 배포 파이프라인과, terraform apply 뒤 SSM으로 차량 시뮬레이터를 자동 배포하는 단계를 만들었습니다.
  • 비용을 줄이려고 내리기 전 RDS 스냅샷 자동 생성과 다음 apply 때 자동 복원, Kafka EC2 t3.small 전환, bastion 제거(SSM 접속), CloudWatch 로그 비용 절감을 넣었습니다. Kafka의 EBS는 실수로 지워지지 않게 막았습니다.

차량을 1,500대로 늘리며 고친 것

  • 메시지마다 하던 DB 조회를 hot path에서 없애 consumer lag 2.9M을 해소했습니다(운영 기록).
  • Kafka가 멈추면 MQTT 수신까지 막히던 producer 대기를 짧게 끊었습니다(운영 기록).
  • Mosquitto 큐가 넘쳐 메시지가 버려지던 문제를 브로커 큐 설정과 시뮬레이터의 연결 간격(10대마다 0.05초)으로 막았습니다(운영 기록).

한계 · 회고

알고 있는 한계와, 다시 한다면 바꿀 부분입니다.

  • 인메모리 상태 때문에 수평 확장이 막혀 있습니다. control의 차량 상태, dispatch의 ACK 대기 목록, SSE 연결이 모두 JVM 메모리에 있어서 인스턴스를 늘리면 상태가 갈라집니다. Redis 같은 공유 저장소나 pub/sub로 옮기는 게 다음 단계입니다.
  • 단일 장애점이 남아 있습니다. Kafka는 브로커 1대(RF=1), NAT Gateway는 1개, RDS는 단일 AZ입니다. 비용을 우선한 선택이었고, 운영 환경이라면 브로커 3대 · AZ별 NAT · Multi-AZ RDS로 가야 합니다.
  • 서비스 간 신뢰를 네트워크에만 기대고 있습니다. 서비스 간 호출은 Cloud Map 내부 주소로만 오가지만 인증은 없고, 모든 서비스가 RDS 마스터 계정 하나를 함께 씁니다. 서비스 간 인증과 서비스별 DB 계정을 두는 게 다음 단계입니다.