Skip to content

Latest commit

 

History

History
388 lines (340 loc) · 40.6 KB

PLAN.md

File metadata and controls

388 lines (340 loc) · 40.6 KB

Notification Lab: 순차 구현 계획

작성일: 2026-10-13 (Asia/Seoul)

목표

대량 알림 처리에서 처리량, 정합성, 외부 API 보호, 장애 복구를 작은 실험으로 검증한다. 수치와 장애 시나리오를 근거로 아키텍처 변화를 설명할 수 있게 만드는 것이 목적이다. 실제 1천만 사용자나 운영 실적을 주장하지 않는다.

진행 방식

  1. 다음 미완료 작업 하나를 고른다.
  2. 완료 조건과 재현할 문제를 먼저 정한다.
  3. 구현하고 자동 테스트/실험을 실행한다.
  4. 통과한 항목만 완료 표시한다.
  5. 한계와 다음 작업을 docs/PROGRESS.md에 기록한다.

기간은 하루 1~2시간 기준 약 4주를 가정하며, 날짜보다 완료 조건을 우선한다. 현재 대화가 끝난 뒤 자동으로 개발이 계속되지는 않는다. 다음 작업 요청 시 이 파일을 기준으로 이어간다.

설계 결정

  • Java 21, Spring Boot 3.5.16, Gradle Wrapper 8.14.5(Groovy DSL)를 사용한다.
  • 로컬 우선, 단일 저장소. 별도 클라우드 계정/유료 자원/실제 수신자 사용 없음.
  • 첫 코드(S1)는 동기식 Mock API 기준선이다. 성공/실패 결과 리소스를 만들고 HTTP 201 반환.
  • S1의 메모리 저장은 비영속적이다. 202/유실 방지/재시도/멱등성을 제공한다고 주장하지 않는다.
  • S2는 MySQL 영속화와 Outbox 스키마 준비까지 수행하며 동기식 처리/HTTP 201을 유지한다.
  • S3에서 요청과 Outbox의 원자적 저장, Kafka 발행/소비를 구현하고 DB 커밋 후 HTTP 202를 반환한다.
  • 목표 전달 보장은 at-least-once 기반 + 중복 작업 방지. 외부 푸시 도착 exactly-once는 보장 범위 밖이다.
  • API 인증/인증정보 저장은 공개 배포 전에 별도 단계로 추가한다. 기본 서버는 loopback에만 바인딩.

1주차: 기준선과 정상 비동기 흐름

S0. 계획과 작업 규칙

  • 목표/제외 범위와 단계별 완료 조건 작성
  • AGENTS.md 공통 작업 규칙 작성 (별도 실행 에이전트 아님)

S1. 동기식 Mock API 기준선

  • Spring Boot 프로젝트 생성
  • PushProvider 인터페이스와 deterministic Mock 구현
  • POST /notifications, GET /notifications/{id}
  • 성공/일시 실패/영구 실패 분류 및 입력 검증
  • 용량 제한이 있는 메모리 저장, loopback 바인딩
  • Actuator health, Prometheus, 처리 시도/결과/시간 지표
  • 단위/HTTP 계층 테스트 코드 작성
  • Java 21 빌드와 자동 테스트 18개 통과 (실패/오류/스킵 0)
  • 실제 HTTP 서버 기동 후 성공/조회/입력 오류/health/Prometheus smoke test

완료 조건: 정상/실패 결과를 조회할 수 있고 잘못된 요청이 거절되며, 한계가 문서화되어 있다. S1은 트래픽 벤치마크가 아니다. 1만 건 검증은 S3 이후 진행한다.

S2. MySQL 영속화

  • Docker Compose에 MySQL 추가 (127.0.0.1:13316, named volume)
  • Flyway로 notification과 outbox_event 스키마 도입
  • Testcontainers로 실제 MySQL 트랜잭션 테스트 (14개 + 기존 18개 통과)
  • 동기식 기준선과 DB 버전의 API 차이/상태 전이 문서화

완료 조건: 재시작 후 조회 가능. 제약/인덱스/롤백을 실제 MySQL에서 검증. 실행 JAR와 Compose MySQL 컨테이너 재생성 후 기존 volume의 알림 조회도 확인. S2와 Gradle 전환은 2026-10-14 main에 푸시했으며 해당 원격 CI 성공을 확인했다.

S3. Outbox + Kafka 수직 흐름

  • 요청/Outbox를 하나의 트랜잭션으로 저장한 후 202 반환
  • Kafka 단일 브로커 KRaft 로컬 구성, 토픽/파티션 수 명시
  • Relay: 짧은 DB 선점 트랜잭션 -> DB 트랜잭션 밖 publish -> ACK 확인 -> 상태 갱신
  • 선점 lease와 PROCESSING 복구, publish 실패 backoff
  • Worker: 단건 순차 처리, 결과 영속화 후 offset 커밋
  • Outbox age/미발행 수, consumer lag 측정 추가
  • 테스트 데이터 1만 건 접수/처리/실패/대기 개수 대조

완료 조건: DB 커밋 후 메시지 작업이 끝까지 추적된다. 단일 브로커로 브로커 고가용성을 증명하지 않는다.

로컬 일반 테스트 43개와 별도 1만 건 정합성 실험 1개 통과. S3를 포함한 기존 완료 커밋은2026-10-31 main에 푸시했다. 원격 CI의 실패·취소와 보완은 PROGRESS에 기록한다.

2주차: 유실·중복·재시도

S4. 멱등성·재시도·DLQ

  • API Idempotency-Key 정책 (같은 키/같은 payload 재사용, 다른 payload 충돌)
  • 발송 작업 식별자, 유니크 제약, 원자적 처리 상태 변경 (현재 요청당 가상 대상 1개)
  • 재시도 가능/불가능 오류 분류, 최대 횟수, backoff+jitter
  • Retry topic/DLQ, 재발행 성공 확인과 원본 offset 커밋 관계 테스트
  • 지연 토픽은 이름만으로 지연되지 않음: DB Outbox dueAt 스케줄링 구현 (컨테이너 pause 미사용)
  • DLQ 선택 재발행, 원인/시도 이력 기록
  • 공급자 성공 후 DB 기록 전 종료의 불확실성 정책 문서화

S4는 로컬 완료했다. API 멱등성, 발송 작업/시도 이력, 유한 지연 재시도, Retry 토픽/DLQ와 선택 재발행을 구현했다. 최초 선점/lease 복구/일시 실패 재시도는 같은 예산(기본 3회)을 사용한다. DB due 시각 이후 Retry 토픽으로 보낸다. 최종 실패와 DLQ Outbox를 함께 커밋한 뒤 원본 offset을 처리한다. 후속 publish ACK 이후에만 PUBLISHED를 저장한다. 선택 재발행은 원본을 보존한 새 작업으로 접수하고 DLQ당 한 번/원본 계보당 최대 3회로 제한한다. 불확실한 결과의 중복 가능성·lease 경계·확인/복구 절차는 S4 정책에 정리했다. 로컬 일반 테스트 90개 재실행 통과. 실제 프로세스 중단/브로커 장애 실험까지 완료했다는 뜻은 아니다. S5에서 Kafka 중단·복구와 ACK 후 Outbox 기록 전 Relay 프로세스 종료를 검증했다. Worker DB 완료 후 offset 커밋 전 종료와 재소비도 검증했다. Relay/Worker 재시작, 처리 중 합류와 작업 완료 후 이탈에 따른 리밸런스도 검증했다. SIGTERM 정상 종료와 유예 초과 복구까지 검증했다. S6에서는 별도 HTTP Mock, HTTP 어댑터의 timeout/연결 풀 상한, Worker 동시성/유한 FIFO 대기열과 Redis 공유 제한기를 추가했다. 최초 발송/재시도의 quota와 정상 한도 부족의 소비 pause/resume를 연결했다. 프로세스별 Circuit Breaker/half-open 복구까지 연결했다. Redis 장애/예산 유실에는 fail-closed와 명시적 빈 초기화를 적용했다. 역할별 자원 분리와 8:2 고정 예약 예산까지 추가했다. S7 첫 단계로 캠페인 생성/시작/조회와 중복 시작 방지를 추가했다. 고정 가상 대상자와 keyset 조회도 추가했다. Batch checkpoint와 Outbox 인계/실패 재시작을 추가했다. 강제 종료 후 MySQL 세션 소유권 확인과 안전한 Batch 복구도 추가했다. 10만→100만 건 DB 인계 부하와 전수 정합성을 검증했다. HTTP Mock 1천/1만 건 사전 실험도 통과했다. 10만 건 HTTP 발송도 통과했다. 다음은 100만 건 발송 실험이다. 실제 검증 결과는 docs/PROGRESS.md에 기록한다.

S5. 장애·배포 실험

  • Kafka 중단 후 접수, Kafka 복구 후 발행
  • publish ACK 후 PUBLISHED 저장 전 종료 -> 중복 재발행 재현
  • Worker 처리 완료/offset 커밋 전 종료 -> 재처리 재현
  • Relay와 Worker 재시작 및 리밸런스 검증
  • Graceful Shutdown: 신규 수신 중지, 진행 중 작업 정리, 유예 시간 초과 시 복구

완료 조건: 정의한 장애에서 접수 건 각각의 상태가 설명된다. 무조건적인 '유실 0' 표현을 사용하지 않는다.

첫 항목은 테스트 전용 Kafka 컨테이너의 실제 stop/start로 검증했다. 기준 1건 + 중단 중 접수 5건이 앱 재시작 없이 모두 처리되었고 기존 작업/이벤트 ID를 유지했다. 발행 상한을 1회로 줄인 별도 실험에서는 FAILED Outbox가 보존되고, 복구 후 신규 요청만 정상 처리되었다. lag 0과 미발행 0은 다르다. 실험 구성과 한계를 참고한다. 두 번째 항목은 테스트 전용 Relay JVM을 ACK 후 DB 갱신 전에 강제 종료하고 새 JVM으로 재시작했다. 실제 30초 lease 만료 후 동일 이벤트가 재발행되어 Kafka 레코드는 2개, 완료된 작업의 공급자 호출은 1회였다. API/Worker는 살아 있는 조건이며 중단 지점과 한계를 참고한다. 세 번째 항목은 DB 완료 후 offset 커밋 전 Worker JVM을 강제 종료하고 같은 group으로 재시작했다. Kafka 레코드 1개를 재소비하되 공급자 호출은 총 1회, 작업/이력은 그대로 유지되었다. DB/offset 경계 실험과 한계를 참고한다. 네 번째 항목은 독립 Relay/Worker JVM에서 처리 중 합류, Relay 중단 중 접수와 재시작, Worker 이탈/복귀를 검증했다. Worker 1 → 2 → 1 → 2명 구성에서 파티션 배정, 각 파티션 offset, 고유 접수/공급자 호출 수를 대조했다. 재시작·리밸런스 실험과 한계를 참고한다. 마지막 항목은 HTTP 접수 중지 → Worker 종료 대기 순서, Relay의 후속 선점 중지를 보완하고 Worker/Relay 각각의 SIGTERM 유예 내 완료와 초과 후 lease 복구를 검증했다. Worker 수락 후 DB 미기록 종료에서는 UNKNOWN과 실제 공급자 재호출도 재현했다. 종료 정책·재현·한계를 참고한다. S5는 이 정의된 실험 범위에서 로컬 완료다.

3주차: 외부 API 트래픽 제어

S6. HTTP Mock + 보호 장치

  • Mock을 별도 HTTP 서버로 확장: 지연, timeout, 429, 5xx, 요청 한도
  • connect/response timeout 및 연결 풀 상한
  • Worker 동시성 제한 + 유한 대기열
  • Redis Lua 전역 Rate Limit (속도와 허용 버스트 정의)
  • 재시도/최초 발송에 동일 provider quota 적용
  • 소비 pause/resume, poll/heartbeat 유지 검증
  • Circuit Breaker 및 half-open 복구
  • Redis 장애 정책 결정 (대기/fail-closed 등)과 검증
  • 실시간/캠페인 자원 분리와 공급자 한도 내 우선순위 배분

첫 항목은 독립 실행 JAR/Gradle task의 loopback HTTP Mock과 실제 HTTP 테스트로 검증했다. 고정 윈도우 요청 한도·동시 처리 슬롯·유한 응답 지연을 제공한다. 설정과 한계를 참고한다. 기본 내부 Mock을 유지하며 app.provider.mode=HTTP로 실제 HTTP 연동을 선택한다. HTTP 어댑터는 연결 풀/대기/응답 timeout과 전체 deadline을 제한하고 DB 기반 재시도를 유지한다. 실제 MySQL/Kafka/HTTP로 성공·500·429·영구 실패·timeout의 이력과 offset을 대조했다. Worker 진입 제어는 소비 스레드/처리 수/대기 수를 제한하며 DB 선점 전에 기다린다. 포화·timeout은 미커밋 상태로 소비를 멈춘다. 실제 파티션별 offset·DB 이력·종료/재시작을 검증했다. Redis Lua 제한기는 같은 공급자 키의 속도/버스트를 공유한다. 독립 클라이언트 4개의 동시 접근, 실제 Redis 시간 보충, 설정 충돌/timeout을 검증했다. Worker quota 연동은 DB 선점 전 유한 대기와 최초/재시도의 공통 허가를 적용한다. 완료 재소비/시도 상한 소진은 허가 없이 영속 처리하고, 대기 초과/Redis 오류는 미선점·미커밋 상태로 중지한다. 소비 pause/resume는 정상 LIMITED에서 처리 자리를 반환하고 미완료 레코드를 보관한 채 poll을 유지한다. 5초 max.poll.interval보다 긴 7초 pause에서 poll/heartbeat와 offset 보존, 자동 재개·종료·리밸런스를 검증했다. 앞 문단의 유한 대기는 pause-enabled=false 비교 모드다. 기본 pause 모드도 Redis 오류에서는 중지한다. 공급자 회로 차단은 선점 전 OPEN 보류와 앱당 한 HALF_OPEN 탐침을 적용한다. 실제 HTTP 500→202, 병렬 소비, Redis 오류 중 탐침 반환과 종료/재시작을 검증했다. Redis 장애 정책은 키 부재/TTL도 fail-closed로 처리하고 명시적인 v2 빈 예산 초기화를 요구한다. 실제 Redis 강제 종료/AOF 복구, 키 유실 후 앱 재시작과 미선점/offset 보존을 검증했다. 정상 형식의 snapshot rollback은 자동 감지하지 못하며 자동 failover를 지원하지 않는다. 실시간/캠페인 자원 분리는 역할별 토픽/group/Relay/Worker/연결 풀과 단일 Redis 키의 고정 예약 예산(v3)을 사용한다. 기본 실시간 8/8·캠페인 2/2이며 유휴 몫을 빌리지 않는다. 최초/Retry/DLQ/redrive 역할 보존, 잘못된 역할의 미선점 중지, V7 기존 행 보존을 실제 인프라에서 검증했다. 전체 222개 실행의 220개 통과와 V7 기대값 2개 수정 후 MySQL 16개 재검증 통과를 확인했다. 기능 코드는 전체 실행 이후 동일하며 최종 build 성공이다. 단일 전체 실행에서 222개 모두 통과했다고 기록하지 않는다. S6는 정의한 로컬 실험 범위에서 완료했다. 동적 예산 차용·운영 성능·공유 인프라 장애 격리를 입증한 것은 아니다. S7 첫 API 단계를 구현했다. 고정 가상 대상자와 keyset 조회도 추가했다. Batch checkpoint와 Outbox 인계/실패 재시작을 추가했다. 강제 종료 후 MySQL 세션 소유권 확인과 안전한 Batch 복구도 추가했다. 10만→100만 건 DB 인계 부하와 전수 정합성을 검증했다. HTTP Mock 1천/1만 건 사전 실험도 통과했다. 10만 건 HTTP 발송도 통과했다. 다음은 100만 건 발송 실험이다.

완료 조건: 워커를 늘려도 제한 정책을 유지하고 공급자 장애가 메모리 폭증으로 이어지지 않는다. 실험용 공급자 한도는 실제 FCM/APNs의 보장/쿼터로 제시하지 않는다.

4주차: 대량 처리와 비교 실험

S7. 캠페인과 Spring Batch

  • 캠페인 생성/시작/조회 API와 중복 시작 방지
  • 고정된 테스트 대상자 집합과 keyset pagination
  • chunk checkpoint, Kafka publish ACK와 재시작 시 중복 처리 검증
  • 대상자별 결정적 작업 ID, 실패 후 동일 범위 재처리
  • Batch 강제 종료 후 소유권 확인과 안전한 재시작
  • 10만 -> 100만 건 Batch DB 인계 부하 테스트
  • HTTP Mock 발송 사전 실험: 1천/1만 건 전수 대조와 실시간 지연 측정
  • 10만 건 HTTP Mock 발송 경로 부하와 실시간 간섭 측정
  • 100만 건 HTTP 발송 도구·시간/메모리 상한 준비와 경계값·작은 실제 경로 검증
  • timeout 후1만 건 HTTP와1만/10만 행 Outbox 쿼리 진단: 미재현과 인덱스 선택 관측 기록
  • 동일 적체의 통계 갱신 전후 계획·실행 노드 행 수·지연 비교(오래된 통계 고정 조건)
  • 기본 자동 통계 조건에서 선점 계획·교차 역할 잠금 및 갭 대기 관측
  • 역할별 선점 인덱스와 READ COMMITTED 수정의 회귀·HTTP 검증
  • 수정 경로의10만 건 HTTP 재검증과 접수 지연 관측(40f00e7, 107269건 전수 대조)
  • 1만 건 단계별 비용 계측과 ACK 후 완료 저장1/10건 비교(각2회, 대형 부하 미실행)
  • 37d4d3c의 단건/구 OR10건10만 건 HTTP 비교와 지연 관측(정합성 통과, tail 지연 악화)
  • 구 OR 완료 저장의 전체 스캔 잠금 재현과 한 트랜잭션의 기본키 단건 갱신 수정/기본 회귀 추가
  • 기본키 갱신 수정판557b2cf의 최대10건10만 건 HTTP/실시간 지연 추가 재검증(처리량 증가, p95 악화·기본값1 유지)
  • 로컬 Relay1/2개 사전 비교: Worker/DB 풀/200/s 한도를 고정한1만 건 반복과 정합성·실시간 간섭 확인(일관된 개선 미확인·기본값 유지)
  • 작은 동일 조건에서 DB 연결 취득/SQL/commit과Kafka offset 저장의 비용 세분화 진단(건별 offset 평균5.770~6.008ms 관측·기본값 유지)
  • 완료된 offset의 개수·시간 기준 묶음 저장 선택 옵션 비교와 재소비/미완료 offset 보존 검증(호출78~80% 감소·기본 RECORD 유지)
  • COUNT_TIME의 HTTP 재시도·Retry/DLQ와 commit RPC 전/성공 후 응답 유실 경계 추가 검증(합성 오류/실제 브로커 offset 대조)
  • 같은 offset 정책의10만 건 HTTP/실시간 tail 검증과 적용 여부 판단(처리량19.54% 증가·실시간 p95 악화 관측으로 기본 RECORD 유지)
  • 실시간 접수 코드/트랜잭션 경계와 요청별 연결·SQL·commit 분리 계측/1천·1만 건 검증(10만 건 p95 수준 미재현·원인 미확정)
  • 접수 지연의 정상/실제 DB 잠금/커밋 후 호출자 대기 제어군 구분과 CPU·wall·DB 가시성 검증(SQL 전용6건)
  • 물리 세션·호출 구간과 별도 DB 관찰의 대응/재사용 오인 방지·상한 검증 및1천 건 OFF/ON 비교(자연 표본4/87개로 원인 미확정)
  • 긴 호출 우선 관찰의 예산·제어군 커버리지 검증과1천 건 즉시/20ms 비교(자연 긴 호출0개로 커버리지 개선 미확정)
  • AUTOCOMMIT_STATE의 메서드·진입/복원 경계별 진단과 제어군/1천 건 상세 OFF·ON 검증(127ms 상태 합계는 미재현)
  • 고정한 메서드별 계측의 제한된1만 건2회 반복과 작은 재현 여부 판단(상태 상세2052개/20ms 이상0개·127ms 합계 미재현)
  • 장시간 실행의 고정 메모리 관찰·중단 기준 정의와 최근32건+진행1건 프로토타입 검증(장시간 도구 미연결)
  • 실제 HTTP/MySQL 접수 전용 제어 pilot의 첫 실패 동결·종료 전 파일 보존 검증(전/후commit timeout·기존파일 미덮어쓰기)
  • 작은 Kafka 캠페인 혼합 pilot의 실패 경로에 고정 기록기·파일 저장을 opt-in 연결하고 정합성/보존 실패 처리 검증(1천 건 정상 대조·원래 timeout FAIL 유지·기존 파일 보존)
  • 장시간 발송 도구의 첫 실패 기록 opt-in 연결과 실행 전 상한/보존 계약 검토(기본OFF/오류주입금지/1천 건 리허설·15만 회 가상 기록 검증, 실제 장시간 실행과 분리)
  • 최종 진단·보고서 쓰기 실패가 원래 실행 오류를 가리지 않도록 보완(실제 파일 오류·1천 건 제어·앞선 실패 없는 오류 전파 검증)
  • 100만 건 관찰 재실행의 예산 조회 불가/Worker 중단 분석(부분수락190131건·FAIL 유지·근본 오류 종류는 미보존)
  • 예산 조회 첫 오류의 고정 분류·단계·실효 설정 관찰과 일시 오류 유한 복구 옵션/상태 오류 중단 검증
  • 수정판100만 건 재실행 결과 확인과 진단(e5e5b01, 캠페인1000000+실시간54124건 전수대조PASS·조회오류0회)
  • 100만 건 실행 중 접수 probe의5초 응답 timeout 원인 진단과 작은 재현
  • 100만 건 HTTP Mock 발송 경로 부하 테스트(4시간19분16초·78.747건/초·중복0·DB/offset/매핑대조)

S7 첫 API 단계는 CAMPAIGN 앱의 정의 저장과 DRAFT → START_REQUESTED 수락까지다. 생성 키의 유니크 제약/정확한 정의 비교와 시작 조건부 UPDATE로 두 앱의 동시 요청을 처리한다. START_REQUESTED는 영속 시작 의도이며 현재 자동 실행되지 않는다. 명시적 campaignBatch 명령으로 한 캠페인을 확장한다. 고정 가상 집합은 SYNTHETIC_V1/targetCount로 대상 번호를 재현하고, 마지막 번호 뒤를 최대 1,000명씩 읽는다. 10만/100만 열거의 순서·총수·고정 해시를 대조했다. 실제 회원 테이블의 SQL keyset 성능이나 100만 건 발송 부하를 검증한 것은 아니다. Batch 인계/재시작은 동일 MySQL 트랜잭션에 알림/작업/Outbox/checkpoint를 커밋한다. Kafka ACK는 별도 Relay 경계이며 Batch COMPLETED는 DB 인계 완료다. 대상별 고정 ID와 DB 유니크 제약을 함께 적용했다. FAILED 후 새 앱 재시작, checkpoint 실패 롤백, 두 앱 중복 실행 거절, ACK 불확실성 뒤 중복 소비를 검증했다. 강제 종료 복구는 단일 MySQL 세션으로 이전 실행의 업무/메타데이터 쓰기를 차단하고 같은 인스턴스에서 재개한다. 소유권 표시가 없는 구버전 STARTED/UNKNOWN은 복구하지 않는다. DB 인계 부하는 10만→100만 건 저장과 전수 매핑/완료 재요청을 검증했다. 최종 100만 인계는 2545.391초였으며 공급자 호출은 0건이다. HTTP Mock 1천/1만 건 사전 실험도 통과했다. 10만 건 HTTP 발송도 통과했다. 다음은 100만 건 발송 실험이다. HTTP 발송 사전 실험은 1만 캠페인과 564개 실시간 요청의 HTTP·DB·offset을 대조했다. 10만 건 발송 실험은 캠페인100000+실시간5342개의 HTTP·DB·전체 참조·offset을 대조했다. 발송1346.993초/74.239건·초, 실시간p95 단독553.657ms/혼합918.136ms였다. 공유 자원 간섭과 소수 표본 한계를 남긴다. 페이지1000행/고정 배열/발송60분·task90분 상한을 두었다. 100만 건 발송은 계속 미완료다. 100만 건 준비는 별도 opt-in task와 표본·샘플·메모리·시간 상한을 정리한 것이다. 2026-10-31에는 사용자 선택에 따라 준비만 했고, 2026-11-02 후속 요청으로 장시간 실험을 시작했다. 첫 실행은 약38.4만 건 진행 후 접수 probe의5초 응답 timeout으로 실패했다. 실패 원본과 진단 도구를 보강했으며 원인 진단·작은 재현 후 재실행을 결정한다. 실제100만 건 발송 항목은 미완료다. 작은 진단에서는 같은 timeout이 재현되지 않았다. 역할별 인덱스 대신 상태 인덱스를 선택한 계획과 통계 추정의 한계를 기록했다. 후속 고정 조건 비교에서 통계 갱신 후 실시간 선점의 스캔 노드가100001→1행으로 줄었다. 이는 오래된 통계를 만든 진단이며 실제1m 장애 원인 확정은 아니다. 후속 잠금 검증에서 기본 조건의 교차 역할 레코드 잠금과 갭 대기를 재현했다. 선점 인덱스와 claim의 READ COMMITTED 경계를 수정했고 기본269개/별도 잠금·HTTP 검증을 통과했다. 새 접수는 같은 대기가 관측되지 않아 원래 API timeout 원인은 여전히 미확정이다. 수정 후10만 건 HTTP도107269건 전수 대조를 통과했다. 발송1840.512초/54.333/s로 이전보다 처리량은 낮았고, 혼합 APIp95 203.917ms/최대1904.024ms였다. 각1회/공유 호스트/계측 차이로 수정의 성능 효과를 확정하지 않는다. 구간 계측/완료 저장 묶음은1만 건을 각 조건2회 비교했다. 단건109.349131.447초/최대10건93.949100.122초였고 HTTP42,160건을 대조했다. 후속10만 건 비교에서는 같은37d4d3c의 단건1512.978초/66.095/s와 구 OR10건1132.741초/88.281/s를 관측했지만, 혼합 APIp95는297.106→334.034ms로 증가했다. 별도 SQL 진단에서 구 OR의 전체 PRIMARY 스캔/역할 간 잠금 결함을 재현해 기본키 단건 UPDATE최대10번을 한 번 커밋하도록 수정했다. 수정판557b2cf도10만 건을1170.631초/85.424/s에 처리하고 HTTP104639건을 대조했다. 단건 기준선 재사용 대비 처리량은29.24% 증가했지만 혼합 APIp95는364.875ms로 악화했다. 기본값1을 유지하며 캠페인10건은 선택 옵션이다. 실시간1을 유지하고100만 건은 별도 단계로 남긴다. 로컬 Relay 병렬 사전 비교는 같은 Worker3/Hikari4/200/s에서1만 건을1→2→2→1로 처리했다. HTTP41711건 전수 대조는 통과했지만1개120.646131.381/s, 2개98.426137.346/s로 일관된 개선을 확인하지 못했다. 동일 JVM의 테스트 전용 루프이며 앱 기본값/다중 서버 배포를 변경하지 않는다. JDBC/offset 세부 진단에서는 같은1만 건을1→2→2→1로 처리하고 HTTP41717건을 전수 대조했다. 이 설정의 Worker JDBC 실행16회/DB 커밋3회와 기존 handler 밖의 건별 offset 저장5.7706.008ms를 확인했다. 연결 획득 외 SQL·트랜잭션 상태·commit 비용도 남아 있다. 기본값을 유지하고 다음은 완료된 offset의 유한 묶음 저장 비교를 검토한다. offset 묶음 저장 비교는 기본 RECORD를 유지한 테스트 전용 COUNT_TIME10개/100ms다. 같은 Relay2/Worker3에서1만 건 각2회, HTTP41910건 전수 대조를 통과했다. 동기 커밋은10000→2163/2019회로 줄었고, RECORD89.67698.933/s, COUNT_TIME115.079~123.383/s를 관측했다. 마지막 offset 반영과 장애 경계도 확인했다. 후속 오류 경계와10만 건 비교는 HTTP5종×두 모드와 실제 commit RPC 앞뒤의 합성 오류 복구를 검증했다. 같은740d2ef에서10만 건 각1회/HTTP209563건 전수 대조, 커밋100000→23891회/처리량77.180→92.263/s였다. 실시간 접수p95가97.694→202.728ms로 높게 관측돼 기본 RECORD를 유지한다. 다음은 제한된 표본의 실시간 지연 구간 분리 진단이다. 실시간 접수 구간 진단은 API의한 트랜잭션/SQL4회/commit1회와 요청별 JDBC·서버·클라이언트 시간을 확인했다. 같은 소스1만 건 각1회/HTTP21034건을 대조했으나10만 건의p95 수준은 미재현이다. 긴 SQL/commit의 내부 원인은 후속 검증으로 남긴다. 100만 건 재실행은 아직 하지 않았으며 이후 같은 자원/예산/5초 제한의 별도 장시간 실행으로 판단한다. 실제 검증 명령과 결과는 PROGRESS의 S7 기록을 따른다.

100만 건 성공 결과와 한계를 보존했다. 최초API timeout 원인조사는미확정으로남긴다.

S8. 성능 실험

  • 캠페인 Consumer/Worker 활성 상한 1/1·2/2·3/3에서 처리량/lag/DB/CPU 측정(1만 건, 각 2회)
  • 격리 Kafka 토픽 3→6의 key mapping/순서/offset 초기화·live 재할당 계약 검증(앱 발송 경로 제외)
  • 앱의 파티션 3개 가정(일시 복구 budget 포함)을 점검하고 토픽별 6개 파티션 구성의 오류 경계 검증
  • 고정 Consumer/pool/quota의 1만 건 HTTP Mock 경로에서 파티션 3/6 반복 비교와 정합성 검증
  • Kafka 단독 producer 단건 ACK/제출창10/none·LZ4 사전 비교와 전수 정합성 검증(각2회)
  • 순차 ACK/linger0의 실제 HTTP Mock 경로 none/LZ4 압축 반복 비교(1만 건, 각2회)
  • 유한 제출 창의 ACK/부분 실패/timeout/중단/lease fencing·복구 경계 검증(선택1~10/기본1, 주기 사이 미완료 future 상한 포함)
  • 오류 경계 검증 후 실제 HTTP 경로의 제출 창1/10 비교와 batching 계측(각2회·linger0/none·완료 저장1 고정)
  • 병목이 외부 I/O일 때만 스레드 풀 vs 가상 스레드 비교(조건 미충족으로 보류·미실행)
  • 파티션 간 완료 순서가 달라도 미완료 offset을 건너뛰지 않는지 검증(현재 파티션 내부 동기 처리·RECORD/COUNT_TIME·완료 저장 실패/새 앱 복구)
  • Testcontainers 회귀 테스트 + 기존 앱 메트릭의 Grafana 대시보드(실제 수집·22패널/27쿼리·오류/누락 표시·전체389개 통과)
  • 실험별 고정 환경·동일 합성 규격의 반복 측정, 원본·명령·해시 보존과 종합 대조(HTTP18회/Kafka단독8회·그룹 간 코드/UUID 차이 명시)

첫 동시처리수 비교는 1→2→3→3→2→1 순서로 6회 통과했다. 평균 처리량은 47.324/67.566/94.154건/초였다. Consumer와 Worker 활성 상한을 함께 맞춘 효과이며, 공유 호스트의 각 2회 결과로 일반적인 최적값을 확정하지 않는다. 운영 기본값은 유지한다. Consumer·파티션·producer 개별 비교의 반복 실행과 원본은 아래에 보존했다. 실험별 조건·원본의 종합 대조도 아래 S8_REVIEW에서 완료했다.

파티션 변경 계약은 집중 테스트 5개로 기존 기록/offset 보존과 key 이동, pause 제어의 순서 역전, 신규 파티션의 earliest/latest 차이와 Consumer 재할당을 검증했다. latest 제어군은 6건을 건너뛰어도 최종 lag가 0이었다. 앱은 earliest/기존 토픽 3을 유지한다. 다음은 테스트 전용 HTTP Mock 경로 비교이며, 이 브로커 검증을 앱 전체의 무중단 확장 보장으로 해석하지 않는다.

앱 복구 예산 검증은 기본 용량 6을 유지하고 명시적 최대 12를 추가했다. 요청/Retry 6+6 복구와 13번째 용량 초과, 지속 장애·잘못된 상태의 중단/재시작을 확인했다. 1만 건 HTTP Mock 파티션 비교는 Consumer/활성 상한 3, pool/quota와 복구 용량 12를 고정하고 3→6→6→3 순서로 4회 통과했다. 캠페인40000+실시간2938건의 HTTP/DB/매핑/전체 offset을 대조했다. 평균55.749→68.392건/초(+22.68%)를 관측했으나 3개 조건의 첫/마지막 차이도 커서 인과적 개선율로 확정하지 않는다. 운영 기본 파티션은 3을 유지한다. 다음은 producer batching/압축의 적용 경계와 고정 조건 비교 설계다.

Producer 사전 비교는 4조건을 역순까지8회/13200건 검증했다(준비1200+본 측정12000). 단건 ACK의 linger5는 본 측정 대기만 늘었고, 제출창10이 원래 linger0 단건보다 일관되게 빠르지는 않았다. 같은 제출창의 LZ4는 outgoing byte counter가67.90% 줄었지만 평균 처리량은 낮고 클라이언트 CPU 평균은 높았다. 앱 DB/Worker/HTTP는 포함하지 않는다. 앱의 동시 제출 도입은 ACK/부분 실패/중단/lease fencing의 오류 경계를 별도로 검증한 뒤 결정한다.

앱 경로 압축 비교는 순차ACK/linger0과 자원/quota를 고정한 none→lz4→lz4→none에서 캠페인40000+실시간2352건을 전수 대조했다. producer outgoing byte counter 평균은4.79% 줄었지만, 평균 처리량은 none90.019건/초, LZ4 74.970건/초였고 동일none의70.064~109.973 변동도 커서 인과적 성능 효과를 확정하지 않는다. 운영 기본none을 유지한다. 유한 제출 창의 오류 경계는 아래 후속 검증으로 완료했으며 앱 batching 비교와 구분한다.

유한 제출 창 오류 경계는 기본1/선택2~10의 제출·공통 ACK deadline·미완료 future 보존을 구현했다. 부분 실패·claim/send 예외·timeout·중단·lease fencing·50건 상한과 실제 Kafka 재발행 뒤 Worker 중복 차단을 검증했다. 최종 집중13개/전체379개가 통과했다. 프로세스 강제 종료와 실제 HTTP 성능 비교는 이번 검증 범위 밖이다. 후속 실제 HTTP 경로 비교는 아래와 같이 완료했다.

실제 HTTP 제출 창 비교는1→10→10→1에서 캠페인 알림40000+실시간2217건을 전수 대조했다. 조건별20000건/발송 시간 합의 처리량은86.279→90.969건/초(+5.44% 관측)였으나 실행별 범위와 실시간 지연이 겹쳤다. 큰 producer 묶음 증가도 관측하지 못해 기본 제출1/완료 저장1/linger0/none을 유지한다. 최종 집중26개/전체384개가 통과했다. 외부 I/O 주병목의 근거가 부족해 가상 스레드 비교는 조건부 보류한다.

완료 순서와 미완료 offset은 파티션 0의 첫 작업을 유지한 동안 파티션 1의 두 작업이 먼저 완료·커밋되는 네 시나리오다. RECORD/COUNT_TIME에서 미완료 offset 보존과 완료 저장 실패 후 새 컨텍스트 복구를 확인했다. 클래스 집중15개/전체388개가 통과했다. 실패 복구는 논리 작업4개에 HTTP 수락5회이며 외부 exactly-once를 뜻하지 않는다. 같은 파티션 내부의 비동기 병렬 ACK는 도입하지 않았다. Grafana 대시보드와 기존 메트릭 연결·회귀 점검은 아래와 같이 완료했다.

Prometheus/Grafana 관찰은 선택 로컬 Compose와 22개 패널/27개 쿼리를 추가했다. 실제 두 역할 앱·MySQL/Kafka/Redis/HTTP Mock의 캠페인 pause→lag3→재개/수락8개→lag0→앱 종료/lag없음을 대조했다. 내부 promtool8개/새 통합1개와 전체49개 클래스·389개가 통과했다. 표본 누락·NaN·현재 값NaN·오래된 표본을 정상0으로 숨기지 않는다. 로컬 전용 읽기 구성이며 외부 경고 전송/인프라 노드 exporter/LB·클라우드 배포는 범위 밖이다. 실험별 반복 조건·원본과 기본값 선택 근거의 종합 대조는 아래와 같이 완료했다. 가상 스레드는 기존 조건부 보류를 유지한다.

S8 종합 대조와 기본값 결정은 HTTP18회·Kafka단독8회의 원본/43개 근거 SHA와 계산을 검산했다. HTTP 합계192065회 수락을 대조하고 실행별 처리량 평균과 총 건수/총 시간, 개별 p95 범위를 분리했다. 새 부하 실행은0회다. Consumer 문서의 운영 기본3 설명은 당시/현재 설정 원본에 맞춰1/1·대기2로 정정했다. 실험3/3/0과 기본 앱 용량을 혼동하지 않는다. 정상 경로 정합성과 선택 옵션은 보존하되 인과적 성능 효과/운영 최적값은 미확정이다. 다음은 S9의 결과 설명과 로컬 LB·API2/Worker2 검증이다.

S9. 결과 정리와 선택적 배포

  • 3개 주제: 외부 API 보호 / 유실·중복 대응 / 병렬 처리·배포(설계 판단 정리)
  • 문제 -> 변경 이유 -> 전후 지표 -> 남은 한계로 정리(대안·선택 비용·장애 경계·성능 관측을 구분)
  • 로컬 다중 프로세스: 프록시/LB 앞단 + API2개·Worker2개에서 API 제외/Worker 재배정·공유 예산·정합성 검증(S9 로컬 토폴로지, REALTIME·작업 완료 이후 제외/인수 범위)
  • 보완 커밋 b8f5043의 원격 CI398개 통과 확인과 별도 머신 실험의 단계/완료 조건 설계
  • 첫 원격 실행 절차와 합성 요청 검증 도구 준비, 로컬에서 20건·100건 정합성 확인
  • Mac에서 서울 EC2 한 대에 SSH 터널로 접속해 20건 정합성 검증(실험 결과)
  • 같은 서울 EC2와 보존한 볼륨에서 원격 100건 정상 경로 검증
  • Mac과 서울 EC2 사이 SSH 터널 단절·재연결 후 같은 요청 키로 재전송해 유실·중복 대조
  • 서울 EC2 앱 JVM 강제 종료·재시작. 미발행 Outbox 5건과 Kafka 미처리 3건 복구, Mock 수락 후 DB 미기록 1건의 중복 수락 관측
  • 서울 EC2 중지·시작. 미발행 Outbox 4건, Kafka 미커밋 4건을 보존한 볼륨에서 복구하고 유실·중복 수락 0건 관측
  • 앱을 서울 EC2 두 대로 분리하고 공유 MySQL·Kafka가 살아 있는 상태에서 앱 전용 EC2 중지. 미처리 6건 인계 및 신규 3건 처리, 유실·Mock 중복 수락 0건 관측
  • 공유 MySQL·Kafka 개별 중단 및 같은 볼륨 복구. MySQL 중단의 미처리 7건은 앱 재시작 후 복구, Kafka 중단의 접수 8건은 브로커 복구 후 자동 처리. 유실·Mock 중복 수락 0건 관측
  • MySQL 연결 장애 시 Worker 자동 재개 구현 및 로컬 검증. 같은 JVM·Kafka 소비자로 미커밋 7건 복구
  • 서울 EC2 두 대에서 자동 재개 버전으로 MySQL만 중단·복구. 같은 앱 PID와 Kafka 소비자에서 미커밋 5건 복구, 유실·Mock 중복 수락 0건 관측
  • 서울 EC2에서 HTTP Mock 수락 후 완료 저장 전의 MySQL 장애 재현. 앱 재시작 후 미커밋 3건 복구, Mock 중복 수락 1건 관측
  • HTTP Mock에 공급자 호출 멱등성 키 적용. 같은 서울 EC2 장애에서 최초 수락 3회, 기존 수락 재응답 1회, 중복 수락 0회 확인
  • Mock 수락 결과를 파일에 저장하고 MySQL 중단 중 Mock을 강제 종료. 서울 EC2에서 기존 수락 1건 복구, 재응답 1회, 중복 수락 0회 확인
  • Mock 수락 직후 MySQL이 응답하지 않는 상태에서 서울 EC2 중지·시작. 기존 EBS의 수락 ID와 재처리 후 MySQL 공급자 ID 일치, 알림 3건 완료, 중복 수락·유실 0건 확인
  • Firebase 콘솔에서 전용 Android 에뮬레이터 한 대에 실제 FCM 시험 메시지 1건 발송. 발송과 앱 수신의 smokeId 일치, 수신 1회 확인. 단건 수신 검증
  • Notification-Lab Worker에서 FCM HTTP v1 단건 발송을 검증했다. 전용 Android 에뮬레이터에서 동일한 알림 ID를 1회 수신했고 Kafka 미처리는 0건이었다. 검증과 제한

S9 로컬 검증에 실제 HAProxy/4개 JVM 시나리오를 추가했다. 전체 회귀397개와 표본 강화 후 집중1개를 통과했다. 실제 timed commit Wakeup1회 뒤 동일 offset 재시도와 HTTP/DB/offset 정합성을 확인했다. 단말 도착·호스트 HA·처리량 검증은 아니다. 초기 Batch CLI 재실행 실패는 원인 미확정으로 기록하고 로그 보존을 보완했다. 세 주제의 결과·판단·한계까지 정리했다. 필수 로컬 학습 범위의 결과 정리는 완료했다. 70fe60f까지 원격 반영했으나 CI는397개 중3개 Worker 동시성 테스트가 실패했다. 시작 준비 조건 보완은 클래스 집중16개와 전체51개 클래스·398개를 각각 통과했다. 전체는22분10초/실패·오류·스킵0이며 운영 코드·기본값·제한 시간은 유지했다. 과거 원격 실패의 정확한 원인은 미확정이다. 보완 커밋 b8f5043은 푸시했고 원격 CI의398개 통과/실패·스킵0을 확인했다(24분16초). 필수 로컬·원격 CI 확인을 마친 뒤 별도 머신 계획의 첫 단계에서 Mac과 서울 EC2 한 대를 연결해 20건과 후속 100건의 접수·수락·DB 이력·오프셋을 대조했다. 후속 SSH 터널 단절·재연결 실험에서 합성 알림 10건의 정합성을 대조했다. 앱 JVM 강제 종료·재시작 실험에서 8건을 복구했고, Mock 수락 후 DB 미기록 상황에서 중복 수락 1건을 관측했다. 같은 EC2를 중지·시작한 뒤 앱 기동 전에 대기 작업 8건의 보존을 확인하고 모두 복구했다. 별도 앱 EC2가 중지된 뒤 같은 그룹의 생존 Worker가 Kafka 파티션을 인계받고 미처리 6건을 완료했다. 공유 MySQL과 Kafka를 각각 중단한 뒤 미처리 요청을 대조했다. MySQL 복구 후에는 Worker를 다시 시작해야 했다. Worker 자동 재개를 구현하고 로컬과 서울 EC2에서 MySQL 컨테이너 중단·시작을 재현했다. 서울 EC2에서는 앱 재시작 없이 미커밋 5건을 복구했다.

공통 지표 정의

  • accepted requests: API가 명시한 접수 기준을 충족한 고유 요청 수 (S1과 S3의 기준 구분)
  • provider attempts: 재시도 포함 외부 호출 시도 수
  • provider accepted: 공급자 수락 성공 수, 단말 도착 수 아님
  • completion throughput: 단위 시간 내 처리된 고유 작업 수, 재시도를 중복 집계하지 않음
  • end-to-end latency: 접수 시각 -> 최종 상태 시각 (p50/p95/p99)
  • pending age: 아직 끝나지 않은 가장 오래된 작업의 나이 (outbox와 Kafka를 분리)
  • duplicates: 이벤트 재전달 수, 중복 작업 차단 수, 관측 가능한 중복 provider 호출 수를 구분
  • 자원: CPU/RSS/GC/스레드/DB connection/in-flight 요청/네트워크

이번 버전에서 제외

회원가입 UI, 관리자 UI, 이메일/SMS, MSA 다중 저장소, K8s, Service Mesh, Cassandra, Temporal, 자동 클라우드 확장. Claude Code 또는 멀티 에이전트는 전제 조건이 아니다. 우선 한 도구에서 구현/테스트/기록을 완결한다.