<aside> 📌

먼저 기억할 세 가지

• 송신 완료는 단계별로 다르다: WSASend 완료 ≠ NIC 송신 완료 ≠ 상대 수신 완료.
• IOCP는 완료 통지, MDL은 메모리 페이지 배치 설명, DMA는 장치의 데이터 전송 방식이다.
• Zero-copy 주의: SO_SNDBUF=0은 전체 Zero-copy 보장이 아니다. 반면 RIO의 사전 버퍼 등록·페이지 고정은 공식적으로 확인된다. </aside>

1. WSASend 송신 과정

send는 일반 송신 API이고, WSASend는 여러 WSABUF와 Overlapped 송신을 지원한다. 개념적인 송신 흐름은 다음과 같다.

애플리케이션 버퍼 (WSABUF)
  ↓ WSASend
Winsock / AFD / TCP-IP
  ├─ 필요에 따라 커널 버퍼링·복사 등 처리
  └─ TCP 전송 시점·재전송·흐름/혼잡 제어 결정
  ↓
NDIS (NET_BUFFER_LIST → NET_BUFFER → MDL 체인)
  ↓
미니포트 (DMA 매핑 / scatter-gather 디스크립터)
  ↓
NIC (DMA로 메모리에서 읽어 네트워크에 송신)

※ IOCP 완료 통지는 별도: 위 단계를 전부 마쳤다는 뜻은 아님.

• TCP의 Nagle은 작은 송신을 지연·결합할 수 있다. TCP_NODELAY는 Nagle을 비활성화하지만 무조건 즉시 전송을 보장하진 않는다.
• NIC는 MDL 자체를 읽지 않는다. 커널/드라이버가 MDL 등의 정보를 이용해 DMA 주소·디스크립터를 설정한다. CPU는 송신 준비와 완료 처리에 관여한다.
• 이 그림은 개념 모델이다. AFD.sys가 특정 API를 호출하는 정확한 내부 순서로 해석하면 안 된다.

근거: WSASend, NDIS Sending Network Data.

2. 버퍼링과 송신 완료

SO_SNDBUF

• 과거 KB214397에 따르면 일반적인 TCP 송신은 사용자 데이터를 Winsock 커널 버퍼로 복사하고, 스택이 실제 송신 시점을 결정한다.
• SO_SNDBUF는 송신 버퍼링에 관한 옵션이다. 한도를 넘었다고 복사를 즉시 중단하는 것은 아니며, 완료 통지만 지연될 수도 있다.
• SO_SNDBUF=0은 Winsock 송신 버퍼링 비활성화를 뜻하지만, 전 계층의 메모리 복사 0회나 MmProbeAndLockPages 직접 호출을 증명하지는 않는다. 작은 패킷에서는 오히려 성능이 나빠질 수 있다.
• 해당 KB의 8KB 기본값과 지연 ACK 200ms는 과거 사례다. 최신 Windows의 공통 기본값으로 단정하지 않는다.

WSASend 반환값과 IOCP

• 송신 완료는 전송 공급자가 사용자 버퍼를 소비했다는 뜻이다. 상대방 수신/ACK 보장은 아니다. 버퍼링 경로에서는 NIC 송신보다 먼저 완료할 수 있다.
• IOCP에 연결된 소켓은 즉시 성공해도 보통 완료 패킷이 도착한다. 단 FILE_SKIP_COMPLETION_PORT_ON_SUCCESS 등 알림 설정 예외를 확인해 중복 처리나 누락을 피해야 한다.

근거: WSASend 반환 및 완료 규칙, IOCP.

3. IOCP 송신 버퍼 수명 (실무 핵심)