Fire-Flyer AI-HPC cluster * 1250 compute node ( 8 gpus each) -> 10k gpus * 1x 200Gbps NIC * 80% Nvidia perf 60% cost * 180 storage nodes w/ RDMA (IB) * 2x 200Gbps NIC * 16*16TB PCIe 4.0x4, ~2.8GB/s read * aggregated 9TB/s, peak read 8TB/s (very saturated) * Topology * Two…
재미있는 논문! CXL 과 같은 두 가지 tier의 메모리가 있을 경우, 그냥 빠른 메모리가 좋으니 hot data를 다 때려박는 것보다 섞어서 쓰는 게 좋다는 논문. Memory hierarchy를 따르면 당연히 hot data를 젤 빠른 cache에 놓고 쓰는 게 맞는데, hot data를 적당히 느린 메모리에도 섞어서 배치하면 성능이 올라간다는 것이다. 참 우리의…
컨셉 자체는 모두가 항상 시도하는 이야기이다. Userspace로 옮겨서 오버헤드 줄이겠다!!! 근데 이 논문은 Userspace interrupt와 Memory protection key 두 가지 새로운 하드웨어 기능을 이용했다고 한다. 이를 이용해 uProcess라는 abstraction을 만들었다. uProcess는 크게 Address space organization, call gate, Signal handling, 그리고 context switch 네 가지 부분으로 구성되어 있다. 1. Address space…
FIFO queues are all you need for cache eviction (SOSP'23) 의 연장선 같은 느낌의 논문이다. 저자도 같다. 대충 요약하자면 굉장히 심플한 알고리즘인 SIEVE의 성능이 기타 복잡한 Cache Eviction Policy들보다 비슷하거나 낫다는 이야기이다. 이런 식으로 지금까지 많은 알고리즘이 등장했다. GL-Cache 같은 경우 같은 저자가 쓴 논문. 근데 당연히도 복잡한…
Corey 를 같이 보면 좋은 논문. 2010년의 CPU가 어땠는지 먼저 생각해 봐야 한다. 이 논문에서는 48 코어 컴퓨터를 확인했는데 솔직히 2025년 현재 48코어는 흔하디 흔한 스펙이다. 대충 타오바오에서 퇴역한 제온 두개 주워와서 퇴역한 2슬롯 보드에 넣어주면 50~60으로도 충분히 맞추는 스펙. 즉 지금은 또 이야기가 다를 것이다~ 그래나이트 래피드 제온…
해결하려는 문제: host network안의 contention이 end-to-end performance에 영향을 줄 수 있다. 어떻게 접근했나: 1. host network를 모델링했다. 이런 식으로 간단히 Black box를 Grey box로 생각할 수 있도록. 그리고 크게 두 가지 Path가 생기는데, 하나는 Core-to-Memory, 다른 하나는 Peripheral-to-Memory 이다. 그리고 이 논문에서는 Credit-based flow control을 전제로 한다. 이 방식은 Credit을…
해결하려는 문제: Link Bandwidth가 어마어마하게 증가하는 요즘(+100Gbps) , Linux Network Stack에서 Overhead는 어디서 나올까?? 참고자료: 리눅스 Network Stack Data Path End-to-End Datapath 1. Sender는 write 시스템콜 실행 2. (이제부터 커널) socket buffer initialization 3. TCP/IP Layer 에서 프로세싱 4. Netfilter : Linux kernel framework, callback function들 register 5. XPS : transmit…
Embedded System * Embedded System * Application Specific * 사용 용도가 명확하고, 유저가 이를 바꿀 이유도 없음 * Reactive * Efficient * Specification * 가성비 추구 * Binary Compatibility 필요 x * General Processor와는 다르게 성능은 필요한 정도만 있으면 됨. 가격이 경쟁력 * 벤치마크 방법도 당연히 다름. * Features * Arithmatic / Datapath * Mem Arch * Add mode * Opt control * Special Purpose Peripherals * Arithmatic…