Orchestra

Orchestra

MapReduce 와 Dryad같은 컴퓨팅 응용 프로그램이 계산 단계 사이에서 엄청난 양의 데이터를 전송하는데 이 전송 작업을 하는데 전체 작업시간의 50%이상 시간을 차지한다.

셔플 전송에 소요되는 시간의 양을 보기 위해 일주일 동안 Facebook의 Hadoop클러스터에서 188,000 MapReduce 작업의 추적을 분석 하였다. 16%의 작업이 실행 시간의 70 % 이상을 차지하므로 네트워크가 MapReduce의 병목이다.

Orchestra Architecture

오케스트라 아키텍처

Inter-Transfer Controller(ITC)가 전송 스케줄링을 실행하며 여러 개 TC의 액티브 전송을 관리한다. 각 TC는 데이터 크기, 노드 수, 및 기타 요소에 따라 여러 전송 메커니즘 중 하나를 선택할 수 있다.

Broadcast Transfers

소프트웨어 업데이트 그리고 VM 이미지를 배포 하는데 동일한 데이터가 다수의 머신에반복으로 전송된다. 데이터 센터에서 broadcast을 구현하기 위한 현재의 메커니즘을 설명하고 각자의(NFS,HDFS) 장단점을 말했다.

Cornet

Cornet은 데이터 센터에서 최적화 된 BitTorrent와 유사한 프로토콜이며 데이터 센터 네트워크의 높은 속도와 낮은 대기 시간 연결을 활용 하였다. 데이터 센테내에서 이기적인 동료의 부재가 없을것이며 악의적인 데이터 손상도 없다. Cornet은 아래 세 가지 측면에서 BitTorrent 다르다.

• BitTorrent와 달리 기본값이 4M인 데이터 블록을 사용한다.
• BitTorrent는 일부 피어(leechers)전송에 기여하고 그들이 다운로드를 완료하면 공유하지 않는다. Cornet에서는 각 노드의 전체 전송기간 동안 전체 용량을 기여하고 있다.
• Cornet은 데이터 무결성을 보장하기 위해 각 데이터 블록에 고가의 SHA1 작업을 사용하지 않는 대신, 전체 데이터에 단일 무결성 검사를 수행한다.

Topology-Aware Cornet

대부분의 데이터 센터는 높은 계층 네트워크 토폴로지를 사용하고 있으며 동일한 랙에 두 개의 노드 사이의 전송 시간은 다른 랙에 있는 노드과의 전송시간보다 훨씬 빠르다. 그래서 포톨로지에 따른 두가지 Cornet를 제시 하였다.

CornetTopology: 네트워크 토폴로지를 미리 알려져 있다고 가정한다. 여기서TC는 각 노드들의 집합으로 구성된 데이터베이스를 가지고 있다. TC는 수신기와 같은 랙 노드에우선 순위를 부여 하며 각 랙마다 스웜을 형성한다.

CornetClustering: 네트워크 토폴로지에 관한 정보가 수정 되였을때 예를 들면 VM이 마이그레이션하여 나타나는 문제를 방지 하기 위하여 CornetClusterig을 개발 하였다.CornetTopology와 같은 매커니즘을 사용하고 TC가 네트워크의 업데이트를 주기적으로 확인하고 다시 계산하여 유지합니다.