이 논문에서는 적은 오버헤드로 dedup처리량을 증가시키고 전송 효율을 향상시키 위해 AA-Dedupe인 application-Aware 소스 중복제거를 제시하였다. Observation 1: 대부분의 저장 공간은 매우 작은 sub-file들이 큰 파일로 만들어져 있다. Implication: 이러한 큰 파일을 위해 해시 함수를 이용하는 파일-레벨 중복 제거로 개인 컴퓨팅 환경에서 dedup 하기에 충분하다. Observation 2: application level 중복 제거에서 다양한 type들이 있으면 데이터량이 많아도 상관이 없다. Implication: 애플리케이션 기반 중복 제거는 독립적으로 중복을 각각 애플리케이션에서 제거함으로써 병행처리 할수 있어 효율향상이 된다. Observation 3..

IM-Dedup: An Image Management System Based on Deduplication Applied in DWSNs - Department of Computer and Technology, Hangzhou Dianzi University, Hangzhou, Zhejiang 310018, China 이 논문은 OpenStack에서 이미지 파일을 블록으로 나누고, Fingerprint pretrancsmission 기술을 이용하여, 중복 데이터 블록 전송을 피하기 위하고, 이미지 스토리지 서버에서 중복 제거 모듈을 가진 파일 시스템을 활용함으로써 저장 공간을 줄이기 위한 이미지 관리 시스템 (IM-Dedup)에 대한 논문이다. 1. OpenStack Glance OpenStack에서 이..

Deduplication기법 Deduplication기법의 핵심 기술은 스토리지를 저장하는 과정에서 기존 데이터와 비교하여 같은 데이터의 백업을 필러팅 하는 것입니다. 그런 다음 포인터를 통해 기존 데이터에 연결하는 것입니다. 업계에서는 중복제거(Deduplication)의 처리 시간을 감소하는데 집중합니다. 파일 수준의 중복 제거 파일 수준의 중복 제거는 말 그대로 파일 전체가 중복되는 경우에만 중복 제거를 수행하는 방식으로 SIS(Single Instance Storage)라고도 불린다. 중복되는 파일이 많은 경우 손쉽게 구현될 수 있다는 장점이 있으나 효율성 면에서는 바람직하지 못하다. 예를 들어, 두 파일이 딱 1비트만 달라도 서로 다른 파일로 인식되기 때문이다. 데이터 블록수준의 중복 제거 반면..

Data Deduplication Using Dynamic Chunking - 고정된 길이의 Chunking 과 파일 유사성 기술을 이용하는 동적 Chunking 방법 파일 유사성 정보를 통하여 중복된 데이터를 찾는다는 아이디어를 가진 이 논문은 파일 유사성 정보 내에 해시 키 값과 파일 오프셋을 비교함으로써 중복된 점을 찾는다. 2개의 파일 사이에 해시를 비교함으로써 중복된 영역을 파일에서 찾을 수 있다. 똑같은 해시키가 있다면, 고정 Chunking을 적용한 파일 오프셋을 이용하고, 그 외에는 데이터 중복 제거를 건너 뛴다. System Design 이 논문의 핵심 개념은 2개 파일 사이에 중복된 점을 알기 위해 파일 유사성 정보를 적용하는 것이다. 2개의 파일 사이의 유사성의 정도를 알기 위해 대표..

EndRE: An End-System Redundancy Elimination Service for Enterprises 1. EndRE - 스마트폰과 같은 자원이 제한된 클라이언트를 고려하여 설계됨 - 전산 작업이 대부분 서버에서 이루어지는 경우를 말함 - 기존 중복 제거 기법에 사용된 Rabin 알고리즘보다 더 빠른 Samplebyte로 불리는 새로운 Fingerprint 알고리즘을 사용 - EndRE는 기업에서 데이터 센터의 서버에서 클라이언트로 데이터 전송을 최적화 하기 위해 설계됨 2. EndRE Design - RE모듈을 클라이언트와 원격 서버의 네트워크 스택에 도입한다. - 서버 측 모듈은 이전 데이터의 캐쉬에 대하여 비교함으로서 중복을 확인 한다. - 클라이언트 측 모듈은 FIFO log와..

Venti : a new approach to archival storage Venti는 중복 데이터를 제거하여 저장하는 스토리지 시스템이며 파일을 고정된 크기의 블록으로 나누고 각 블록에 SHA1 해시를 적용하여 중복을 제거한다. Venti특징 1. 다중 클라이언트와 응용프로그램에 의해 공유 되는 일 회 기록할 수 있는 아카이브 데이터 스토리지를 제공 2. 블록 단위의 네트워크 스토리지 시스템 3. 블록은 SHA1 해쉬 함수에 의해 해시 값으로 계산됨 4. Write once policy Venti Archival Server Venti Archival Server는 아카이브 데이터 처리를 위해 고안된 블록 수준의 네트워크 스토리지 시스템이며, 인터페이스는 클라이언트 애플리케이션이 가변성 규모의 데이터..