Earticle

There have two effective ways to improve the overall efficiency of the object-based distributed storage system, one is network caching technology and the other is metadata server cluster load balancing strategy. Under the heterogeneous storage environments, object-based distributed file system face the key challenge of lacking caching mechanism for the high-frequency access files, metadata server load imbalance also reduce the overall efficiency. To address these challenges, we discuss the design and implementation of an object-based distributed file storage caching system, and propose a weight-based metadata server cluster load balancing strategy. It effectively improve the metadata processing capacity. Base

In design of the object-based storage system, cache design of the server becomes an important guarantee for improving service quality. This paper presents a cache design of load balancing system for object-based storage, which consists of three main aspects. First, the cache update policy is proposed. The strategy considers the overall cache as a pool, consistency and accuracy of updating is ensured through the locking mechanism, while using Bloom Filter combined with the updated time series to achieve updating simplification. Secondly, the cache replacement strategy is introduced which achieving the cache replacement policy using cache spanning tree combined with cache stack. Finally, cache design model is proposed based on energy consumption. Experimental results show that the proposed cache design can improve the efficiency of cache operation in object-based storage system, while reducing energy consumption of cache operation.

스마트폰의 메모리로 사용되고 있는 DRAM은 고집적화의 한계로 인해 더 이상 용량 증대가 어려울 뿐 아니라 배터리 소모의 상당 부분을 차지하는 것으로 분석되고 있다. 이에 비해 페이스북 등의 소셜 네트워크 서비스는 점점 많은 메모리를 필요로 하고 메모리 용량 부족시 스토리지를 접근하게 되어 상당히 느린 응답 시간을 나타내고 있다. 본 논문은 스마트폰 저장장치의 성능 개선을 위해 차세대 비휘발성메모리를 버퍼캐쉬로 탑재하고 이를 효율적으로 관리하는 알고리즘을 제안한다. 제안하는 기법은 파일의 쓰기 연산이 발생한 데이터를 비휘발성메모리에 보관하여 스토리지 접근 횟수를 크게 줄이는 동시에, 읽기 연산과 쓰기 연산의 기록을 별도로 유지하여 두 연산 모두 성능 저하가 발생하지 않도록 한다. 트레이스 기반 시뮬레이션 실험을 통해 제안한 기법이 기존 방식에 비해 성능이 개선되는 것을 보인다.

DRAM is commonly used as a smartphone memory medium, but extending its capacity is challenging due to DRAM’s large battery consumption and density limit. Meanwhile, smartphone applications such as social network services need increasingly large memory, resulting in long latency due to additional storage accesses. To alleviate this situation, we adopt emerging nonvolatile memory (NVRAM) as smartphone’s buffer cache and propose an efficient management scheme. The proposed scheme stores all dirty data in NVRAM, thereby reducing the number of storage accesses. Moreover, it separately exploits read and write histories of data accesses, leading to more efficient management of volatile and nonvolatile buffer caches, respectively. Trace-driven simulations show that the proposed scheme improves I/O performances significantly.

Memcached, commonly used to speed up the data access in big-data and Internet-web applications, is a system software of the distributed-cache mechanism. But it is subject to the severe challenge of the loss of recently uncommitted updates in the case where the Memcached servers crash due to some reason. Although the replica scheme and the disk-log-based replay mechanism have been proposed to overcome this problem, they generate either the overhead of the replica synchronization or the persistent-storage overhead that is caused by flushing related logs. This paper proposes a scheme of backing up the write requests (i.e., set and add) on the Memcached client side, to reduce the overhead resulting from the making of disk-log records or performing the replica consistency. If the Memcached server fails, a timestamp-based recovery mechanism is then introduced to replay the write requests (buffered by relevant clients), for regaining the lost-data updates on the rebooted Memcached server, thereby meeting the data-consistency requirement. More importantly, compared with the mechanism of logging the write requests to the persistent storage of the master server and the server-replication scheme, the newly proposed approach of backing up the logs on the client side can greatly decrease the time overhead by up to 116.8% when processing the write workloads.

Although there are many efficient techniques to minimize the speed gap between processor and the memory, it remains a bottleneck for various commercial implementations. Since secondary memory technologies are much slower than main memory, it is challenging to match memory speed to the processor. Usually, hard disk drives include semiconductor caches to improve their performance. A hit in the disk cache eliminates the mechanical seek time and rotational latency. To further improve performance a divided disk cache, subdivided between metadata and data, has been proposed previously. We propose a new algorithm to apply the SSD that is flash memory-based solid state drive by applying FTL. First, this paper evaluates the performance of such a disk cache via simulations using DiskSim. Then, we perform an experiment to evaluate the performance of the proposed algorithm.

병렬 및 분산 컴퓨팅 영역에서 기존 실험의 대부분은 속도 개선만을 고려하여 알고리즘을 설계 하였다. 이 연구는 일정 수준의 속도 개선을 보이면서도 에너지 절감효과를 기대하고자 저장장치 및 캐쉬의 활용을 생각하여 알고리즘을 설계하는 연구를 진행 한다. 이를 보이기 위해 입출력 비중이 높은 경우를 대표하는 외부 정렬 실험과 순수 연산의 비중이 높은 경우를 대표하는 매트릭스 실험을 하였다. 연구 결과를 통해 저장장치 및 캐쉬를 고려한 알고리즘이 그린 컴퓨팅에 이바지 할 수 있다는 것을 말하고자 한다.

최근 등장한 비휘발성 속성과 램의 속성을 동시에 제공하는 스토리지 클래스 메모리(SCM)는 스토리지 시스템의 입출력 성능과 안정성 향상을 위한 시스템 소프트웨어 연구에 있어 새로운 가능성을 열어준다. 이에 본 연구에서는 트랜잭션 단위 쓰기를 보장하는 SCM 버퍼 캐시를 통하여 스토리지 시스템의 안전성과 성능을 동시에 향상 시키는 한편 시스템 붕괴 시 즉각적인 복구를 가능하게 한다. 본 연구에서 제안하는 트랜잭션 단위 쓰기를 보장하는 SCM 버퍼 캐시 기법은 리눅스 저널링 블록 디바이스(JBD)의 트랜잭션 메커니즘을 기반으로 하므로 JBD 만큼의 안정성을 제공 한다. 동시에 실제 시스템에서의 성능 평과 결과에서 트랜잭션 단위 쓰기를 보장하는 SCM 버퍼 캐시를 적용한 EXT3 파일 시스템은 높은 수준의 안정성을 보장하는 동시에 최소한의 안정성만을 제공하는 파일시스템보다 더 좋은 수행성능을 보여주었으며, 시스템 붕괴 시 시스템을 즉각적(약 0.2초)으로 복구함을 보여주었다.

Using SCM in storage systems introduce new potentials for improving I/O performance and reliability. In this paper, we study the use of SCM as a buffer cache that guarantees transactional unit writes. Our proposed method can improve storage system reliability and performance at the same time and can recover the storage system immediately upon a system crash. The Proposed method is based on the LINUX JBD(Journaling Block Device), thus reliability is equivalent to JBD. In our experiments, the file system that adopts our method shows better I/O performance even while guaranteeing high reliability and shows fast file system recovery time (about 0.2 seconds).

최근 XML 데이타베이스 기반 웹 응용을 위한 XML 질의 캐쉬 기법이 활발히 연구되고 있다. 이와 같은 XML 질의 캐쉬의 실용적인 중요성에도 불구하고, 캐쉬된 질의 결과를 어떻게 저장하는 것이 효율적인지에 대해서는 아직 아무런 연구가 없는 실정이다. 본 논문에서는 XML 질의 캐쉬의 저장 기법을 다룬다. XML 질의 캐쉬의 효율적인 저장 구조 설계에 있어 근본적으로 고려해야 하는 점은 캐쉬된 질의 결과에 대한 대표적인 두 종류 연산 간에 성능 트레이드오프가 존재한다는 것이다. 이 두 종류의 연산은 (1) 캐쉬된 질의 결과를 반환하기 위하여 캐쉬 전체를 검색하는 것과 (2) 소스 데이타의 변경에 대하여 캐쉬를 점진적으로 갱신하기 위하여 캐쉬의 일부분을 변경하는 것이다. 본 논문에서는 모두 여덟 개의 XML 질의 캐쉬 저장 기법을 제시한다. 이들은 크게 세 개의 그룹으로 나누어지는데, (1) 일반적인 텍스트 화일을 기반으로 한 기법 (2) 영속성 있는 DOM(PDOM) 화일에 기반을 둔 기법 (3) RDBMS를 사용하는 기법이다. 이들 모두를 구현하여 성능을 비교하였고, 기존의 XML 저장 기술에 기반을 둔 질의 캐쉬 저장 기법과도 비교 평가하였다.

XML query caching for XML database-backed Web applications began to be investigated recently. Despite its practical significance, efficiency of the storage schemes for cached query results has not been addressed. In this paper, we deal with the storage schemes for XML query cache. A fundamental problem that needs to be considered in designing an efficient storage structure for XML query cache is that there exist performance tradeoffs between the two major types of operations on a cached query result. The two are (1) retrieving the whole of it to return the query result and (2) updating just a small portion of it for its incremental refresh against the updates done to its source. We propose eight different storage schemes for XML query cache, which are categorized into three groups: (1) the schemes based on the plain text file, (2) the schemes based on the persistent DOM (PDOM) file, and (3) a scheme employing an RDBMS. We implemented all of them, and compared their performance with each other. We also compared our proposal with a storage scheme based on a current state-of-the-art XML storage scheme, showing that ours is more efficient.

The conventional hard disk has been the dominant database storage system for over 25 years. Recently, hybrid systems which incorporate the advantages of flash memory into the conventional hard disks are considered to be the next dominant storage systems to support databases for desktops and server computers. Their features are satisfying the requirements like enhanced data I/O, energy consumption and reduced boot time, and they are sufficient to hybrid storage systems as major database storages. However, we need to improve traditional index node management schemes based on B-Tree due to the relatively slow characteristics of hard disk operations, as compared to flash memory. In order to achieve this goal, we propose a new index node management scheme called FNC-Tree. FNC-Tree-based index node management enhanced search and update performance by caching data objects in unused free area of flash leaf nodes to reduce slow hard disk I/Os in index access processes.

MMDB에서 성능에 가장 근 영향을 미치는 부분은 로깅. 체크포인트, 락이다. 기존 연구는 이것들의 성능에 많은 초점을 맞추었으며, 이는 레코드 저장노드 크기에 관한 연구도 마찬가지다. 하지만 초고성능을 요하는 최신 MMDB 응용에서는 성능 조건을 충족시키기 위해 로깅, 체크포인트, 락을 포기하고 기본적인 레코드 저장구조 기능만으로 MMDB를 운용하기도 한다. 이 경우 레코드 저장구조 성능이 중요하게 된다. 이 논문에서는 실험을 통해 최적의 레코드 저장구조 성능을 보이는 레코드 저장노드 크기를 구한다. 그리고 실험 결과를 CPU 캐시 친화 관점에서 분석한다. 최종적으로는 MMDB 시스템 전체 성능의 최적화 관점에서, 실험 결과 얻어진 레코드 저장노드 크기를 검토한다.

The internet SCSI(iSCSI) disk has been studied as a storage system which can be directly connected to TCP/IP network. We designed and implemented a shared disk following the iSCSI protocol and providing cache consistency. It is named as intelligent iSCSI(i$^2$SCSI) disk. The i$^2$SCSI disk provides cache consistency of all blocks that belong to the disk using a conventional lease method and it uses 'contiguous blocks-level locking' The prototype of the i$^2$SCSI disk emulator and its client is designed and implemented in Linux 2.4.

비휘발성 나노 저장 소자는 고속의 바이트 단위 접근성과 함께 비휘발성을 동시에 갖고 있다. 이와 같은 특징은 차세대 장치로 주목 받을 만큼 오늘날의 컴퓨터 구조에 큰 변화를 줄 수 있는 잠재력을 갖고 있으며 이를 접목한 시스템적인 개발 역시 활발하게 진행되고 있다. 본 논문에서는 기존의 메인 메모리와 나노 저장 소자가 융합된 스토리지 메모리 클래스(SCM) 환경 하에서 입출력시에 원자성(Atomicity)이 보장되도록 설계, 구현된 새도우 블록 기법을 소개하고, 더불어 캐시를 사용하며 발생할 수 있는 데이터 일관성 처리의 보장을 다루었다. 또한 실제 FRAM이 장착된 하드웨어 환경 하에서 개선된 새도우 블록을 동작하여 측정한 성능 결과를 함께 제공한다.

비휘발성 나노 저장 소자는 고속의 바이트 단위 접근성과 함께 비휘발성을 동시에 갖고 있다. 이와 같은 특징은 차세대 장치로 주목 받을 만큼 오늘날의 컴퓨터 구조에 큰 변화를 줄 수 있는 잠재력을 갖고 있으며 이를 접목한 시스템적인 개발 역시 활발하게 진행되고 있다. 본 논문에서는 기존의 메인 메모리와 나노 저장 소자가 융합된 스토리지 메모리 클래스(SCM) 환경 하에서 입출력시에 원자성(Atomicity)이 보장되도록 설계, 구현된 새도우 블록 기법을 소개하고, 더불어 캐시를 사용하며 발생할 수 있는 데이터 일관성 처리의 보장을 다루었다. 또한 실제 FRAM이 장착된 하드웨어 환경 하에서 개선된 새도우 블록을 동작하여 측정한 성능 결과를 함께 제공한다.

데이터베이스 시스템에서, 트랜잭션이 수행한 변경 사항은 커밋 전 2차 저장장치에 보존되어야 한다. 일반적 2차 저장장치는 비휘발성 미디어의 처리 지연을 보완하기 위해 휘발성 DRAM 캐시를 가지고 있다. 그러나 휘발성 DRAM에만 쓰여지는 로그들은 영구성을 보장할 수 없으므로, DRAM 캐시에서 저장매체로 로그를 쓰는 지연 시간을 감출 수 없다. 최근 이러한 단점 극복을 목적으로 DRAM 캐시에 커패시터를 장착한 플래시 SSD가 등장하였다. 이러한 비휘발성 캐시를 가지는 저장 장치는 DRAM 캐시에 로그를 쓰고 즉시 커밋 가능하므로, 커밋 대기를 줄이고 트랜잭션 처리량을 증가시킬 것이다. 본 논문은 커패시터 백업 캐시를 사용한 SSD를 로그 저장소로 사용한 경우 데이터베이스의 트랜잭션 처리 성능에 대해 실험 및 분석 한다. 로그를 낸드 플래시에 저장하지 않고 DRAM 캐시에 저장한 직후 커밋 함으로써, 3배 이상의 처리량 향상이 가능하다. 또한 적절한 튜닝을 거친 후 이상적 로그 성능의 73% 이상을 보인다.

In a database system, updates on pages that are made by a transaction should be stored in a secondary storage before the commit is complete. Generic secondary storages have volatile DRAM caches to hide long latency for non-volatile media. However, as logs that are only written to the volatile DRAM cache don't ensure durability, logging latency cannot be hidden. Recently, a flash SSD with capacitor-backed DRAM cache was developed to overcome the shortcoming. Storage devices, like those with a non-volatile cache, will increase transaction throughput because transactions can commit as soon as the logs reach the cache. In this paper, we analyzed performance in terms of transaction throughput when the SSD with capacitor-backed DRAM cache was used as log storage. The transaction throughput can be improved over three times, by committing right after storing the logs to the DRAM cache, rather than to a secondary storage device. Also, we showed that it could acquire over 73% of the ideal logging performance with proper tuning.

빅데이터 분석을 위한 Hadoop 환경에서 고성능 저장장치인 SSD에 대한 중요성이 증가하면서 일반적으로 사용되는 저장장치인 HDD와 혼합하여 사용하는 연구들이 주목 받고 있다. 특히 SSD를 HDD의 캐시로 사용했을 때 저장장치에 대한 I/O 성능을 향상할 수 있다는 연구 결과들이 있다. 본 연구는 이를 바탕으로 SSD를 HDD의 캐시로 사용한다. HDFS는 저장장치에 접근하여 I/O를 수행하는데 기존에는 로컬 서버에서 캐시 미스가 발생한 경우 로컬 HDD로 접근한다. 이러한 방식은 접근하는 데이터에 따라 SSD의 높은 Bandwidth를 활용하지 못하게 되는 경우를 발생시키고 그 결과 특정 서버의 I/O 지연으로 전체 분산 처리의 성능을 저하시킬 수 있다. 이를 해결하기 위해 본 연구는 HDFS 레벨에서 로컬 서버의 HDD와 데이터 복제본들이 저장된 원격 서버의 SSD에서 I/O를 수행하는 경우에 대해 수식을 통해 비용을 비교한다. 그 결과 항상 기대 성능이 높은 저장 장치를 선택하여 데이터를 읽어오게 함으로써 기존 방식보다 성능이 개선될 수 있음을 입증한다.

분산 파일시스템의 클라이언트 측에 SSD 장치를 캐시 장치로 사용하여 분산 파일시스템의 읽기 성능을 향상시키고, Back-end 데이터 서버의 부하를 줄일 수 있다. 이러한 성능 향상을 통하여 기존의 대용량 스토리지 지원만이 가능했던 분산 파일시스템의 적용 분야를 고성능이 필요한 분야로 확장할 수 있다. 본 논문은 국내에서 개발된 분산 파일시스템인 MAHA-FS에 클라이언트 측의 SSD 캐시를 적용하여 가상 데스트톱의 입출력 성능을 향상시킬 수 있음을 보여준다. 실험 결과 NFS에 비해 가상 머신 이미지 배포 시간은 2배 이상, 부팅 시간은 3배 이상 향상시킬 수 있음을 알 수 있다.

In this paper, we introduce the client side cache of distributed file system for enhancing read performance by eliminating the network latency and decreasing the back-end storage burden. This performance enhancement can expand the fields of distributed file system to not only cloud storage service but also high performance storage service. This paper shows that the distributed file system with client side SSD cache can satisfy the requirements of VDI(Virtual Desktop Infrastructure) storage. The experimental results show that full-clone is more than 2 times faster and boot time is more than 3 times faster than NFS.

분산 파일시스템의 클라이언트 측에 SSD 장치를 캐시 장치로 사용하여 분산 파일시스템의 읽기 성능을 향상시키고, Back-end 데이터 서버의 부하를 줄일 수 있다. 이러한 성능 향상을 통하여 기존의 대용량 스토리지 지원만이 가능했던 분산 파일시스템의 적용 분야를 고성능이 필요한 분야로 확장할 수 있다. 본 논문은 국내에서 개발된 분산 파일시스템인 MAHA-FS에 클라이언트 측의 SSD 캐시를 적용하여 가상 데스트톱의 입출력 성능을 향상시킬 수 있음을 보여준다. 실험 결과 NFS에 비해 가상 머신 이미지 배포 시간은 2배 이상, 부팅 시간은 3배 이상향상시킬 수 있음을 알 수 있다.

In this paper, we introduce the client side cache of distributed file system for enhancing read performance by eliminating the network latency and decreasing the back-end storage burden. This performance enhancement can expand the fields of distributed file system to not only cloud storage service but also high performance storage service. This paper shows that the distributed file system with client side SSD cache can satisfy the requirements of VDI(Virtual Desktop Infrastructure) storage. The experimental results show that full-clone is more than 2 times faster and boot time is more than 3 times faster than NFS.

맵 캐시 기법을 사용하는 낸드 플래시 저장장치는 맵 데이터를 저장하기 위한 공간을 필요로 한다. 이 공간을 맵 블록이라 브르며 시스템 유지 및 성능 개선을 위해 사용되는 낸드 블록의 일부를 점유한다. 맵 블록의 개수가 너무 많을 경우 시스템 유지에 블록이 부족해지기 때문에 전반적인 성능이 하락하게 된다. 하지만 맵 블록이 너무 적은 경우에도 전체 맵 데이터를 유지하기 위한 동작이 과도하게 수행되어 성능이 크게 하락하는 문제가 발생한다. 본 논문은 맵 블록 개수에 따른 성능 변화를 분석하고 최적의 맵 블록 개수를 제안한다.

맵 캐시 기법을 사용하는 낸드 플래시 저장장치는 맵 데이터를 저장하기 위한 공간을 필요로 한다. 이 공간을 맵 블록이라 브르며 시스템 유지 및 성능 개선을 위해 사용되는 낸드 블록의 일부를 점유한다. 맵 블록의 개수가 너무 많을 경우 시스템 유지에 블록이 부족해지기 때문에 전반적인 성능이 하락하게 된다. 하지만 맵 블록이 너무 적은 경우에도 전체 맵 데이터를 유지하기 위한 동작이 과도하게 수행되어 성능이 크게 하락하는 문제가 발생한다. 본 논문은 맵 블록 개수에 따른 성능 변화를 분석하고 최적의 맵 블록 개수를 제안한다.

본 논문에서는 SAN(Storage Area Network) 기반의 공유파일시스템인 Asphodel 파일 시스템을 이용하여 를러스터 웹 서버를 구성하였다. 그리고 Asphodel 공유 파일 시스템이 가지는 락(lock) 서버를 이용하여 효율적인 웹 분배 정책인 CARD(Cache-Aware Request Dispatch)를 제안하고 이를 설계 구현하였다. 그 결과 후위 서버의 메모리 캐쉬의 적중률을 높임으로써 보통의 분배 정책인 라운드로빈(Round-Robin) 방식에 비해 웹 서버의 throughput과 latency에서의 성능 향상을 보였다.