Earticle

Recently, flash memories are one of best media to support portable computer"s storages in mobile computing environment. We propose a new transaction recovery scheme for a flash memory database environment which is based on a flash media file system. We improved traditional shadow paging schemes by reusing old data pages which are supposed to be invalidated in the course of writing a new data page in the flash file system environment. In order to reuse these data pages, we exploit deferred cleaning list structure in our flash memory shadow paging (FMSP) scheme. FMSP scheme removes the additional storage overhead for keeping shadow pages and minimizes the I/O performance degradation caused by data page distribution phenomena of traditional shadow paging schemes. We also propose a simulation model to show the performance of FMSP. Based on the results of the performance evaluation, we conclude that FMSP outperforms the traditional scheme.

본 논문에서는 시스템의 기동 시간을 고려하는 새로운 플래시 메모리 스왑 시스템을 연구하였다. 제안한 SFSS(Segment-based Flash memory Swap System) 기법은 스왑 영역을 여러 개의 삭제 블록으로 이루어진 세그먼트들로 구성한다. SFSS는 시스템 기동 시에 세그먼트 헤더만을 읽고 스왑 영역의 일부분만 초기화하여 기동 시간을 줄인다. 또한 가비지 수집 시에 세그먼트 단위로 삭제 연산을 수행한다. 성능 분석을 위해 리눅스 커널에서 트레이스를 수집하여 시뮬레이션을 수행하였으며 세그먼트 크기를 적절하게 조절하여 시스템의 기동 시간을 크게 줄이고 가비지 수집 비용을 줄일 수 있음을 보였다.

This paper studies a new flash memory swap system considering the system start-up time. The proposed SFSS(Segment-based Flash memory Swap System) scheme composes a swap area of segments which consist of multiple erase blocks. SFSS reads only segment headers at system start-up and reduces start-up time by initializing only a part of the swap area. Further, SFSS uses a segment as an erase unit during the garbage collection. For the performance evaluation, we perform a simulation study by using the traces from the linux kernel, and show that SFSS can reduce the system start-up time drastically and decrease the garbage collection cost by controlling the segment size properly.

본 논문에서는 DRAM 기반의 차세대스토리지 시스템이라 할 수 있는 DRAM-SSD의 데이터 처리 성능을 분석하고 평가하였다. 실험결과에 따르면, tpmC 경우에, DDR-SSD는 기존의 HDD보다 22배 빠르고 138% 전력절감 효과를 나타내었고, TPC와 파일처리를 동시에 수행하는 환경에서는 거의 300배 정도의 성능향상 효과를 보여주었다. 이러한 결과는 HDD 시스템은 동일한 유형의 작업을 수행하는데 효과가 있는 반면, DRAM-SSD 시스템은 다른 유형의 여러작업을 수행하는 경우에도 좋은 성능을 발휘할 수 있다는 것을 의미한다.

In this paper, we analyze and evaluate the data processing performance of the NGS system(DRAM-SSD) based on DRAM memory. Our experiments show that DDR-SSD storage is 22 times faster than HDD storage in performance and 138% energy reduction effect in case of tpmC only. Furthermore, DDR-SSD storage is almost 300 times better than HDD storage in performance in case of simultaneous TPC and file processing performance test. This implies that while HDD storage system has the performance advantage on the same task, DRAM-SSD storage system demonstrate the desired target performance even in the multiple different tasks.

본 논문에서는 DRAM 메모리 기반의 SSD 스토리지인 NGS 시스템 개발과 함께, 개발결과에 대해 IOPS 성능과 tpmC 성능 시험을 수행하였다. HDD 스토리지와 비교 결과, 기존의 HDD 스토리지 대비 IOPS 성능은 랜덤 읽기에서 90배, 랜덤 쓰기 성능에서 8.3배 성능 향상이 기대되며, tpmC 성능은 22배의 성능 향상과 138%의 에너지 절감 효과가 있음을 확인할 수 있었다.

In this paper we analyzed the performance of the NGS system(DRAM-SSD) based on DRAM memory. Compared with existing HDD storage system, we confirmed that NGS system is better than HDD in random read performance (90 times), random write performance (8.3 times) in case of block size 1KB, tpmC performance (22 times) and energy reduction effect (138%).

Flash memories are one of best media to support portable computer's storages in mobile computing environment. The features of non-volatility, low power consumption, and fast access time for read operations are sufficient grounds to support flash memory as major database storage components of portable computers. However, we need to improve traditional transaction management scheme due to the relatively slow characteristics of flash operation as compared to RAM memory. In order to achieve this goal, we devise a new scheme called Flash Two Phase Locking (F2PL) scheme for efficient transaction processing. F2PL improves transaction performance by allowing multi version reads and efficiently handling slow flash write/erase operation in lock management process. We also propose a simulation model to show the performance of F2PL. Based on the results of the performance evaluation, we conclude that F2PL scheme outperforms the traditional scheme.

스마트폰, 태블릿 PC, 울트라북등 휴대기기 사용의 증가로 인해 NAND-형 Flash Memory의 수요도 지속적으로 증가하고 있다. 그렇기 때문에 NAND-형 Flash Memory에서 발생할 수 있는 고장을 진단하기 위한 알고리즘 연 구가 매우 중요하다. Flash Memory는 셀 배열구조에 따라서 NOR-형 Flash Memory와 NAND-형 Flash Memory로 구분이 된다. NOR-형 Flash Memory는 다양한 테스트 알고리즘과 BIRA(Built-in Redundancy Analysis)알고리즘, 진단 알고리즘 등 다양한 알고리즘 연구가 진행되어 왔다. 그러나 NOR-형 Flash Memory에 서 연구되었던 이러한 알고리즘들을 이용하여 NAND-형 Flash Memory를 위한 고장을 확인하는 것이 매우 어렵 다. 따라서 본 논문에서는 NAND-형 Flash Memory에서 발생할 수 있는 고장 확인이 가능한 정확하고 효율적인 진단 알고리즘을 제안한다. 그래서 NAND-형 Flash Memory를 위한 고장 진단을 가능하게 한다.

The increasing usage of mobile devices such as SmartPhone, TabletPC, and Ultrabook, the demand for NAND-type Flash Memory is also constantly growing. Therefore, high speed and miniaturization able, NAND-type Flash Memory’s research for diagnosis of possible malfunction is very important. The Flash Memory is divided into NOR-type Flash Memory, and NAND-type Flash Memory. A lot of study such as Test Algorithm, BISR(Built-In Self Repair) Algorithm and Diagnostic Algorithm, etc. has been progressed in NOR-type Flash Memory. However, it is very difficult to detect for NAND-type Flash Memory’s fault, with the former studies of algorithms for NOR-type Flash Memory. In this paper, an efficient and accurate problem diagnosable algorithm that can identify, the type of possible failure of the cell in NAND-type Flash Memory, is proposed. So it allows error diagnosing for NAND-type Flash Memory.

Recently flash memory is widely used in various mobile devices as storage medium. Nonvolatile memory can be divided into two categories: NAND- and NOR-type flash memory. NOR flash memory is mainly used to store instruction codes for operation; while NAND for data storage. However, NAND does show more economical benefits, that is, it is approximately 30~40% cheaper than NOR flash. Therefore it can be useful to improve NAND flash performance by replacing NOR flash with NAND flash combining with various buffer systems.

Recently, flash memories are one of best media to support portable computer"s storages in mobile computing environment. The features of non-volatility, low power consumption, and fast access time for read operations are sufficient grounds to support flash memory as major database storage components of portable computers. However, we need to improve traditional Indexing scheme such as B-Tree due to the relatively slow characteristics of flash operation as compared to RAM memory. In order to achieve this goal, we devise a new indexing scheme called F-Tree. F-Tree improves tree operation performance by compressing pointers and keys in tree nodes and rewriting the nodes without a slow erase operation in node insert/delete processes. Based on the results of the performance evaluation, we conclude that F-Tree indexing scheme outperforms the traditional indexing scheme.

최근 급격한 기술의 발달로 다양한 시스템에서 발생하는 데이터양이 증가하고 있으며, 많은 양의 빅데이터(big data)를 처리해야 하는 엔터프라이즈 서버(enterprise server)와 데이터 센터(data center)의 경우 비용이 증가하더라 도 높은 안정성과 고성능의 저장 장치를 적용하는 것이 필요하다. 이러한 시스템에서는 고성능의 읽기/쓰기 성능을 제 공하는 SSD(solid state disk)를 저장 장치로 사용하는 경우가 많다. 그러나, 페이지 단위로 읽기 쓰기를 하고 블록 단위로 지우기 연산을 해야하고 쓰기 전 지우기 연산을 수행해야 하는 특징 때문에 중복 쓰기가 다발할 경우 성능이 저하되는 문제가 있다. 따라서 이러한 성능 저하 문제를 지연시키기 위해 SSD의 내부적으로 초과 제공 (over-provision) 기술을 적용하고 있다. 그러나 초과 제공 기술은 성능 대신 많은 저장공간의 비용을 소모하는 단점이 있기 때문에 적정 성능 이상의 비효율적인 기술의 적용은 과대한 비용을 지불하게 만드는 문제가 있다. 본 논문에서는 SSD에서 다양한 초과 제공을 적용하였을 때 발생하는 성능과 비용을 측정하고, 이를 기반으로 시스템에 최적화된 초과 제공 비율을 예측하는 방법을 제안했다. 본 연구를 통해 빅데이터를 처리하는 시스템에서 성능의 요구사항을 만족하기 위한 비용과의 절충점(trade-off)를 찾을 수 있을 것으로 기대한다.

Recently, With the recent rapid development of technology, the amount of data generated by various systems is increasing, and enterprise servers and data centers that have to handle large amounts of big data need to apply high-stability and high-performance storage devices even if costs increase. In such systems, SSD(solid state disk) that provide high performance of read/write are often used as storage devices. However, due to the characteristics of reading and writing on a page-by-page basis, erasing operations on a block basis, and erassing-before-writing, there is a problem that performance is degraded when duplicate writes occur. Therefore, in order to delay this performance degradation problem, over-provision technology of SSD has been applied internally. However, since over-provided technologies have the disadvantage of consuming a lot of storage space instead of performance, the application of inefficient technologies above the right performance has a problem of over-costing. In this paper, we proposed a method of measuring the performance and cost incurred when various over-provisions are applied in an SSD and predicting the system-optimized over-provided ratio based on this. Through this research, we expect to find a trade-off with costs to meet the performance requirements in systems that process big data.

최근 빅데이터를 수용하기 위한 대용량 저장 장치가 필요한 엔터프라이즈 저장 시스템에서는 비용과 크기 대비 직접도가 높은 대용량의 플래시 메모리 기반 저장 장치를 많이 사용하고 있다. 본 논문에서는 엔터프라이즈 대용량 저장 장치의 신뢰도와 이용성에 직접적인 영향을 주는 플래시 메모리 미디어의 수명을 극대화 하기 위해 경사하강법을 적용한 고효율 수명 예측 방법을 제안한다. 이를 위해 본 논문에서는 불량 발생 빈도를 학습하기 위한 메타 데이터를 저장하는 매트릭스의 구조를 제안하고 메타데이터를 이용한 비용 모델을 제안한다. 또한 학습된 범위를 벗어난 불량이 발생 했을 때 예외 상황에서의 수명 예측 정책을 제안한다. 마지막으로 시뮬레이션을 통해 본 논문에서 제안하는 방법이 이전까지 플래시 메모리의 수명 예측을 위해 사용되어 온 고정 횟수 기반 수명 예측 방법과 예비 블록의 남은 비율을 기반으로 하는 수명 예측 방법 대비 수명을 극대화 할 수 있음을 증명하여 우수성을 확인했다.

Recently, enterprise storage systems that require large-capacity storage devices to accommodate big data have used large-capacity flash memory-based storage devices with high density compared to cost and size. This paper proposes a high-efficiency life prediction method with slope descent to maximize the life of flash memory media that directly affects the reliability and usability of large enterprise storage devices. To this end, this paper proposes the structure of a matrix for storing metadata for learning the frequency of defects and proposes a cost model using metadata. It also proposes a life expectancy prediction policy in exceptional situations when defects outside the learned range occur. Lastly, it was verified through simulation that a method proposed by this paper can maximize its life compared to a life prediction method based on the fixed number of times and the life prediction method based on the remaining ratio of spare blocks, which has been used to predict the life of flash memory.

NAND 플래시 메모리는 스마트 폰, 휴대용 미디어 플레이어, 디지털 카메라, 노트북 등과 같은 다양한 모바일 장치의 저장 매체로서 사용이 점차 증대되고 있다. 플래시 메모리의 용량이 증가하면서, 플래시 메모리에서의 색인 구조의 사용도 점차 중요해지고 있다. B+-트리는 디스크 기반의 저장 시스템에서 가장 널리 쓰이는 인덱스 구조 중의 하나이다. 그러나 ‘쓰기 전 삭제’와 ‘비대칭적인 읽기/쓰기 속도’와 같은 플래시 메모리의 독특한 특성으로 인해, B+-트리 색인을 플래시 기반의 저장 시스템에 바로 적용하는 것은 심각한 쓰기 비용을 초래한다. 본 논문에서는 SBBF라 불리는, NAND 플래시 메모리에서의 B+-트리를 위한 공간 효율적인 버퍼 관리 기법을 제안한다. 제안 기법은 플래시 메모리로 보내지는 쓰기 요청의 수를 줄이기 위해, B+-트리의 변경 사항들을 버퍼에 저장한다. 기존 연구와 비교하여, 제안하는 방법은 버퍼 공간의 사용을 최적화하여 동일한 크기의 버퍼에 더 많은 변경 사항들을 저장할 수 있다. 이로 인해 플래시 메모리로 보내지는 쓰기 요청의 수를 크게 감소시킬 수 있다. 실제 데이터를 사용한 실험 결과를 통해, 제안 방법은 플래시 메모리로 보내지는 쓰기 요청의 수 측면에서 기존 방법에 비해 15% 이상의 성능 향상을 가져옴을 보인다.

NAND flash memory is becoming widely used as storage media for various mobile devices such as smart phones, portable media players (PMPs), digital cameras, and laptops. As the capacity of flash memory increases, the use of index structures on flash memory becomes more important. The B+-tree is one of the most popular index structures used in disk-based storage systems. However, due to the unique characteristics of flash memory, such as erase-before-write, and asymmetric read/write speed, the direct application of B+-tree index structures to flash-based storage systems incurs excessive write overhead. In this paper, we propose a space-efficient buffer management scheme for B+-trees on NAND flash memory, called SBBF. The proposed scheme stores changes made to a B+-tree in the buffer to reduce the number of write requests to flash memory. Compared to previous work, the proposed scheme can store more changes in the same size buffer by optimizing the use of the buffer space. Consequently, the number of write requests to flash memory is significantly reduced. The experimental results with real workloads show that the proposed scheme outperforms previous work by over 15% in terms of the number of write requests to flash memory.

Recently DRAM and PRAM hybrid main memory organization has been studied in order to address the high levels of energy dissipation in DRAM based main memory. It is expected that this new memory architecture will be used soon in mobile computers which use NAND Flash memory based storages. In such computers, legacy operating system functionalities like file system and memory system should be modified in order efficiently to manage heterogeneous memory organization. In this paper, we study a new buffer cache scheme which considers DRAM/PRAM hybrid main memory and flash memory based storages. The goal of proposed buffer cache scheme is to minimize the number of write operations on PRAM and the number of erase operations on flash memory while maintaining the cache hit ratio. In order to evaluate proposed scheme, we performed trace-driven simulation.

Recent advancement in mobile miniature information equipment has led to a rapid growth in the usage of storage device based on flash memory. Also, Flash memory is being used as the next generation’s storing device and shows rapid growth in massive storage device such as the SSD due to the distinguishable features such as low power consumption, strong durability, approach velocity, non-vibration, non-noise etc. These Flash drives uses B+-Tree index universally. However, B+-tree index has a flaw which downgrades the performance due to the repetitive writing request caused by the insertion of node. This dissertation suggested the F-ISLD (F-Tree Index Segment Log Directory) method which uses the F-Tree index. To prove the method’s superiority the suggested method and BISLD (B+-Tree Index Segment Log Directory) was compared. According to the assessment, the overall performance was increased by 29%.

Nowadays, NAND flash memory has become major storage in building portable information devices because of its non-volatility, shock-resistance, energy-friendly, and robust access time for read operations. One drawback of the flash memory file system is how to provide efficient roll back or crash recovery. This type of observation motivates our research on the investigation of crash recovery of flash-memory file systems. In this paper, we introduced a concept of shadow paging and presented a crash recovery scheme for log-based file systems over flash memory using shadow paging. In this paper a scheme is proposed for the crash recovery for log-based file systems over flash memory using shadow paging. We have also described the initialization and mounting of flash memory and we have given brief background on flash memory management like wear leveling, flash translation layer (FTL) and flash file system such as FAT/FAT32, ExFAT, JFFS2, LogFS and YAFFS. In addition, we have improved the Wear-Levelling of Garbage Collection Algorithms such as CATA, Greedy, and Cost Benefit by improving the flash memory device information.

최근 스마트폰, 디지털 카메라, 자동차 블랙박스와 같은 소형 전자기기들의 저장장치로써 가볍고 외부 충격에 강한 비휘발성 메모리인 플래시 메모리가 널리 이용되고 있다. 플래시 메모리는 읽기연산과 쓰기연산의 연산 속도가 다르며, 덮어쓰기가 불가능한 특징을 가지고 있기 때문에 삭제연산을 추가하여 이러한 문제점을 해결한다. 또한, 플래 시 메모리의 삭제횟수가 제한적이기 때문에 마모도 평준화를 고려해야 한다. 최근 플래시 메모리의 이러한 특성을 고 려한 플래시 메모리 기반 버퍼 교체 알고리즘에 관한 많은 연구들이 진행되고 있다. 따라서, 본 논문은 기존 플래시 메 모리 기반 버퍼 교체 알고리즘의 문제점을 해결하기 위해 페이지를 그룹으로 나누어 관리하며 교체 대상 페이지 선정 시 참조 횟수와 참조 시간을 함께 고려하였다.

Flash Memory which is light and strong external shock as storage of small electronics like smartphone, digital camera, car black box has been widely used. Since the operation speed of the read operation and the write operation are different from each other, and the flash memory has the feature that it is not possible to overwrite, the delete operation is added to solve these problems. Wear-leveling must also be considered, since the number of erase times of the flash memory is limited. Many studies have been conducted on the substitutional algorithms of flash memory based on these characteristics of recent flash memories. So, to solve the problem that has existing buffer replacement algorithm this thesis divide page into 6 groups and when proposed algorithm select victim page, it consider reference page frequency and page recency.

최근 데이터 중심 응용의 기하급수적 확산으로 메모리 자원에 대한 수요가 급증하고 있다. CXL(Compute Express Link)은 물리적으로 산재한 메모리를 집합적 형태로 이용할 수 있도록 해주는 인터커넥트 기술로 현재 컴퓨팅 환경이 직면하고 있는 메모리 장벽 문제를 완화시킬 방안으로 각광을 받고 있다. 본 논문은 CXL을 지원하는 Flash Memory 가 메모리로 활용될 때 빈 메모리 공간 정보를 계층 간에 공유하지 않아 발생할 수 있는 쓰기 증폭 문제를 규명하고, 해당 정보를 공유하기 위한 최적의 계층을 탐색한다. 사용자 계층에 존재하는 라이브러리의 메모리 오버프로 비저닝으로 인해 계층 별로 인지되는 메모리 활용률의 편차를 관찰하여, 빈 공간에 대한 정보 공유를 수행하기에 적합한 계층의 범위를 좁혀 나가기 위한 실험 결과를 제시한다. 실제 워크로드를 활용한 인메모리 키밸류 스토어에서 메모리 장치는 실제 사용량보다 2.05배 높은 공간 활용률을 보였으며, 커널 계층은 사용자 계층 보다 평균 26%, 최대 65% 더 많은 양의 메모리를 사용 중인 것으로 관찰되었다.

The exponential growth of data-centric applications is driving a surge in demand for memory resources. CXL(Compute Express Link) is an interconnect technology that allows physically distributed memory to be used collectively, addressing the current memory barrier in computing environments. This paper investigates the write amplification issue that arises when using CXL-enabled flash memory without sharing empty memory space information across layers, and explores the optimal layer for this information sharing. The study observes memory utilization discrepancies due to memory over-provisioning in user-layer libraries and presents experimental results to narrow down the appropriate layers for sharing empty space information. In an in-memory key-value store utilizing real workloads, the memory device exhibited a space utilization rate 2.05 times higher than the actual usage. The kernel layer was observed to use an average of 26% more memory, with a maximum of 65% more, compared to the user layer.

플래시 메모리는 초소형 전자기기부터 미디어 서버에 이르기까지 현대의 다양한 시스템에서 스토리지로 활용 되고 있다. 플래시 메모리의 쓰기 증폭 (Write Amplification)은 가비지 컬렉션에서 발생하는 것으로 불규칙적인 성능 의 주요 원인으로 지적되고 있다. 갑작스러운 속도지연은 실시간성 미디어를 위한 스토리지 시스템에서 치명적인 단점 이 될 수 있다. 본 논문은 비휘발성램을 플래시 메모리 스토리지의 버퍼캐시로 사용하고 두 계층 간의 협동적 데이터 관리를 통해 플래시 메모리의 쓰깆 WAF를 절감하는 기법에 대해 제안한다. 비휘발성램에 캐쉬된 데이터는 플래시 메 모리에서 가비지 컬렉션 수행 시 복사하지 않도록 한다. 이것은 복사되는 페이지의 수를 감소시켜 스토리지의 성능 및 내구성을 향상시킨다. 제안된 기법은 ssdsim 시뮬레이터에 구현되었으며 WAF와 응답시간의 표준편차를 각각 51.4% 와 35.4% 개선할 수 있음을 보인다.

Write amplification is a critical factor that limits the stable performance of flash-based storage systems. To reduce write amplification, this paper presents a new technique that cooperatively manages data in flash storage and nonvolatile memory (NVM). Our scheme basically considers NVM as the cache of flash storage, but allows the original data in flash storage to be invalidated if there is a cached copy in NVM, which can temporarily serve as the original data. This scheme eliminates the copy-out operation for a substantial number of cached data, thereby enhancing garbage collection efficiency. Experimental results show that the proposed scheme reduces the copy-out overhead of garbage collection by 51.4% and decreases the standard deviation of response time by 35.4% on average.

Recently, the density of Flash memory has dramatically increased by moving to smaller geometries and storing more bits per cell with enhanced memory technologies. However, with the density increasing rapidly, the error rate of Flash memory is also increasing rapidly. To improve the reliability issue of upcoming flash memory, usually, redundancy techniques were adopted in both of architecture and operations for flash memory based systems. For outside the flash memory page, several reliability schemes were proposed which employ Redundant Array of Inexpensive Disks (RAID). In this paper, we propose in-block level redundancy scheme for providing reliability of flash memory while minimizing maintaining overhead of the redundancy. In the proposed scheme, the redundancy is generated in a flash memory block level. During the programming stage of a flash block, the redundancy is kept in Dram memory. If a block is exhausted with last-1 page to record incoming data, the in-keeping redundancy is flushed to last page of the block. By doing this, block level redundancy is maintained with minimal overhead.

File systems treats Flash storage device as a traditional storage media with their logical address. However inside the Flash storage device, Flash Translation Layer (FTL) remaps logical address to physical address to hide physical limitation of Flash memory cells. Due to the address translation, intentional logical separation of file system’s layout does not directly applied to physical separation. As a result, the separate-intended file systems’ requests are mixed in physical location, which degrades write throughput, as well as Flash’s lifecycle. In this paper, we propose virtually separable Block management scheme for Flash storage system by introducing new common command interface and separable Block management in FTL. The experimental results show that the proposed scheme increases IO performance, as well as reduces flash-internal overhead.