Earticle

Nowadays, NAND flash memory has become major storage in building portable information devices because of its non-volatility, shock-resistance, energy-friendly, and robust access time for read operations. One drawback of the flash memory file system is how to provide efficient roll back or crash recovery. This type of observation motivates our research on the investigation of crash recovery of flash-memory file systems. In this paper, we introduced a concept of shadow paging and presented a crash recovery scheme for log-based file systems over flash memory using shadow paging. In this paper a scheme is proposed for the crash recovery for log-based file systems over flash memory using shadow paging. We have also described the initialization and mounting of flash memory and we have given brief background on flash memory management like wear leveling, flash translation layer (FTL) and flash file system such as FAT/FAT32, ExFAT, JFFS2, LogFS and YAFFS. In addition, we have improved the Wear-Levelling of Garbage Collection Algorithms such as CATA, Greedy, and Cost Benefit by improving the flash memory device information.

Log-Structured File system은 쓰기에 최적화한 파일 시스템으로 변경된 데이터를 최대한 모아서 순차적으로 기록하는 방식을 가지고 있다. 그러나 실제 시스템에서는 주기적인 동기화로 인해 작은 크기의 데이터들이 디스크로 쓰여지게 되면서 원래의 디자인 목표를 살리지 못하게 된다. 본 연구에서는 최근 급속도로 발전하고 있는 비휘발성 메모리(NVRAM)를 이용해서 주기적인 동기화를 없애고 작은 단위의 쓰기는 NVRAM을 통해 흡수하도록 하였다. 이를 통하여 DRAM만 있는 LFS에 비해 33% 가량 TPC-C 수행 성능이 향상되고, 더 빠르고 고른 응답 시간을 보일 수 있었다.

웹 서버에서 로그파일은 웹 서버에 대한 접속정보를 저장한다. 이 정보를 분석하면 웹 서비스를 하는데 있어서 서비스의 질을 높이는데 좋은 참고자료가 될 뿐 아니라 웹 서버에 이상이 생겼을 경우 발생한 오류를 조기에 발견하는 데에도 사용되는 중요한 자료이다. 현재 이러한 로그파일은 텍스트 파일로 저장이 되어있으며 오랜 시간이 지나 그 웹 페이지가 삭제되었을 경우 로그파일에 기록된 그 시각의 웹 페이지를 찾아보기가 어렵다. 본 연구에서는 로그파일에 기록된 그 시각의 웹 페이지의 이미지를 저장하는 방법으로 이러한 단점을 보안하고 오랜 시간이 지난 후에도 그 웹 페이지를 볼 수 있는 방법을 제안한다. 이 아이디어가 구현되어 실현되면 또한 Digital Forensic으로써 범죄 수사에도 많은 도움이 될 뿐만 아니라 휴대전화로 풀 인터넷 브라우징이 가능한 풀브라우저에도 적용될 수 있다.

클러스터 시스템의 응용 분야가 다양화되고 복잡해짐에 따라, 대규모 클러스터 시스템을 보다 효율적으로 사용하기 위해서 실제 사용자의 이용 패턴을 예측할 수 있는 워크로드 분석의 필요성이 높아지고 있다. 워크로드 분석으로는 다양한 작업이 진행되는데 특히 파일 단위의 동적 접근 분석도 이에 포함된다. 본 논문에서는 실험용 병렬 파일 시스템으로 많이 보급된 PVFS2 에 파일 단위접근 기록을 가능케하는 방안을 모색하고 이 기능의 활용 가능성을 살펴 보았다.

클러스터 시스템의 응용 분야가 다양화되고 복잡해짐에 따라, 대규모 클러스터 시스템을 보다 효율적으로 사용하기 위해서 실제 사용자의 이용 패턴을 예측할 수 있는 워크로드 분석의 필요성이 높아지고 있다. 워크로드 분석으로는 다양한 작업이 진행되는데 특히 파일 단위의 동적 접근 분석도 이에 포함된다. 본 논문에서는 실험용 병렬 파일 시스템으로 많이 보급된 PVFS2 에 파일 단위접근 기록을 가능케하는 방안을 모색하고 이 기능의 활용 가능성을 살펴 보았다.

Several attempts have been made to add journaling capability to a traditional file allocation table (FAT) file system. However, they encountered issues such as excessive system load or instability of the journaling data itself. If journaling data is saved as a file format, it can be corrupted by a user application. However, if journaling data is saved in a fixed area such as a reserved area, the storage can be physically corrupted because of excessive system load. To solve this problem, a new method that dynamically allocates journaling data is introduced. In this method, the journaling data is not saved as a file format. Using a reserved area and reserved FAT status entry of the FAT file system specification, the journaling data can be dynamically allocated and cannot be accessed by user applications. The experimental results show that this method is more stable and scalable than other log-based FAT file systems. HFAT was tested with more than 12,000 power failures and was stable.

AVLS is nowadays pretty considered on one of important parts in telematics service with a computerization of vehicle. However, with an implementation of commercial OS, individual OS and firmware on AVLS terminals, the cost and developing period are significantly increased. In this paper, we present the effective log-file creation methode about automobile status and location information within a restricted memory through designing AVLS terminals based on embedded linux. The proposed method shows 0.8% better performance on bzip2 compressor comparing to gzip compressor in the compressibility. In addition, bzip2 is faster than gzip about 2.14 times in the speed of compression.

현재와 같이 처리해야 할 데이터가 폭주하는 상황에서 대부분의 시스템은 자료 저장을 위해 데이터베이스를 사용하지만, 누적되는 데이터 관리를 위해 빈번한 문제가 발생한다. 이때 대부분의 시스템들에서는 상용버전의 데이터 백업 시스템이나 이중화 시스템 등을 두어 여러 곳에 분산 배치함으로써 데이터 보관의 안전성을 도모한다. 실제 모든 데이터베이스 시스템들은 데이터를 레코드에 기록할 때 마다 고유의 로그기록을 남겨놓게 되어있다. 로그기록들은 결국 아카이브 형태로 저장되는데, 그전에 실시간으로 로그를 남기는 과정을 거치게 된다. 본 논문에서는 현재 많은 기관 및 단체에서 사용하는 오라클 데이터베이스를 기본으로 하여, 실시간으로 로그기록을 저장하게 되는 리두 로그(Redo-Log) 파일에 대하여 알아보고, 로그기록의 절차 및 응용 가능성에 대하여 보여준다.

최근 빅데이터 분석을 위해 아파치 하둡(Apache Hadoop) 기반 에코시스템(Ecosystern)이 다양하게 활용되고 있다. 본 논문에서는 수집된 로그 데이터를 가공하여 데이터베이스에 로드하는 과정을 효율적으로 처리하기 위한 성능 평가를 수행한다. 이를 기반으로 텍스트 파일의 로그 데이터를 자바 코드로 개발된 프로그램에서 JDBC를 이용하여 오라클(Oracle) 데이터베이스에 삽입(Insert)하는 과정의 성능을 개선하기 위한 방안을 제안한다. 대용량 로그 파일의 효율적인 처리를 위해 하둡 에코시스템을 이용하여 처리 속도를 개선하고, 최근 인메모리(In-Mernory) 처리 방식으로 빠른 처리 속도로 인해 각광받고 있는 아파치 스파크(Apache Spark)를 이용한 처리와의 성능 평가를 수행한다. 이 연구를 통해 최적의 로그데이터 처리 시스템의 구축 방안을 제안한다.

최근 빅데이터 분석을 위해 아파치 하둡(Apache Hadoop) 기반 에코시스템(Ecosystern)이 다양하게 활용되고 있다. 본 논문에서는 수집된 로그 데이터를 가공하여 데이터베이스에 로드하는 과정을 효율적으로 처리하기 위한 성능 평가를 수행한다. 이를 기반으로 텍스트 파일의 로그 데이터를 자바 코드로 개발된 프로그램에서 JDBC를 이용하여 오라클(Oracle) 데이터베이스에 삽입(Insert)하는 과정의 성능을 개선하기 위한 방안을 제안한다. 대용량 로그 파일의 효율적인 처리를 위해 하둡 에코시스템을 이용하여 처리 속도를 개선하고, 최근 인메모리(In-Mernory) 처리 방식으로 빠른 처리 속도로 인해 각광받고 있는 아파치 스파크(Apache Spark)를 이용한 처리와의 성능 평가를 수행한다. 이 연구를 통해 최적의 로그데이터 처리 시스템의 구축 방안을 제안한다.

최근 플래시 저장장치의 사용이 대중화되면서 플래시 저장장치의 특성에 맞는 로그 구조 파일시스템에 대한 관심도 높아지고 있다. 로그 구조 파일시스템은 사용자의 임의 쓰기를 파일시스템에서 순차 쓰기로 바꾸어 처리한다. 이 순차 쓰기를 유지하기 위해 파일시스템에서 가비지 컬렉션(Garbage Collection)을 해 주어야 하는데, 이때 오버헤드로 인해 쓰기 성능이 감소하는 것을 막기 위한 기법으로 SSR (Slack Space Recycling)이 제시되었다. 그런데, SSR은 임의 쓰기를 발생시키기 때문에, 임의 쓰기 성능이 낮은 저가형 저장장치에서 쓰기 성능을 감소시키는 문제가 있다. 본 논문에서 제시하는 부분 가비지 컬렉션은 SSR방식으로 데이터를 기록하기 전에 유효한 블록들을 일부만 복사하여 옮김으로써 무효화 된 공간의 크기를 늘려 임의 쓰기 수를 줄여서 쓰기 성능을 증가시키는 기법으로, SD 카드에서 쓰기 성능을 최대 두 배 이상 증가시켰다.

Recently, flash storages devices have become popular. Log-structured file systems (LFS) are suitable for flash storages since these can provide high write performance by only generating sequential writes to the flash device. However, LFS should perform garbage collections (GC) in order to reclaim obsolete space. Recently, a slack space recycling (SSR) technique was proposed to reduce the GC overhead. However, since SSR generates random writes, write performance can be negatively impacted if the random write performance is significantly lower than sequential write performance of the target device. This paper proposes a partial garbage collection technique that copies only a part of valid blocks in a victim segment in order to increase the size of the contiguous invalid space to be used by SSR. The experiments performed in this study show that the write performance in an SD card improves significantly as a result of the partial GC technique.

운영체제의 다른 부분이나 저장장치, 매체의 변화에 비해 파일시스템은 지난 수십 년 간 그 발전 속도가 더딘 편이다. 그러나 데이터의 증가에 따라 파일의 개수는 기하급수적으로 증가하고 있으며, 이렇게 늘어난 파일들에 대해 검색을 효율적으로 수행하기 위한 새로운 파일시스템 구조에 대한 연구가 최근 파일에 대한 시맨틱 검색을 하고자 하는 요구와 맞물려 주목 받고 있다. 하지만 이러한 연구는 저장 장치와 바로 맞닿는 계층이 아닌 더 상위 계층에서만 이루어지고 있어 기존의 하드디스크와는 다른 특성을 지니는 플래시 메모리 기반의 저장장치인 SSD에 최적화를 시키기 위한 노력으로 이어지진 않았다. 논문에서는 다중 로깅 지점이라는 SSD의 특성을 활용한 로그기반 파일시스템이 SSD에서 얻는 성능상의 이점을 활용하여 새로운 요구사항인 시맨틱 파일 검색까지 추가 비용 없이 지원하는 파일시스템을 제안한다.

During the last decades, other parts of operating systems, storage devices, and media are changed steadily, whereas filesystem is changed little. As data is grown bigger, the number of files to be managed also increases in geometrically. Researches about new filesystem schemes are being done widely to support these files efficiently. In web document search area, there are many researches about finding meaningful documents using semantic search. Many researches tried to apply these schemes, which is been proven in web document search previously, to filesystems. But they've focused only on higher layer of filesystem, that is not related seriously to storage media. Therefore they're not well tuned to physical characteristics of new flash memory based SSD which has different features against traditional HDD. We enhance log structured filesystem, that is already well known to work better in SSD, by putting semantic search scheme to and with multi logging point.

The digital image to be accepted as legal evidence, it is important to verify the authentication of the digital image. This study proposes a method of authenticating digital images through three steps of comparing the file structure of digital images taken with iPhone, analyzing the encoding information as well as media logs of the iPhone storing the digital images. For the experiment, digital image samples were acquired from nine iPhones through a camera application built into the iPhone. And the characteristics of file structure and media log were compared between digital images generated on the iPhone and digital images edited through a variety of image editing tools. As a result of examining those registered during the digital image creation process, it was confirmed that differences from the original characteristics occurred in file structure and media logs when manipulating digital images on the iPhone, and digital images take with the iPhone. In this way, it shows that it can prove its forensic authentication in iPhone.

일반 사용자는 침입이 있더라도 항상 신뢰성 있는 정보를 획득하길 원하기 때문에 침입에 의하여 파일이 훼손되는 경우에도 사용자에게 투명한 방법으로 복구할 수 있는 방법이 필요하다. 본 논문에서는 리눅스 기반의 파일 시스템에서 변경이 일어날 때마다 로그 형태로 저장한 중복 파일을 이용하여 침입에 의하여 훼손된 부분을 복구하기 위한 기법을 제안한다. 실제 파일 변경이 일어날 때에는 그 변경이 악의적인지 합법적인지 판단이 불가능하다는 점에서 변경이 일어날 때마다 로그 형태로 변경정보를 유지하고 복구가 필요할 경우 선택적으로 적용할 수 있도록 하였다. 또한 로그 크기의 계속적인 증가에 효과적으로 대처하기 위한 로그 컴팩션(compaction) 방법도 보인다.

본 논문에서는 기존의 플래시 파일 시스템과 차별되는 빠른 복구를 위한 로그 구조를 제안한다. 로그와 메타데이터를 플래시 메모리의 특정 영역에 기록하고, 오류가 발생하게 되면 복구단계에서 이 영역만을 스캔하기 때문에 파일 시스템의 오버헤드를 줄인다. 그리고 로깅연산은 트랜잭션으로 관리되어 다른 연산에 간섭받지 않고 독립적으로 수행이 되므로 동시성을 높이고 로깅에 따른 오버헤드가 크지 않다. 따라서 로깅과 복구에 필요한 시간을 최소화하여 신뢰성 있는 파일 시스템 구성이 가능하다.

사용자는 침입이 있더라도 항상 신뢰성 있는 정보를 획득하길 원하기 때문에 침입에 의하여 파일이 훼손되는 경우에도 사용자에게 투명한 방법으로 복구할 수 있는 방법이 필요하다. 본 논문에서는 리눅스 기반의 파일 시스템에서 변경이 일어날 때마다 로그 형태로 저장된 로그 파일을 이용하여 침입에 의하여 훼손된 부분을 복구하기 위한 모듈을 구현하고, 시험을 통하여 로그 기반 침입 복구 모듈을 적재한 시스템에서 로그를 관리하기 위해 발생하는 오버헤드를 분석한다.

사용자는 침입이 있더라도 항상 신뢰성 있는 정보를 획득하길 원하기 때문에 침입에 의하여 파일이 훼손되는 경우에도 사용자에게 투명한 방법으로 복구할 수 있는 방법이 필요하다. 본 논문에서는 리눅스 기반의 파일 시스템에서 변경이 일어날 때마다 로그 형태로 저장된 로그 파일을 이용하여 침입에 의하여 훼손된 부분을 복구하기 위한 모듈을 구현하고, 시험을 통하여 로그 기반 침입 복구 모듈을 적재한 시스템에서 로그를 관리하기 위해 발생하는 오버헤드를 분석한다.