Earticle

The Processing-in-Memory (PIM) paradigm is a non-von Neumann computer architecture where processing and memory functions are combined in a single location to overcome the effects of the memory wall. Prefetching is a technique used to anticipate data access patterns and proactively bring data into the processor cache to reduce memory latency. In this paper, we aim to provide insights into applicable prefetch techniques for PIM by analyzing the performance of commonly applicable prefetch techniques in a simulated PIM system. We simulate PIM systems with (i) no prefetching, (ii) next-line prefetching, (iii) stream prefetching and (iv) the Variable Length Data Prefetcher (VLDP) using a custom-built PIM simulator and the STREAM benchmark as the workload and compare their performance.

멀티미디어 응용 프로그램은 방대한 양의 데이타를 실시간으로 고속 처리해야 한다. 적재/저장과 같은 메모리 참조 명령어는 프로세서의 고속 수행을 방해하는 주요인이다. 메모리 참조 속도를 향상시키기 위하여, 다음에 참조될 것으로 예상되는 데이타를 미리 캐시로 인출함으로써, 캐시 미스율과 전체 수행시간을 감소시키는 캐시 선인출 방법이 활용되고 있다. 본 연구에서는 기존의 참조예측표(RPT: Reference Prediction Table)를 사용하는 방법을 개선한 데이타 캐시 선인출 방법을 제시한다. 동일한 명령어가 참조하는 데이타의 주소간격을 계산할 때 캐시의 라인크기 단위의 주소간격을 사용하고, 규칙적인 주소간격에 불규칙한 간격이 하나 포함하더라도 선인출 효과를 유지할 수 있도록 선인출 알고리즘을 개선하였다. 일반적으로 많이 사용되는 멀티미디어 프로그램에 대하여 실험한 결과, 기존의 RPT 방식에 비하여 버스 사용량은 약 0.03% 증가한 반면에 캐시 미스율은 평균적으로 29% 정도 향상되었다.

Multimedia applications are required to process the huge amount of data at high speed in real time. The memory reference instructions such as loads and stores are the main factor which limits the high speed execution of processor. To enhance the memory reference speed, cache prefetch schemes are used so as to reduce the cache miss ratio and the total execution time by previously fetching data into cache that is expected to be referenced in the future. In this study, we present an advanced data cache prefetching scheme that improves the conventional RPT (reference prediction table) based scheme. We considers the cache line size in calculation of the address stride referenced by the same instruction, and enhances the prefetching algorithm so that the effect of prefetching could be maintained even if an irregular address stride is inserted into the series of uniform strides. According to experiment results on multimedia benchmark programs, the cache miss ratio has been improved 29% in average compared to the conventional RPT scheme while the bus usage has increased relatively small amount (0.03%).