Earticle

In this paper, we propose a new algorithm(N_BP) to be capable of overcoming limitations of the traditional backpropagation(O_BP). The N_BP is based on the method of conjugate gradients and calculates learning parameters through the line search which may be characterized by order statistics and golden section. Experimental results showed that the N_BP was definitely superior to the O_BP with and without a stochastic term in terms of accuracy and rate of convergence and might surmount the problem of local minima. Furthermore, they confirmed us that the stagnant phenomenon of learning in the O_BP resulted from the limitations of its algorithm in itself and that unessential approaches would never cured it of this phenomenon.

In this paper, we investigate the problem of Neural Network (NN) observer for nonlinear systems. Therefore, it can be applied to systems with higher degree of nonlinearity with any a priory knowledge about system dynamics. The proposed neuro-observer is a three-layer feedforward neural network, which is trained extensively with the error backpropagation learning algorithm including a correction term to guarantee good tracking as well as bounded NN weights. Furthermore, the Lyapunov’s direct method is used in order to ensuring the stability of the proposed non-conventional observer and of the NN weight errors. The effectiveness of the proposed state observer scheme is demonstrated through numerical simulation to reconstruct the unavailable state variables of an induction motor (IM) and especially the rotor flux despite the effect of the arisen parameters such as the load torque which is also reconstructed using the NN observer.

We propose a learning method for improving the performance of the backpropagation algorithm. The proposed method is using a fuzzy logic system for automatic tuning of the learning rate of each weight. Instead of choosing a fixed learning rate, the fuzzy logic system is used to dynamically adjust the learning rate. The inputs of fuzzy logic system are delta and delta bar, and the output of fuzzy logic system is the learning rate. In order to verify the effectiveness of the proposed method, we performed simulations on the XOR problem, character classification, and function approximation. The results show that the proposed method considerably improves the performance compared to the general backpropagation, the backpropagation with momentum, and the Jacobs'delta-bar-delta algorithm.

A new technique is presented to construct a predictive model of plasma etch process. This was accomplished by combining a backpropagation neural network (BPNN) and a genetic algorithm (GA). The predictive model constructed in this way is referred to as a GA-BPNN. The GA played a role of controlling training factors simultaneously. The training factors to be optimized are the hidden neuron, training tolerance, initial weight magnitude, and two gradients of bipolar sigmoid and linear functions. Each etch response was optimized separately. The proposed scheme was evaluated with a set of experimental plasma etch data. The etch process was characterized by a $2^3$ full factorial experiment. The etch responses modeled are aluminum (A1) etch rate, silica profile angle, A1 selectivity, and dc bias. Additional test data were prepared to evaluate model appropriateness. The GA-BPNN was compared to a conventional BPNN. Compared to the BPNN, the GA-BPNN demonstrated an improvement of more than 20% for all etch responses. The improvement was significant in the case of A1 etch rate.

The study on speech recognition and understanding has been done for many years. In this paper, we propose a new type of recurrent neural network architecture for speech recognition, in which each output unit is connected to itself and is also fully connected to other output units and all hidden units [1]. Besides that, we also proposed the new architecture and the learning algorithm of recurrent neural network such as Backpropagation Through Time (BPTT, which well-suited. The aim of the study was to observe the difference of Arabic's alphabet like "alif" until "ya". The purpose of this research is to upgrade the people's knowledge and understanding on Arabic's alphabet or word by using Recurrent Neural Network (RNN) and Backpropagation Through Time (BPTT) learning algorithm. 4 speakers (a mixture of male and female) are trained in quiet environment. Neural network is well-known as a technique that has the ability to classified nonlinear problem. Today, lots of researches have been done in applying Neural Network towards the solution of speech recognition [2] such as Arabic. The Arabic language offers a number of challenges for speech recognition [3]. Even through positive results have been obtained from the continuous study, research on minimizing the error rate is still gaining lots attention. This research utilizes Recurrent Neural Network, one of Neural Network technique to observe the difference of alphabet "alif" until "ya".

Artificial neural networks (ANN) have successfully applied into various areas. But, How to effectively established network is the one of the critical problem. This study will focus on this problem and try to extensively study. Firstly, four different learning algorithms ANNs were constructed. The learning algorithms include backpropagation, simulated annealing, genetic algorithm, and tabu search. The experimental results of the above four different learning algorithms were tested by statistical analysis. The training RMS, training time, and testing RMS were used as the comparison criteria.

태양광발전의 단점 중 하나인 불규칙 전력 생산문제로 인해, 장비 및 패널 결함에 실시간 대응하지 못하는 문제가 발생한다. 태양광패널 결함을 자동 검출하기 위해 기후데이터 및 패널 정보를 이용하여 신경망에 적용하고 역전과 알고리즘을 통해 학습하는 발전량 예측 및 실시간 결함 검출 모델을 제안한다.

In this paper, It is proposed collecting, processing, and learning of data with PIC16F877 and Acode 300[3], constructing database in PC. The PIC16F877 microcontroller nodes are the radio sensor and the DC motor controller. The PC of flexible factory level construct the data-table for object-oriented optimal environment control. The DC Motor control command is decision with back-propagation.

In this paper, we propose a ADALINE controller using fuzzy-backpropagation algorithm to adjust weight. In the proposed ADALINE controller, using fuzzy algorithm for traning neural network, controller make use of ADALINE due to simple and computing efficiency. This controller includes adaptive learning rate to accelerate teaming. It applies to servo-motor as an controlled process. And then it take a simulation for the position control, so the verify the usefulness of the proposed ADALINE controller.

본 논문에서는 퍼지-역전파 알고리즘을 이용하여 연결강도를 조정하고 ADALINE(Adaptive Linear Neuron)을 제어기로 사용하는 새로운 제어방식을 제안하였다. 제안된 ADALINE 제 어기는 퍼지 알고리즘을 이용하여 학습하고, 구조가 간단하고 계산량이 작은 장점으로 적응제어나 실시간 제어에 적합한 제어방식이다. 제안된 제어방식의 유용성을 입증하기 위하여 서보 전동기를 대상으로 위치제어에 대하여 시뮬레이션 하였다.

In this paper, we propose a ADALINE controller using fuzzy-backpropagation algorithm to adjust weight. In the proposed ADALINE controller, using fuzzy algorithm for traning neural network, controller make use of ADALINE due to simple and computing efficiency. And then it applies to servo-motor as an controlled process. And then it take a simulation for the position control, so the verify the usefulness of the proposed ADALINE controller.

본 논문에서는 쿠르노 모형을 적용한 양방향입찰 전력 풀시장에서 입찰에 참여하는 발전기가 최대 이익을 얻기 위한 입찰전략으로서 신경회로망의 오차 역전파 알고리즘을 이용하여 최적 입찰발전량과 입찰가격을 수립하는 기법에 관하여 연구한다. 전력시장 환경은 n 개의 발전기들이 참여하는 비협조적 불완전정보 시장으로 설정하고 Bayesian의 조건부 확률이론을 적용하여 상대 발전기들의 발전비용함수와 시장의 수요함수를 추정하여 발전기 상호간 쿠르노-내쉬균형점을 이루는 최적 입찰발전량을 예측한다. 그리고 이익을 극대화시키기 위해 오차 역전파 알고리즘을 이용하여 시장의 가격 탄력성과 쿠르노 시장균형가격에 연결가중치를 조절함으로써 입찰가격이 계통한계가격에 근접하도록 최적 입찰전략을 수립한다.

MLP(multilayer perceptron)는 다른 패턴인식 방법에 비해 몇 가지 이점이 있어 다양한 문제영역에서 사용되고 있다 그러나 MLP의 학습에 일반적으로 사용되는 EBP(error backpropagation) 알고리즘은 학습시간이 비교적 오래 걸린다는 단점이 있으며, 이는 실시간 처리를 요구하는 문제나 대규모 데이터 및 MLP 구조로 인해 학습시간이 상당히 긴 문제에서 제약으로 작용한다. 패턴인식에 사용되는 학습데이터는 풍부한 중복특성을 내포하고 있으므로 패턴마다 MLP의 내부변수를 갱신하는 은라인 계열의 학습방식이 속도의 향상에 상당한 효과가 있다. 일반적인 온라인 EBP 알고리즘에서는 내부 가중치 갱신시 고정된 학습률을 적용한다. 고정 학습률을 적절히 선택함으로써 패턴인식 응용에서 상당한 속도개선을 얻을 수 있지만, 학습률을 고정함으로써 온라인 방식에서 패턴별 갱신의 특성을 완전히 활용하지 못하는 비효율성이 발생한다. 또한, 학습도중 패턴군이 학습된 패턴과 그렇지 못한 패턴으로 나뉘고 이 가운데 학습된 패턴은 학습을 위한 계산에 포함될 필요가 없음에도 불구하고, 기존의 온라인 EBP에서는 에폭에 할당된 모든 패턴을 일률적으로 계산에 포함시킨다. 이 문제에 대해 본 논문에서는 학습이 진행됨에 따라 패턴마다 적절한 학습률을 적용하고 필요한 패턴만을 학습에 반영하는 패턴별 가변학습률 및 학습생략(COIL) 방댑을 제안한다. 제안한 COIL의 성능을 입증하기 위해 화자증명과 음성인식을 실험하고 그 결과를 제시한다.

역전도 알고리즘은 연관 기억장치, 음성 인식, 패턴인식, 로보틱스등 여러 응용 분야에 다양하게 사용되고 있다. 그러나 새로운 학습 패턴을 추가적으로 학습시키려면 이전에학습했던 모든 패턴과 추가되는 패턴을 갖고 처음부터 새로운 학습을 수행하여야 한다. 이는 패턴의 개수가 점차 늘어날수록 학습에 소요되는 시간이 기하 급수적으로 길어지는 결과를 초래하게 된다. 따라서 주기적으로 다량의 데이터를 추가로 학습을 할 경우에 이러한 점진적 학습은 반드시 해결해야 할 문제점으로 간주된다. 본 논문에서는 기존의 신경망 구조는 그대로 유지하면서 대표 패턴을 추출해 추가 학습을 수행하는 방법을 제안하고 제안된 기법의 효율성을 위해 기계 학습 분야의 벤치마크로 많이 사용되는 Monk's data와 Iris data에 적용해 보았다.

The Error Backpropagation algorithm is widely used in various areas such as associative memory, speech recognition, pattern recognition, robotics and so on. However, if and when a new leaning pattern has to be added in order to drill, it will have to accomplish a new learning with all previous learning pattern and added pattern from the very beginning. Somehow, it brings about a result which is that the more it increases the number of pattern, the longer it geometrically progress the time required by leaning. Therefore, a so-called Incremental Learning Method has to be solved the point at issue all by means in case of situation which is periodically and additionally learned by numerous data. In this study, not only the existing neural network construction is still remained, but it also suggests a method which means executing through added leaning by a model pattern. Eventually, for a efficiency of suggested technique, both Monk's data and Iris data are applied to make use of benchmark on machine learning field.

최근 유럽 등 국가간 상호운영성 규격을 준용하는 철도 운영기관들을 중심으로 가상 상황 기반의 직무 훈련과 진보된 지능형 시스템의 개발이 동시에 진행되고 있다. 향후 대륙 철도 연계를 준비하고 있는 국내철도에서는 현재의 경험 기반의 교육훈련체계를 향후 지능형 시스템과의 연계를 고려한 훈련체계로의 전환을 준비할 시점이다. 이를 위해 인공신경망 학습 대상 모델 개발에 필요한 기관사의 직무와 열차시스템의 기능을 조사하였으며, 이를 체계적으로 관리하기 위한 의사결정이론기반의 학습관리모델을 제시한다. 또한 고속 열차의 안전방지벽을 적용한 논리모델과 패리티모델을 학습 사례모델로 구성하여, 역전파 알고리즘의 적용 효과를 확인하고 체계적 훈련 니즈 관리와 지능형 시스템의 구축 방안을 제안하였다.

Recently, the development of the advanced intelligent systems based on virtual situations and job training has been conducted by several countries of Europe complying cross-country interoperability standards. Thus, Korea Railroad, which will link with the Eurasian railway in the future, must prepare the conversion of current education and training systems based on experience into future systems base on the advanced intelligent operations. To this end, this study investigated the functions of railway operation and the jobs of train drivers required for the development of learning model associated with the artificial neural network theory. In the study, the application of the index task management function based on decision task models was proposed. In addition, the onboard field logical model, which is one of safety barrier of high speed rail system, and the parity model were constituted as case studies of intelligent training models. Then, the effects appling the backpropagation algorithm to these models were checked. Finally, we proposed to extend the need for an intelligent system in accordance with the training needs of systemic administration.

In this paper, we present a useful method of estimating earth resistivity using BP algorithm in Neural-Networks. From this method, equivalent earth resistivity(EER) can be obtained directly using training data composed of field-measured apparent resistivity and probe distance. This approach can reduce errors which is conventionally raised from manual operation of calculating EER. To evaluate its accuracy and convenience, the result of proposed method is compared to that of conventional methods, graphical($\rho$-a graph) and numerical(CDEGS program), respectively.

디지털 선박 운행시 예기치 못한 상황에 의한 선박 내 화재나 충돌 등 긴급 상황 발생 시에 대형의 해난 사고가 발생할 수 있다. 이에 본 논문에서는 선박 상태를 자체 진단하여 모니터링하고 위험 분석을 통해 관리할 수 있는 시스템을 구현하고자 한다. 해양 디지털선박의 환경, 상황을 수집할 수 있는 무선 센서를 이용하여 수집된 환경 정보를 분석하는 시스템을 제안하였으며, 센싱된 데이터를 분석하기 위하여 역전파 신경망을 설계하였다. 300개의 데이터 집합을 사용하여 역전파 신경망을 실험한 결과 약 96%의 정확도를 가졌다. 제안된 시스템은 하드웨어 (UStar-2400 ISP, UStar-2400, Wireless sensors) 부분과 소프트웨어 부분(User Interface module)으로 구성되며 소프트웨어 부분은 HOST PC에 삽입된다. 그리고 시스템의 정확도를 개선하기 위하여 전방향 에러 정정 시스템(LDPC)을 구현하였고 진단된 결과는 CDMA 방식으로 전송하여 해양디지털선박 감지 모니터링 시스템을 구현했다.

디지털 선박 운행시 예기치 못한 상황에 의한 선박 내 화재나 충돌 등 긴급 상황 발생 시에 대형의 해난 사고가 발생할 수 있다. 이에 본 논문에서는 선박 상태를 자체 진단하여 모니터링하고 위험 분석을 통해 관리할 수 있는 시스템을 구현하고자 한다. 해양 디지털선박의 환경, 상황을 수집할 수 있는 무선 센서를 이용하여 수집된 환경 정보를 분석하는 시스템을 제안하였으며, 센싱된 데이터를 분석하기 위하여 역전파 신경망을 설계하였다. 300개의 데이터 집합을 사용하여 역전파 신경망을 실험한 결과 약 96%의 정확도를 가졌다. 제안된 시스템은 하드웨어 (UStar-2400 ISP, UStar-2400, Wireless sensors) 부분과 소프트웨어 부분(User Interface module)으로 구성되며 소프트웨어 부분은 HOST PC에 삽입된다. 그리고 시스템의 정확도를 개선하기 위하여 전방향 에러 정정 시스템(LDPC)을 구현하였고 진단된 결과는 CDMA 방식으로 전송하여 해양디지털선박 감지 모니터링 시스템을 구현했다.