'wide sense stationary'에 해당되는 글 1건

  1. 2012.04.05 Preview & Review of Adaptive Signal Processing (Fundamentals of stochastic processing) (1)

이거 말고도 써야할 글들이 많은데 다 마무리도 짓지 못하면서 이렇게 또 무거운 키보드를 드네요 ㅋㅋ

다른건 어느정도 할줄알고 결과가 나온 부분이라서 쉽사리 펜이 잡히지 않지만, 이 부분은 지금 제가 힘을들여가며 공부해가는 것이라서 또 훗날을 위해 정리를 하게 되나 봅니다.

시간이 조금만 더 많다면, 이제 막 시작하시는 분들을 위해서 더욱 자세하게 작성을 할 수도 있겠지만, 저도 공부를 하는 학생인지라서 ㅋㅋ 제 위주로 쓰지만, 그래도 최대한 다른분들이 이해하기 쉽도록 풀어서 써보도록 하겠습니다. ㅋ

서론을 그만하구요 ㅋ

일단 오늘 한강의 시작해 보지요~ 몇개의 포스팅에 나누어 올라갈지는 모르지만요 ㅋㅋ

Adaptive Filter !

굉장히 멋진 이름입니다. 공학을 하는 사람들을 어떤식으로든 한번 들어는 보았을 것입니다. 특히나 의공학을 하시는 분들은 Fetal ECG, EEG 에 응용된다고 귀에 못이 박히게 듣지만, 막상 어떤 이론에 의해 이렇게 되는지를 잘 모르지요 ㅋ

사실 학부때 Random Process 를 제대로 배우지 않기 때문에 설명하기에 무리가 따르는것도 사실입니다.

Adaptive Filter 를 이해하기 위해서는 기본적인 통계 이론과 랜덤 프로세스를 알아야한다는 말입니다.

이어지는 챕터에서 가볍게 랜던프로세스에 나오는 용어들과 정의, 통계적 신호처리에 대해 가볍게 언급하고 넘어가고자 합니다.

이 글이 써지고 있는 카테고리가 적응 필터이기 때문에 매우 자세히 언급하지는 않을 것입니다.

관심이 있으신 분들을 직접 책을 찾거나 구글신에게 부족한 부분을 채우시길 바라고, 저는 훗날 Wiener Filter 나 LMS 알고리즘을 언급하면서 필요한 이론들을 그때 설명하도록 하겠습니다. 

그럼 가벼운 마음으로 이런게 있었군~ 하면서 글을 읽어보시겠어요? ㅋㅋ

1. Statistical Model & Deterministic Model : 일반적으로 사용되는 모델을 크게 두종류로 나누어 보았습니다. 랜덤 프로세스에서 어떠한 sample function 의 미래 값을 정확하게 예측 가능하면 Deterministic 모델이라고 부릅니다. Non deterministic모델은 그 반대말을 의미한답니다. 반대로 통계적 모델링이라는것은 신호의 통계적 특성을 이용해 모델링하는 문제들에서 많이 사용됩니다. 특히나 통신문제에서 많이 사용되죠~ 오디오 코딩이나 음성신호~ 초음파의 Beam forming등에 주로 사용됩니다. 물론 제가 전공하는 생체신호들 (ECG, EMG, EEG 등등) 도 통계적 모델링이 되는 것이지요. 아래는 ECG 에서 노이즈를 제거하는 예입니다. LMS 기반 알고리즘이 사용되었네요 ㅋ 자세한것은 훗날 알려드리고 이번에는 의공학에서 통계적 모델이 이런용도로 사용되는구나 정도만 알고 넘어가세요 ㅋ


2. Signal 의 분류 (Power Signal , Energy Signal) : 이 부분은 학부의 Linear System 에서 무조건 배우는 내용이지요 ㅋ 시그널을 크게 두종류로 나누어 보면 위와 같이 나눌수 있는 것이지요. 근데 다들 Signal 이 뭔지 System 이 뭔지는 정확히 알고 계시겠지요? ㅋㅋ 모르신다구요? ㅋㅋ 공부하세요!!! ㅋㅋㅋ 아시는 분들이 아랫쪽에 댓글 달아주시겠지요 뭐 ㅋㅋ 


너무 기본적인 내용이라서 길게 사족 달지 않겠습니다.

이정도 사진 두장 보시면 생각이 나시면서, 혹은 모르더라고 다른곳에서 자료를 찾아보기에 충분한 자료라 사료됩니다~ ㅋㅋㅋ 갑자기 문득 생각나네요 ㅋㅋ 학부때 ㅋㅋ "주기함수는 파워시그널"  하면서 외우던 기억이요 ㅋㅋㅋ


3. Random Event , Random Variable , Random Process

이것만 가지고 설명하기에도 한달 이상은 걸리겠지요? ㅋㅋ 무론 저도 완벽하게 알고 있지 않다고 스스로 생각하고 있답니다 ㅋ 지금 제 자신이 이해하고 있는 부분이 맞는지도 잘 모르겠구요 ㅋ 그래서 이 개념은 스스로 공부하는것이 좋을 듯 싶어요 ㅋ 알기위해서는 기본적인 확률 & 통계 이론이 필요합니다. (pdf, cdf, joint-pdf 등등)

(1) Random Event : '확률' 로 표현 됩니다. ( S = {e1, e2, ..... } )
(2) Random Variable : '확률 밀도 함수 (Probability Density Function)' 으로 표현됩니다.   
                                ( X = {x(e1), x(e2), ..... } ) 

(3) Random Process : '시간의 개념이 추가된 Random Variable' 형태로 표현됩니다. 이때 표현되는 pdf 는 두개의 독립변수에 영향을 받기 때문에 joint pdf 로 표현이 되겠지요? ( X = {x(t , e1) , x(t , e2) , .....} )

아래의 초 간단 예제를 보시고 위의 세가지 개념의 차이점에 대해 감을 잡으시길 바랍니다. 이 중에서 우리가 Adaptive Filter 를 구현 해 감에 있어 주로 다루게 될 것은 당연히 Random Process 가 되겠지용?


Random Process 보다는 Random Event 와 Random variable 사이의 관계가 굉장히 헷갈리는데요 ㅋ
Random Event 를 내가 수학적 계산을 하기 위해서 내가 원하는 수에 mapping 을 시킨 것을 Random Variable 이라고  생각하셔도 무방할 듯 싶습니다. 이벤트이기 때문에 각 이벤트가 일어날 확률로 표시되는 것이고, 이것을 내가 원하는 수에 매핑 시켰기 때문에 r.v 는 숫자의 형태로 보여지는 것이지요. 숫자의 형태를 띄어야 pdf 에 인자로 집어 넣을수가 있자나요 ㅋㅋㅋ


이것이 바로 Random Process 의 고전적인 그림입니다 ㅋ

이거 나오면서부터 머리가 아파요 ㅋ 조기 엄청난 이름이 보이네요 ㅋㅋ 그 이름도 유명한 Ensemble ! 앙상블 ㅋㅋ 아오 이거 정말 짜증나지요 ㅋㅋ

여튼 여기서 말하고자 하는것은~ r.v 에 time 의 개념이 추가된 하나의 시그널을 Sample function 이라고 부르지요? 이런 sample function 들이 모여서 random process 가 됩니다. 

process 라는 단어때문에 뭔가 이런 데이터 들의 집단이라고 처음에 잘 생각하지 않고, 뭔가를 하는 과정이라고 생각하는 경우가 있습니다. 저도 왜 이렇게 이름을 지었는지 모르겠지만, 이해가 안되면 초기에는 암기하시기 바랍니다.

time 개념이 추가된 random variable 들을 sample function 이라고 할때, 이러한 sample function 들이 모인 집단을 random process 라고 한다. 


4. Statistical Independence (통계적 독립) : 두 r.p X(t), Y(t) 가 S.I 라 함은, 어떠한 시간에서의 각 프로세스에 해당되는 랜덤 변수들이 서로 독립적이란 소리다. 즉 어느 임의의 시간에서도 두 프로세스가 상호 의존적이지 않다는 소리. 더욱 직관적으로 말하자면, 어느 시간 t1 에서 Y(t1) 의 출력식에 X(t) 에 관한 식이 들어가지 않는다는 소리다. ㅋ 즉, 각각의 프로세스는 자기 자신으로 완전체다 ㅋㅋㅋ 


5. Stationary, WSS (Wide Sense Stationary) : 점점 맨탈 붕괴가 다가 오지요? ㅋㅋ 대부분의 랜덤 프로세스는 Wide Sense Stationary 하다고 가정한 뒤에 신호처리를 하게 됩니다. Stationary 가 뭔지도 모르겠는데 맨날 WSS 라고 하니 그것은 또 무엇인가 헤메다가 결국 다 포기하게 되지요 ㅋ Stationary 는 사전적 의미로 정적이라는 뜻이지요. 시간이 지나더라도 그 신호의 통계적 특징(Moment, pdf)이 변화하지 않는 신호를 말합니다. 화이트 노이즈나 지속적으로 울리는 사이렌 소리 같은것이 해당되겠네요. Non-Stationary 는 그 반대겠지요~ 가장 쉽게는 공기중에 울리는 음파는 시간이 지남에따라 그 진폭이 사그라 들면서 사라지지요 ㅋ Non-Stationary 하다고 할수 있습니다. ㅋ 즉 t시점의 출력 파형은 t-1 의 출력 신호에 의해 결정되는 신호들은 Non-Stationary 한 것이지요 ㅋ

이 지구상에 완벽하게 Stationary 한 신호는 White Noise 한가지 밖에 없습니다. 그렇다고 신호를 Non-Stationary 하다고 접근하기에는 모든 문제가 너무 복잡해져버려서 WSS 라는 개념을 도입하게 됩니다. First order, Second Order Stationary 하면 Wide Sense Stationary 하다고 부르자. 그럼 First order-stationary 와 Second-order Stationary 가 무엇이냐! 아래의 식과 그림을 보시면 쉽게 이해가 되실듯용. 조금 더 풀어 써 본다면 어떤 프로세스의 1차 평균과 자기 상관함수(2차 평균) 가 시간 축에 무관한 경우 WSS 라고 부릅니다. 더 궁금하신 점은 댓글을 이용합시다~ (토론의 장) ㅋㅋ




6. Autocorrelation : 크게 설명이 필요하겠습니까? ㅋ 자기 자신과 자기 자신의 딜레이된 신호와의 연관성을 보는것입니다. 식도 간단하지요? ㅋ 

E{X(t)X(t+tau)} 

tau 가 0 일때는 어떻게 됩니까? ㅋ X 라는 신호의 variance 가 출력으로 나오지요? ㅋ 완전하게 stationary 하다면 
tau != 0 일때 autocorrelation 도 0 이 되어야 합니다. 이런신호는 White Noise 밖에 없어요 ㅋ


7. Ergodicity : 요고도 자주 들어보셨으리라고 생각됩니다. 맨날 그러자나요 ㅋ 이 r.p 가 WSS 이고 Ergodic 하다 가정하면.... ㅋㅋ 안그러나요? ㅋㅋ 시간이 무한하게 흘렀을때 앙상블 평균과 시간 평균이 같아지는 신호를 Ergodic 하다고 합니다. 어떤 신호가 Ergodic 하다갈고 알려지면, 앙상블 평균과 Autocorrelation (각각 1차 평균, 2차 평균이라고도 부르지요)을 구하기 위해서는 하나의 Sample Function 만 있으면 됩니다. ㅋ


각각은 위와 같은 집단으로 표현할 수 있겠군요 ㅋㅋ 개념의 크기가 이런 관계가 성립한답니다~ ㅋ

8. Correlation, Cross Correlation, Covariance : 요곳들은 스스로 공부하시기 바랍니다 ㅋㅋ 이것들은 다 위에서 나온 개념들에서 파생 된 것이기 때문에 살짝만 찾아보시면 충분히 아실 수 있을 것입니다. 

9. Spectral Estimation : R.P 의 PSD 는 R.P 의 Autocorrelation function 으로 계산할수 있습니다. 기존에 알고있던 Fourier Transform 과 거의 비슷한 식이에요. 증명도 가능합니다. 처음 보았을 때 저도 엄청 신기했습니다. 와 ~ 이렇게도 되는구나 ㅋㅋㅋ 당장 크게 써먹을것 같지않아 제목만 언급하고 넘어가겠습니다. 관심있으신 분들은 한번 찾아보세요. 



이것으로 기본적은 stochastic theorem 에 대한 리뷰? 혹은 프리뷰를 마치도록 하겠습니다. 매우 기본이 되는 이론들이고 매우 간단하게 다루었기 때문에 부족하신 부분은 따로 책과 다른 사이트를 참고하시길 바랍니다. 

다음 포스팅 부터는 실제 Adaptive Filter 에 대한 이론에 대해 포스팅 할 예정입니다. 

주로 사용하게 될 참고 교제가 Adaptive Filter 책중에 가장 유명한 책이라고 하더군요.

Simon Haykin 의 ADAPTIVE FILTER THEORY 입니다. 

그리고 또 ADF 에 관한 논문들 ㅋㅋ

제가 잘 이해가 되지 않는 부분이나 잘못 이해한 부분은 댓글과 메일을 이용해 서로 토론해 볼수 있었으면 좋겠습니다. 얼마가 걸릴지 모르는 포스팅이지만 저도 꾸준히 시간을 가지고 공부해가도록 하겠습니다. 많이들 도와주세요

저작자 표시 비영리 동일 조건 변경 허락
신고
Posted by J.Bear