[짧은 글] Neural Operator (2023): 연산자를 학습하는 범용 신경망 모델

Kovachki, N., Li, Z., Liu, B., Azizzadenesheli, K., Bhattacharya, K., Stuart, A., & Anandkumar, A. (2023). Neural operator: Learning maps between function spaces with applications to pdes. Journal of Machine Learning Research, 24(89), 1-97.

 

Neural Operator: Learning Maps Between Function Spaces With Applications to PDEs

Neural Operator: Learning Maps Between Function Spaces With Applications to PDEs

 

 

요약:

학습 가능한 Integral Kernel Operators(위 그림의 적분식)와 linear layer(W)와 non-linear activation(σ)을 묶어서 함수 공간 학습용 layer로 제안한다. 특정 이산화된 벡터(feature 라고도 부르는 것)을 직접 다루지 않고, 함수공간 위의 연산자를 학습해서 "discretization-invariant" 하게 만든다. 즉, 입력이 듬성듬성한 점들로 들어오든 더 촘촘한 점들로 들어오든, 비슷한 규칙으로 작동하게 만든다는 뜻이다. (일반적인 딥러닝 모델들은 기본적으로는 입력 해상도가 변할 때 출력이 유사하다는 것을 보장하지 못하기 때문에 다양한 트릭을 써서 일반화되도록 학습시킨다)

이론적으로는 Transformer의 attention mechanism 도 Neural Operator의 특수한 형태로 나타낼 수 있기 때문에 매우 범용적인 제안이다. 그렇다고 LLM 같은 문제를 푸는건 아니고, 주로 연속 함수 문제, 특히 PDE(편미분방정식)의 해 연산자를 빠르게 근사하는 모델로 제안되었다.

Integral Kernel Operators를 푸리에 변환 기반으로 구현한 FNO 모델이 계산 효율과 성능 모두 우수한 결과를 보여 성공적인 제안임을 확인한다.

 

더 깊게 읽을까?
잘 모르겠다. 논문의 많은 부분이 Neural Operator라는 개념을 수학적으로 제안하고 증명하는 데 할애되었어서 이걸 제대로 이해하려면 최소 학부 고학년 수준의 수학 지식(측도론, 실해석학 등)이 필요해 보인다. 나도 수학 전공이 아니고 대학원 와서 수업 좀 들어본 정도라 AI의 도움 없이 이해하지 못할 것 같다. 나는 이론 머신러닝을 연구하는 사람은 아니라서, 범용적인 딥러닝 모델을 제안했다는 측면에서는 흥미롭긴 한데, 지식의 지평을 넓히는 수준 이상으로 더 파고들기는 쉽지 않을 것 같다. 특히 저널 논문이라 분량이 엄청난 것도 한몫 한다. 대 AI 시대라서 이런 논문을 알아만 둬도 활용할 수 있다는 것에 감사하게 된다.

 

 

* 짧은 글은 논문을 정독하고 쓰기 보단 핵심 내용만 파악하고 작성한 내용입니다.