[짧은 글] Scaling and evaluating sparse autoencoders

Gao, L., la Tour, T. D., Tillman, H., Goh, G., Troll, R., Radford, A., ... & Wu, J. Scaling and evaluating sparse autoencoders. In The Thirteenth International Conference on Learning Representations.

 

[2406.04093] Scaling and evaluating sparse autoencoders

Scaling and evaluating sparse autoencoders

 

요약:

SAE(sparse autoencoders)도 규모를 키우면 예측 가능한 scaling law를 보인다는 점을 실험적으로 보여준다. 특히 상위 k개 latent만 사용하는 TopK 방식을 적용한 k-sparse autoencoder로 L1 penalty의 activation shrinkage 문제를 피하고, 별도의 초기화와 auxiliary loss로 dead latent 문제를 완화할 수 있음을 보인다.

 

더 깊게 읽을까?

이 논문보다 SAE(희소 오토인코더) 논문을 깊게 읽어보려고 한다. SAE에 대해서 잘 모른다는걸 확실히 알았다. 이 논문은 ICLR에서 구두발표할 정도로 잘 나온 논문이지만 SAE를 확장한 측면이 강해서 이쪽 연구를 하려고 하기 전에는 굳이 깊게 읽지는 않아도 될 것 같다.