고정 헤더 영역
상세 컨텐츠
본문
Zhai, X., Mustafa, B., Kolesnikov, A., & Beyer, L. (2023). Sigmoid loss for language image pre-training. In Proceedings of the IEEE/CVF international conference on computer vision (pp. 11975-11986).
ICCV 2023 Open Access Repository
ICCV 2023 Open Access Repository
Sigmoid Loss for Language Image Pre-Training Xiaohua Zhai, Basil Mustafa, Alexander Kolesnikov, Lucas Beyer; Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023, pp. 11975-11986 Abstract We propose a simple pairwise sigmoid
openaccess.thecvf.com
요약:
CLIP류의 이미지-언어 모델을 학습할 때 사용하는 Contrastive learning의 softmax loss 대신 sigmoid loss를 사용하는 것을 제안하는 논문이다. 이렇게 하면 전체를 사용하는 정규화 없이 각 이미지-텍스트 쌍에 대해서만 계산할 수 있기 때문에 계산 효율성이 개선된다. 또한 이러한 방법으로 우수한 성능을 얻을 수 있음을 확인한다. 배치가 계속 커진다고 좋은 건 아니고, 32k가 가장 효과적이라는 것도 확인한다.
더 깊게 읽을까?
중요한 논문이고 SigLIP 계열 모델을 잘 활용하고는 있지만 더 깊게 읽을 필요는 없을 것 같다. 아이디어는 단순하지만 이를 학술적으로 입증하기 위해 실험을 얼마나 다양한 관점으로 했는지 추후 참고해볼만 하다.
'학술 > 인공지능 논문 읽기' 카테고리의 다른 글
| [짧은 글] Veriflow: Modeling distributions for neural network verification (0) | 2026.06.23 |
|---|---|
| [짧은 글] SMaRt: Improving GANs with Score Matching Regularity (0) | 2026.05.15 |
| [짧은 글] Scaling and evaluating sparse autoencoders (0) | 2026.04.29 |
| [짧은 글] Entailment as Robust Self-Learner (2023) (0) | 2026.04.24 |
| [짧은 글] Human-inspired Episodic Memory for Infinite Context LLMs (2025) (0) | 2026.04.15 |
| [짧은 글] Neural Operator (2023): 연산자를 학습하는 범용 신경망 모델 (0) | 2026.04.13 |
| (Vanilla) Transformer 흐름 이해하기 by The Annotated Transformer (0) | 2023.07.11 |
댓글 영역