[AI 논문] AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
Transformer는 본래 NLP 쪽에서 주로 활용되었다면, 이를 이미지에도 적용시키고자 나온 개념이 바로 ViT(Vision Transformer)이다. 오늘은 ViT를 다루는 논문, 'AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE'에 대해 공부해보겠다. 출처- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An image is worth 16x16..
[AI 논문] Attention Is All You Need (2017)
이번 시간에는 레전드 논문 'Attention Is All You Need'를 공부해보겠다.확실히 공부한 걸 블로그로 작성하는 일은 시간은 걸리더라도 long-term memory에 각인되는 것 같다. 공부한 흔적 그 이상의 가치를 가지는 것 같아서 앞으로도 귀찮더라도 꾸준히 포스팅을 해야겠다. 출처- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30, 5998-6008.- Umar Jamil Youtube:..
[병리] 방광암에 대해 알아보자
저번 포스팅에서 언급했던 '방광암 WSI 기반 병리 보고서 생성 모델 개발' 대회 준비를 하면서 AI 논문을 뒤적거리다가, 결국 방광암에 대한 기본 지식이 필요하다고 느껴서 이번 포스팅에 정리해보려고 한다. 출처- Wadhwa, V., Handa, A., & Riaz, I. B. (2019). Pathology, carcinoma in situ. StatPearls [Internet]. https://www.ncbi.nlm.nih.gov/books/NBK540963/ - Ross, M. H., & Pawlina, W. (2020). Histology: A Text and Atlas (8th ed.). Philadelphia, PA: Wolters Kluwer. - World Health Organizat..