Attitude.md

Attitude

'NLP를 한다/잘 한다', 또는 더 깊이, '무언가를 잘 한다'라는 건 구체적으로 무엇을 뜻할까? - 부스트캠퍼 이재영님의 질문을 듣고 고민해본 생각

• 'NLP를 한다'라는 건 'NLP 도메인 관련 task를 수행해보고 있다'는 것을 의미하고, 특히 'NLP를 잘 한다'라는 것은 'NLP 도메인과 관련된 task를 수행하면서 발생할 만한 다양한 트러블을 경험해본 바 있고, 따라서 앞으로 새로운 트러블도 전략적으로 해결하며 목적을 달성할 수 있다' 정도로 생각한다. 이러한 '다양한 트러블을 경험했다'라는 건 또 다시 broad한 부분과 specific한 역량으로 연결지을 수 있다.
• Broad: NLP 분야에 범용적으로 활용되는 도구 또는 개념를 얼마나 깊이 있게 이해했고 활용할 수 있는지와 관련된 역량. 가령 MRC, NER 등 downstream task 모두 공통적으로 'tokenization'의 도구를 필요로 할텐데, task 성능을 높이기 위해, 또는 컴퓨터 환경을 최대한 효율적으로 활용하기 위해 tokenization을 어떤 식으로 활용할 지 고민하고 적용해봤다는 경험 자체가 여러 task를 수행하는데 굵직한 기본기가 될 것이고, 이러한 기본기가 쌓이고 쌓여 'NLP를 잘 한다'로 이어질 것이다. 설령 다른 downstream task를 수행하게 되더라도 이러한 기본기는 변하지 않으며, ideation의 기반으로 작용할 듯 하다.
• Specific: downstream task 자체에 대한 이해도와 연관된 역량. MRC면 MRC, NER이면 NER 등 특정 분야에 대해 일반적으로 발생하는 문제가 무엇이 있고, 해당 분야 동향은 어떠하며, 따라서 현재의 나는 해당 task에서 어떤 문제를 해결해야 하는지 인지하는 것이 핵심이다. 가령, 엣지 디바이스에서 MRC 구현을 위해 기대에 들떠서 Transformer를 적용해보았으나, 엣지 디바이스에서 이를 활용하기에는 모델이 지나치게 거대하다는 문제를 깨달아, 더 가벼운 모델을 활용해 해당 task를 해결해본 바 있다면, 다음 번 MRC task를 수행할 때는 이러한 경험을 바탕으로 task를 더 전략적으로 해결할 것이고, 'NLP를 잘 한다'로 이어질 것이다. 이러한 경험 또한 기본기에 도움이 되겠지만, 주된 성장은 해당 task에 대한 깊이 있는 이해가 될 듯하다.
• 이는 NLP에 국한된 생각은 아닌 것 같다. 좀더 확장하자면 AI 분야 전반에 대해 'AI를 잘 한다', 좀더 추상적으로 넓히자면 삶 전반에 대해 '인생 잘 산다'와 연결되는, 염두에 둘 만한 생각이다.

사람의 겉과 속 - 카페를 가던 중 떠오른 생각

• 나 자신, 또는 사람 자신은 크게 2가지의 관점에서 바라볼 수 있다. 외부에서 바라보는 나의 표면적인 모습과 복잡하게 읽힌 나의 내면적인 모습. 대략 이 두 가지 모습을 표면적 상태(Explicit State), 내면적 상태(Implicit State)로 나누어 고민해보았다.
• 사람은 타인의 '겉'을 본다. 겉을 보고 '속'을 추론한다. 이러한 표면적 상태는 내면적 상태를 근원으로 두고 있으나, 사람의 말과 몸짓 등을 통해 표출되는 과정에서 왜곡돼 내면적 상태 일부만을 담고 있다. 때문에, 자신이 생각하는 자신의 모습과 타인이 생각하는 자신의 모습은 괴리가 생긴다. 이러한 괴리로 인해 이따금씩 '오해'가 발생하기도 한다. 억울할 것도 없다. 나 자신 또한 타인의 표면적 상태뿐이 볼 수 없기 때문이다.
• 어떤 사람과 유대가 깊어질 수록 그 사람을 이해하게 되었다고, 즉, 내면적 상태를 알게 되었다고 느끼게 되는데, 이는 표면적 정보를 다양한 관점에서 바라볼 수 있을 만큼의 교류가 있었기 때문이다. '사람을 쉽게 판단하면 안된다'라는 말이 만연한 이유가 이 곳에 있다. '겉'을 좀처럼 본 적 없는 사람일 수록 내면적 상태의 추론은 불확실하기 때문이다. 핵심은 순간 순간 있는 그대로를 받아들이는 것이다. 그 사람의 '겉'을 더 하지도 덜 하지도 않게 수용하는 것이다. 내가 나 자신의 내면적 상태를 죽도록 소중히 여기는 만큼, 그 사람의 그것 또한 그러하며, 잘못을 행한 사람이 아닌 한 감히 평가할 수 없다.
• 한편, 내면적 상태는 나 자체다. 우주처럼 광활하고 복잡해 나 자신조차 내면을 온전히 간파하기 어렵다. 또한, '시간'에 따라 변화무쌍하여 꽤나 골치 아프다. 어떤 음식을 좋아하는지 등 단순한 의문에는 나름의 답을 내릴 수 있으나, 그 깊이가 깊어지면 쉽게 결론을 내리기 어렵다. 내면 어딘가에는 존재하는 것 같긴 한데, 미꾸라지처럼 도망다니는 것 같기도, 답이라고 반짝거린 것이 막상 잡아채고 나니 원하던 것이 아니기도 하다. '나도 나를 잘 모르겠다'라는 것이 이런 것 아닐까.
• 나는 어떤 삶을 살기를 원하는 걸까. 어떤 내면적 상태를 얻기를 바라며, 이로부터 어떤 표면적 상태를 기대해볼 수 있을까.
• 바라는 표면적 상태를 느슨하게나마 고민해보자면, 다른 사람들의 표면적 상태에 도움이 될 수 있는 상태가 되고 싶다. 가령, 가정을 꾸리거나 가족들을 부양하게 되었을 때, 그들의 표면적 상태를 해치지 않는, 오히려 드높일 수 있는 상태. 그런 상태
• 내면적 상태는, 표면적 상태보다는 좀더 구체적이고 확고하다. AI의 어떠한 분야에서 '전문가'로 거듭나는 것이 개인적인 목표인데, 내가 바라는 내면적 상태는 '마침내 전문가가 되었다.'라는 문장을 신기루처럼 좇아도 도달할 수 없는 녀석으로 받아들이는 상태이다.

Metacognition

• 자기 자신을 객관적으로 바라보는 것은 매우 중요한 것 같다. 매우 매우 매우 매우 매우
• 자각을 제대로 하지 않으면 자신이 고착화된다. 내가 미친듯이 못난 사람으로 느껴진다거나, 내가 이미 뭔가를 이룬 사람처럼 느껴진다거나. 핵심은, 나를 현실에서 떨어뜨려놓는다는 점이다.
• 동떨어진 현실을 뒤늦게 인지하는 순간 무너진다. 내가 옳다고 생각한 것이 더이상 옳은 것이 아니게 되었다보니, 나 자신이 어리석었던 사람으로 보인다. 후회는 이러한 괴리에서 비롯된다.
• 2021년 3월 15일 현재, 지난주 나는 멋지지 않았다. 예기치 않은 좋지 않은 일 하나에 무너져버렸다. 복잡했고 감정적이었으며 무너졌고 두려워했다. 객관적으로 스스로를 보았을 때, 게을렀고 성실하지 않았다. 이제 이 상황을 인지했으니, 더 나은 자신이 되기 위해 전략을 세우자.

더 잘하고 싶고, 더 나은 사람이 되고 싶다.

• 나 자신은 천성적으로(또는 아주 어렸을 때부터) 인정 욕구가 있는 것 같다. 누군가가 인정해주는 것으로부터 행복감을 느끼는데, 가끔은 인정받지 못했을 때 불행함을 느낀다. 특히 나 자신을 충분히 아끼고 있지 않을 때.
  • 내가 추구하는 '인정'이 어떤 것인지를 고민해보았다. 나는 '더 나은 사람이 되었다는 것을 증명해내고 싶은 욕구'에서 인정을 받고 싶어한다. 정말 노력하는 사람이고, 원하는 바를 끝내 해내는 사람이구나-등의 칭찬을 갈구한다.
  • 좋지 않은 것은, 인정받고 있지 않다고 느낄 때는, '내가 충분히 괜찮은 사람이 아닌건가?' 라고 생각한다는 점이다. 넘어질 때면, 종종 이런 이유에서다.
• 선택지가 너무 많아 무엇을 해야할 지 혼란스러울 때가 있다. 무엇을 공부하는 것이 옳은 것일지, 거시적으로 내가 걷고 있는 길이 맞는 것인지, 사실은 다른 좋은 선택이 있지는 않았을지... 이럴 떄일 수록 정답은 없고 선택만 있다는 점을 받아들일 수 있어야 한다.

'...그리고 다프트 펑크는 이 곡을 다양한 연식의 마이크 세 개를 사용해 목소리를 녹음했는데 이 차이를 과연 누가 들을 수나 있을까요? 하지만 이런 디테일을 모든 음악에 적용한다면 궁극적으로 엄청난 차이를 만들어낼 수도 있습니다.' , 유튜브 채널 기묘한 케이지

• 기묘한 케이지 유튜브 채널 영상에 따르면, 다프트 펑크는 2006년 코첼라 공연이 있기 전 수년 간 캘리포니아의 수많은 페스티벌들의 제안을 모두 거절했다고 한다. 2006년의 쇼만을 위해. 2005년에 앨범 <휴먼 애프터 올>이 나오고 나서야 비로소 자신들이 할 수 있는 일과 그 타이밍을 쟀고, 마침내 2006년 엄청난 쇼 한방으로 댄스 음악에 대한 완전히 새로운 인식을 주며 EDM의 문을 열었다고 한다. 자신들이 추구하는 가치를 철저하게 실현하기 위해 활동했다는 점이 참 인상적이다.

그 외 조각들

• 서두르지 않는다
• 내가 배운 지식들을 개별적으로 평가하지 말 것. 덧셈뺄셈과 미적분은 내가 배우는 데 있어서 쉬움과 어려움은 있으나, 좋고 나쁨을 평가할 수 없다. 문제를 해결함에 있어서 어려운 방법이 무조건 좋은 성과를 내는 것이 아니며, 쉬운 방법으로 해결하는 것이 더 효율적일 수 있다. 받아들인 지식들을 '무엇이 더 좋다'는 식보다, 중립적으로 기억해두는 것이 좋겠다.
• 남과 비교하기 전에 나의 부족한 점에 주목하자
• Learning Example: 공부하다가 이해를 위해 자신만의 예시를 만들어보는 것도 좋은 방법
• 취업 전략에만 집착하지말고 내실을 단단히
  • 화려하지 않아도 돼. 기본기를 단단히!(논문 구현력, 알고리즘, 자료구조 등)
  • 고려해야 하는 현실적인 부분도 있겠지만, 그래도 일말의 낭만은 잊지 마
  • 사소한 것이라도 서비스를 스스로 기획하고 실현해보자
• 건강이 전제되어야 학습 효율이 높은 것 같다
  • 아무리 못해도 이틀에 한번씩은 3~40분 정도 런닝을 하는데, 맑은 정신으로 공부에 임할 수 있더라
• 무의식적으로 싫어하는/멀리하는 것은 무엇인지 고민해보자
  • 의식적으로 싫어하는 건 쉽게 잡아낼 수 있는데, 무의식적인건 쉽지 않아
  • 가령, 코드 구현과 알고리즘 공부가 그렇다
  • AI의 이론적 지식을 쌓는 건 즐거워하다보니 자연스럽게 하게 되는데, 위의 것들은 그렇지가 않아. 의식하고 직면합시다
• NLP에 관심이 점점 많이 가는 중
  • Transformer 모델의 구조가 참 매력적이다
• 헷갈리는 함수 인지하기
• 무식한 접근이 나을 때도 많다.
• 디버깅 대충하지 말 것
  • unittest 처음에는 어려웠는데, 익숙해지니까 유용하더라!
• 함수 내에 함수를 구성하는 걸 껄끄럽게 생각하지 말자
• 컴퓨터 언어도 엄밀히 언어다. 코딩 컨벤션을 숙지하고 따르자.