README.md

The Machine Learning pipeline on AWS(http://bit.ly/ml-pipeline)

이 곳은 The Machine Learning pipeline on AWS 수업을 위한 자료 모음집 입니다.

AWS 학습 링크집 시리즈

• AWS 트레이닝 및 자격증 소개 http://bit.ly/aws-tnc-intro
• AWS 학습 자료집 http://bit.ly/aws-study-resource
• AWS 공인 솔루션스 아키텍트 - 어소시에이트 수험 가이드 http://bit.ly/sacertguide
• AWS 공인 개발자 - 어소시에이트 수험 가이드 http://bit.ly/devcertguide
• AWS 보안 관련 컨텐츠 모음집 http://bit.ly/secontents
• AWS 기반 빅데이터 학습자료집 http://bit.ly/bdonaws
• AWS 딥러닝 학습 자료 모음집 http://bit.ly/dlonaws
• 2019년 re:Invent 에서 공개된 AI/ML관련 서비스 소개 http://bit.ly/2019-ml-recap
• AWS The Machine Learning pipeline on AWS 교육 학습 자료집 http://bit.ly/ml-pipeline

실습 & 워크숍

실습1 - Project: Bank Marketing Prediction(정기예금 전화 마케팅 예측)

• University of California, Irvine(UCI) 기계 학습(ML) 리포지토리
• Project: Bank Marketing Prediction - 분석 및 예측 전반에 걸친 세세한 내용이 잘 정리된 github 리포지토리입니다.

워크숍 - 아마존 비디오 리뷰

• Amazon Customer Reviews Dataset
  • Netflix의 추천 시스템에 대해 자세히 알아보기

워크숍 - 신용카드 사기 탐지

• 신용카드 사기 거래 감지하기 - EDA와 데이터 클랜징 뿐만 아니라 알고리즘 선택과 모델 학습까지 정리된 블로그 글
• Credit Fraud || Dealing with Imbalanced Datasets(Kaggle)

워크숍 - 비행기 지연 예측

• Predicting flight delays(Kaggle)

Python 기초

• 파이썬 코딩도장
• Learn Python On AWS Workshop

수학 기초

• 수학을 위한 구글 - 울프럼 알파
• 울프럼 알파(Wolfram Alpha) 사용법
• 3Blue1Brown 한국어 - 알기쉽게 다양한 수학 개념을 설명하는 유튜브인 3Blue1Brown이 한국어 자막과 함께 제공됩니다.

Jupyter notebook

• Python Data Science Handbook
• Jupyter notebook CheatSheet
• How to Use Jupyter Notebook in 2020: A Beginner’s Tutorial
• Jupyter Notebook Tutorial: Introduction, Setup, and Walkthrough(영상 튜토리얼)

Amazon SageMaker

• SageMaker 설명서
• Amazon SageMaker 데모 - 김대근, AWS 데이터 사이언티스트 :: AIML 특집 웨비나 - 한국어로 친철하게 설명한 SageMaker 데모
• SageMaker 셀프 스터디 가이드
• SageMaker Notebook Instance Lifecycle Config Samples
  • auto-stop-idle - 1시간 이상 노트북 사용이 없을 경우 자동으로 중지시키는 스크립트
• SageMaker 내장 알고리즘
• SageMaker Script Mode 예제
  • Script Mode 데모 영상
    • 데모 영상에서 사용한 소스코드
• SageMaker AutoPilot 예제
• SageMaker BYOC(Bring Your Own Container)
  • 예제 노트북: 자체 알고리즘 또는 모델 사용
  • 한글 핸즈온 - BRING-YOUR-OWN-CONTAINER 기능 실습하기
• AWS를 사용하여 전체 기계 학습 수명주기 설계 및 구축 : End-to-End Amazon SageMaker Demo
  • End-to-End Amazon SageMaker Demo 한글화된 노트북

문제 공식화

• 핸즈온 머신러닝에서 제안한 머신러닝 프로젝트 체크리스트
• 보이지 않는 총알자국 - 생존자 편향

분석, 전처리, 피처 엔지니어링

• Amazon SageMaker Ground Truth 처음 시작하기
• Open source data labeling tools
• One-Hot 인코딩 이란?
• 어떤 스케일러를 쓸 것인가? StandardScaler, MinMaxScaler, MaxAbsScaler, RobustScaler
• 이상치(outlier)에 대하여
  • 아웃라이어 제거
• 평균에 대한 정리(mean, median, mode)
• 고차원 데이터의 차원 축소와 시각화 방법: PCA vs t-SNE
• boxplot 해석방법
• 왜도와 첨도
• 결측치 처리
• 분위수(quantile)
• 대푯값 - 평균, 중앙값, 최빈값, 사분위수, 백분위수, 절사 평균, 이상점, 기댓값
• 로그를 이용하여 데이터의 분포를 정규분포로 만들기
  • 위 문서에 나온 numpy.log1p(=log(1+x))의 모양
• 정규 분포로 분포 변환 (PowerTransformer, 로그 변환)
• 선형 회귀 모델에서 '선형'이 의미하는 것은 무엇인가?
• 주성분 분석(PCA) 설명
  • 차원 축소 - PCA, 주성분분석 - 조금 더 자세한 설명
  • PCA 차원 축소 알고리즘 및 파이썬 구현 (주성분 분석)
  • SVD와 PCA, 그리고 잠재의미분석(LSA)
• One-hot 인코딩 쉽게 하기
• 피어슨 상관관계
• 상관계수를 이용한 특징 선택에 대하여

EDA in Python

• 파이썬을 이용한 탐색적 자료 분석(Exploratory Data Analysis:EDA)
• Exploratory Data Analysis (EDA) in Python

Pandas

• Data preprocessing with Python Pandas
• Pandas와 scikit-learn으로 정말 간단한 pre-processing 몇 가지 팁
• Pandas Profiling
  • Speed Up Your Exploratory Data Analysis With Pandas-Profiling
  • pandas의 극강의 라이브러리 Pandas Profiling
• pandas를 SQL처럼 쓰는법
• pandas를 이용한 결측치 처리
• 수십G이상의 거대한 데이터를 처리하는 방법
  • Scaling to large datasets
  • Why and How to Use Pandas with Large Data
  • Machine learning on distributed Dask using Amazon SageMaker and AWS Fargate

모델/알고리즘 선택

• 머신 러닝의 모델 평가와 모델 선택, 알고리즘 선택
• Browse State-of-the-Art
• Overview: State-of-the-Art Machine Learning Algorithms per Discipline & per Task
• XGBoost 심화학습

트레이닝

• SageMaker 처음 사용자용 훈련 예제
• SageMaker 워크숍(한글)
  • MODULE 5: TENSORFLOW MNIST로 자동 모델 튜닝하기
• SageMaker 하이퍼파라미터 튜닝작업 예제
• SageMaker Autopilot 사용 예제
• SageMaker Autopilot Workshop

추론

• Amazon SageMaker 모델 레지스트리에 모델 등록 및 배포
• Amazon SageMaker 다중 모델 엔드포인트을 사용하여 여러 모델 호스팅
• Amazon SageMaker Model Monitor
  • Amazon SageMaker Model Monitor – Fully Managed Automatic Monitoring For Your Machine Learning Models
• 추론 파이프라인 배포
• SageMaker를 사용한 배치 추론
• SageMaker를 사용한 실시간 추론
• Amazon SageMaker Endpoint Auto Scaling

검증

• 훈련 데이터셋을 나누는 이유
• 교차검증
  • 사이킷런 (scikit learn) 에서의 교차검증 (cross validation), Kfold 정리
  • StratifiedKFold v.s KFold v.s StratifiedShuffleSplit
• 혼동행렬
• ROC curve
• 회귀 모델의 적합도
• 결정계수(R Square)
  • 조정 결정 계수(Adjusted R Square)는 어디에 사용하는 것인가?
• 크로스 엔트로피

완전 자동화된 ML

• Amazon SageMaker Canvas 발표 – 비즈니스 분석가를 위한 손쉬운 노코드 기계 학습 기능
• Gluon AutoML
• SageMaker AutoPilot
  • SageMaker AutoPilot 예제
• PyCaret 튜토리얼(회귀)

MLOps - 프로덕션 ML 워크로드를 위한 자료들

• 기계 학습 렌즈 AWS Well-Architected 프레임워크 - ML을 위한 Well-Architected 프레임워크
• AWS를 사용하여 전체 기계 학습 수명주기를 설계 및 구축하는 법 : End to End Amazon SageMaker 데모
• Amazon SageMaker MLOps 실습
• From DevOps to MLOPS: Integrate Machine Learning Models using Jenkins and Docker

참고자료

온라인 코스

• Amazon Machine Learning University
• 모두를 위한 딥러닝
• 생활코딩 머신러닝
• 개발자를 위한 실전 딥러닝
• Deep Learning - The Straight Dope

서적

• 비즈니스 머신러닝 - 아마존 세이지메이커와 주피터를 활용한 빠르고 효과적인 머신러닝 활용법
• 세상에서 가장 쉬운 통계학 입문
• 세상에서 가장 쉬운 베이즈통계학 입문
• 혼자 공부하는 머신러닝 + 딥러닝
• 밑바닥부터 시작하는 딥러닝 - 가장 쉽게 딥러닝의 작동원리와 구현을 설명한 책
  • 파이썬 노트북으로 정리한 밑바닥부터 시작하는 딥러닝 예제들
• 핸즈온 머신러닝(2판) - 난이도가 있지만 실무자의 시선에서 머신러닝 전반을 자세하게 다룬 책
• 틀리지 않는 법: 수학적 사고의 힘 - 수학적 사고에 대해서 통찰한 교양서적

블로그 & 읽을거리

• AWS Machine Learning Blog
• KDNuggets
• Towards Data Science
  • Don’t learn machine learning(머신러닝을 공부하지 마시오) - 당신은 로그인 기능을 만들기 위해 커스텀 해시 함수를 제작하는가? 아니면 만들어진 해시 함수를 사용하는가?
• 설명 가능한 인공지능