Be ready!

13주차 복기

딥러닝 실습을 위한 기초 이론 1. Hyper parameter (기본적 학습 시 설정 값) 1) Epoch : 한 데이터 셋을 몇 번 학습할 것인지? → 10000개의 데이터를 5epoch 학습한다면 총 5만 개 데이터로 학습하는 것 2) Batch_size : 한 번에 몇 개의 데이터를 입력으로 넣을지 선택 → 한 번에 넣을 수 없으니까, 몇 개를 넣을지 정해야 하는 것 - 병렬 처리 이용 - 같은 배치에 있는 데이터들의 loss를 같이 계산하여 overfitting 방지 3) Underfitting : 학습이 되지 않은 경우, learning rate가 너무 큰 것 4) Overfitting : 경향성을 찾지 않고, 데이터의 결과물을 외운 것 → 학습 데이터가 너무 적은 경우, 모델의 파라미터 수가..

12주차 복기

1. 인공 지능과 머신 러닝 - 기계 학습 : 데이터로 모델을 만드는 과정 - 명시적 프로그래밍 : 사람들이 데이터를 관측하고 지식을 추출해서 규칙을 정함 - 기계 학습의 모델링 : 데이터로부터 문제 해결을 위한 지식을 생성하는 것 (ex. 고양이 판별 함수 - 함수가 곧 모델) - 기계 학습에서는 문제를 주고, 정답을 확인하는 과정을 거치며 생성될 지식을 찾는다. - 전통적인 방식으로는 너무 복잡하거나, 알려진 알고리즘이 없는 분야 (예: 음성 인식) - 트레이닝 데이터셋은 분류하고자 하는 난이도에 따라서 데이터의 양이 달라진다. (데이터의 양과 품질이 중요) - 지도학습 : k-최근접 이웃, 선형 회귀, 로지스틱 회귀, 서포트 벡터머신, 결정트리와 랜덤 포레스트, 신경망 - 비지도 학습 : 훈련데이터..

11주차 복기

1. Bayesian statistics 팀 프로젝트로 진행한 Bayesian statistics 포트폴리오 최종 정리함. 통계 외에도 시각화 자료를 추가하여 결과 이해를 도울 수 있도록 작성했음. 1) 주제 - 인도네시아 semarang toll road에서 발생하는 교통사고의 원인을 나이브 베이즈 알고리즘을 통해 분석 2) 속성 - 시간, 일자, 교통수단, 성별, 도로 타입, 날씨, 표면상태 7개의 속성을 토대로, 물리적 손상, 경상, 중상, 사망의 심각도를 확인하고자 함 3) 가설 설정 - 모든 케이스에 대해 가설을 설정하고 싶었지만, 인도네시아 도로의 특성 및 사회적 의의, 실용성을 반영하여 다음과 같이 2가지 가설을 확인 - case1. 월요일 아침, 미니버스를 탔을 때 도로 형태에 따라 경험할..

10주차 복기

1. 베이즈 통계 베이지안 통계(Bayesian statistics)는 확률론적 통계의 한 분야로, 불확실성을 다루고 추론하는 방법을 제공하는 통계학의 접근 방식 중 하나이다. 특히 작은 데이터 집합이나 복잡한 모델을 다룰 때 유용하다. 바로 프로그래밍을 하지 말고, 베이지안 통계의 원리를 익히고 시작하는 것을 추천한다. 2. 베이지안 통계 관련 도서 추천 1) 파이썬을 활용한 베이지안 통계 통계 기법을 하나하나 문제에 적용해서 설명한 책으로, 베이지안 통계의 입문서로 유명한 책. 개인적으로 '세상에서 가장 쉬운 베이즈 통계학 입문' 보다는 난이도가 있었음. 수식 등 간혹 오타가 있어서 원서를 추천한다고 함 (나는 번역본 구매) 2) 세상에서 가장 쉬운 베이즈 통계학 입문 일본어 번역본으로, 한국어로 되..

9주차 복기

1. PEP8 공동의 업무를 하게 되면 '규칙'이라는 것이 정말 중요하다. 전 세계에서 python을 사용하는 사람들이 많기 때문에, 코드를 짤 때 규칙. Python Enhance Proposal 안에서의 Coding Convention. 이것이 PEP8이다. 협업할 준비가 되었는지 아닌지 확인하기 위해 중요하게 보는 포인트라고 하여, 자주 쓰이는 규칙 몇 가지 기록해 둔다. function, method -> 소문자 Class Name -> 대문자 (camel case) Indentation -> 스페이스 4번 (tab이 아님, vscode에서는 tab도 스페이스 4번처럼 처리됨) word -> 단어들 사이에는 '_' underscore 모두 대문자 (DATA_PATH) -> 프로그램 상에서 변하지 ..

8주차 복기

1. 파이썬 챌린지 데잇걸즈를 시작한 지 2개월 됐다. 매주 랩업 프로젝트 때 랜덤으로 각기 다른 Background를 가진 동료들을 만났는데, 조원들의 다양성이 클수록 프로젝트 운영과 결과물이 만족스럽게 나오는 것 같다. 2개월 동안 크게 3가지를 배웠다. 1. 분석 방법론 및 문제 선정 : power BI 2. 데이터 구조 및 시각화 : python, SQL 3. 데이터 통계 : 진행 중 (python) 많은 과정 중에서 python은 필히 체득하고 싶었기 때문에, 스터디원과 '기필코 python은 뿌신다(!)' 는 목표로 스터디를 새로 시작했다. 문제만 열거되어 있는 ‘파이썬 챌린지 150!’ 선택했고, 저자가 외국인이라 번역이 다소 난감한 부분을 제외하면 만족한다. 문제 난이도는 '중' 정도이며,..

7주차 복기

1. OpenAPI 활용한 기상청 데이터 분석 수업을 따라 들으며 코드를 작성하는 것도 바쁘지만, 지나고 나면 "오타 없이 쳤다"라는 만족감 외에 남는 게 없기 때문에, 매번 전체 과정을 통합한 과제가 필요하다는 생각을 했다. 때마침 시각화 수업 마지막에 강사님께서 수업 내용 전반을 다룬 퀴즈를 내주셨다. Chat GPT 도움 없이 스스로 해냈다는 뿌듯함을 갖고, 잊지 않기 위한 복기를 시작한다. step 1. 기상청 일자료 조회서비스에서 open API를 활용, 2022년~2023 데이터를 csv, xlsx로 수집한다. (변경가능) step 2. 수집한 데이터를 데이터베이스에 적재한다 (splite, postgres, mysql, oracle) step 3. 적재한 데이터베이스를 DB api를 활용해 ..

6주차 복기

1. 일별 주식 시세 크롤링 스터디원과 주식 크롤링 코드 연습을 3차례 수행했다. 그중 수업을 들으면서 일별 주식 시세 크롤링을 진행했다. 자세한 내용은 크롤링 친해지기 파트에 담겨있다. 1) 종목 코드로 확인하기 2) 종목 이름으로 확인하기 3) 일별 시세 시각화 2. 파이썬 시각화 1) 정렬순서 변경하기 (groupby 한 다음에) ex. mean_drv = mpg[['drv','hwy']].groupby('drv', as_index = False).mean() ex. sort_mean_drv = mean_drv.sort_values(by = 'hwy', ascending= False) 2) matplotlib은 plt, seaborn은 sns, plotly은 px 3) seaborn의 그래프 값별 ..