데이터 분석 ing

이미지 출처 :  로스트 아크 공식 홈페이지 및 인게임 스크린샷

또 새로운 공부라니... 새 카테고리를 늘릴 때마다 아 pandas도 좀 더 깊게 하고 싶은데.... ML도... SQL이랑 Spark가 중요하다는데... 라는 생각이 들지만 오늘도 새로운 솔루션을 설치한다... 이 포스팅은 유튜브 채널 비저블에서 업로드한 태블로 5분 베이직 시리즈를 보고 학습한 내용이다. 원본 영상의 링크 ▶ https://www.youtube.com/playlist?list=PLBnE9HpHGoKUd7X3jF6qICrYLsf7An36Q Tableau란? tableu는 대시보드 제작 툴이다. 데이터의 변화에 따라 변하는 대시보드 특성상 DB와 연결이 가능하고 페이지로 제작되어 배포도 가능한 대시보드이다. 이런 식으로 대시보드를 제작할수 있다는데... 내 적성이랑 잘 맞을 것 같아서 마..

1. 여성이며 혈압이 High, Cholesterol이 Normal인 환자의 전체에 대비한 비율이 얼마인지 구하시오. (소수점 4번째 자리에서 반올림할 것) 문제에서 사용되는 데이터의 info 부터 살펴본다. data_2.info() # result RangeIndex: 200 entries, 0 to 199 Data columns (total 6 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 Age 200 non-null int64 1 Sex 200 non-null object 2 BP 200 non-null object 3 Cholesterol 200 non-null object 4 Na_to_K 200 non-nu..

지난 10월 19~20일간 멀티캠퍼스에서 진행한 실기시험 대비 예제의 코드 리뷰이다. 채널별 마케팅 예산과 매출금액이 내용인 데이터를 가공하는 문제이다. 우선 데이터의 형태를 살펴보기 위해 info()와 head()를 실행한다. data1.info() #result RangeIndex: 4572 entries, 0 to 4571 Data columns (total 5 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 TV 4562 non-null float64 1 Radio 4568 non-null float64 2 Social_Media 4566 non-null float64 3 Influencer 4572 non-nul..

JOIN 💡 JOIN은 여러 테이블로 나뉜 정보를 조합하는 결합 함수다. ➕ LEFT JOIN LEFT JOIN은 자주 쓰이는 JOIN이다. 두 테이블 중 한 테이블의 일부 정보를 타 테이블 기준으로 결합하는 방식이다. SELECT * FROM table_a LEFT JOIN table_b ON table_a.column_1=table_b.column_1 두 테이블은 table_a의 데이터를 기준으로 JOIN하게 된다. a테이블의 정보는 전부 출력되고 b테이블은 column_1 데이터 중 a테이블에도 존재하는 정보를 출력한다. 예시 코드와 결과는 이렇다. SELECT A.ordernumber , B.country FROM orders A LEFT JOIN customers B ON A.customernu..

또 한번의 프로젝트가 다가오면서 매번 다른 환경에서 작업하기 보다는 GCP를 통해 일괄적으로 처리할 필요가 생겼다. BigQuery BigQuery는 GCP에 포함된 서비스로 데이터 베이스를 다룰 수 있다. 이 BigQuery를 Compute Engine에서 구동되게 해보려 한다. BigQuery Client 라이브러리 설치 SSH를 통해 라이브러리를 설치한다. (base) ***@***:~$ pip install --upgrade google-cloud-bigquery BigQuery의 API 설정 콘솔의 API 및 서비스에서 사용 설정된 API 및 서비스를 클릭한다. 검색창에 BigQuery를 검색하고 사용버튼을 클릭한다. 이어서 사용자 인증 정보를 만든다. 서비스 계정에서 서비스 계정 관리를 클릭하..

이 포스트는 도서 "SQL로 맛보는 데이터 전처리 분석"을 베이스로 학습한 내용을 정리한 포스트이다. https://www.yes24.com/Product/Goods/86544423 SQL로 맛보는 데이터 전처리 분석 - 예스24 SQL을 이용하여 현업에서 자주 사용되는 KPI 지표를 직접 추출해본다데이터 분석을 하기 위해서는 데이터베이스에 존재하는 데이터를 직접 추출할 수 있어야 한다. SQL은 우리가 데이터베이스에 www.yes24.com 이어서 다음은 WHERE 구문이다. WHERE 그리고 조건문 연산자 💡 WHERE 구문은 조건문에 사용된다. 특정 값을 가지거나 대소관계를 조건으로 적용할 수 있다. SELECT * FROM orderdetails WHERE priceeach < 30; #price..

이번엔 GITHUB과 GCP를 연동하는 시간을 가져보자 GIT 설치 당연하겠지만 깃헙과 연결하기 위해서는 GIT이 필요하다. 터미널에서 GIT을 설치해보자 (base) ***@***:~$ sudo apt-get update -y (base) ***@***:~$ sudo apt-get upgrade -y (base) ***@***:~$ sudo apt install git #확인차 버전체크 (base) ***@***:~$ git --version 이후 Github에 연동이 잘 되는지 확인할 repository를 하나 만든다. ✅ 보안을 위해 Private으로 만들었다 SSH Key 값 설정하기 다음으로 할 것은 ssh의 Key 값을 설정해주는 것이다. 아래의 코드를 실행하고 엔터를 계속 눌러준다면 그 밑의..

지난 포스팅에 이어 가상환경 구축을 마무리할 차례다. SSH를 통해 인스턴스 터미널 진입 인스턴스를 SSH버튼의 브라우저 창에서 열기로 실행해준다. 이 화면에서 개발 환경을 구축할 코드들을 작성해야 한다. MINICONDA 설치 opt 경로에서 설치를 진행할 것이다. $ cd ../../opt 경로로 이동 시 user_id@instance_name:/opt$ 의 형태로 터미널이 변함을 확인할 수 있다. https://docs.conda.io/projects/miniconda/en/latest/ 페이지를 참조해 리눅스 환경에서 미니콘다를 설치하는 코드를 작성해준다. mkdir -p ~/miniconda3 wget https://repo.anaconda.com/miniconda/Miniconda3-lates..

프로젝트 중 비용적인 측면에서 AWS보다 효율적인 GCP를 이용하기 위해 환경 구축을 진행하고자 한다. Git과 연동도 잘 된다니 망설일 필요도 없다. 구글 클라우드 플랫폼 페이지 접속 https://console.cloud.google.com/ 새 프로젝트 시작 좌측 상단의 체크 표시를 만들면 프로젝트 선택 윈도우가 생긴다. 여기서 새 프로젝트를 클릭하고 이름과 기관을 설정해 준다. Compute Engine API 설치 결제계정 등록이 되어있지 않은 상태라면 결제 등록부터 진행할 것 리소스 카테고리의 Compute Engine을 클릭해 이동한다. 사용을 클릭하면 설치부 터 사용까지 진행된다. VM 인스턴스 생성 콘솔 페이지의 VM인스턴스 생성을 클릭 후 인스턴스 만들기를 진행한다. 인스턴스 만들기를 ..