BQML로 게임사 주가 예측하기
개요 데이터로 BQML을 통해서 주가 예측을 해보자 넥슨, 컴투스, 넷마블, nc 소프트의 주가를 예측 5년동안 데이터로 학습하고 넥슨 게임사의 2023-03월달의 주가 예측을 시행함 데이터 흐름: API 크롤링 → 빅쿼리, 빅쿼리ML → Looker Studio 목적 5년치 주가 데이터를 활용힌 넥슨 게임즈의 주가 등락 예측과 경쟁 3사와의 비교 BQM
Tag: Big Query
Datastream, Dataflow, BigQuery ML, Looker Studio를 사용하여 수요 예측 빌드 및 시각화
개요 이 노트북의 예제로 실습 진행 데이터 흐름: oracle → pub/sub → datastream → dataflow → bigquery → looker 전체적인 process compute engine에서 vm 인스턴스 생성 저장장소 Cloud Storage Bucket 생성 객체 변경사항에 대한 알림을 Pub/sub으로 전송하도
BQML을 이용한 고객 분류
개요 K means clustering을 빅쿼리 ML(BQML)을 사용하여 고객을 세분화 하기 GA360의 데이터를 빅쿼리에 적재해 ML학습하기 파이썬을 사용하여 빅쿼리와 연동하고 관련 그래프 시각화하기 목표 구글 브랜드 상품을 판매하는 실제 이커머스 스토어인 구글 머천다이스 스토어의 난독화된 GA360 12개월(2016년 8월~2017년 8월)의 데이터
BQML을 이용한 게임유저 경향 모델링
개요 빅쿼리 ML을 사용하여 다양한 머신러닝 모델을 돌리기 GA4와 빅쿼리 연동 시 추출되는 데이터들을 정제해서 머신러닝 훈련데이터로 만들기 각 모델의 평가, 파라미터들을 알아보고 조정해보기 목표 앱 설치 후 첫 24시간 동안의 사용자 활동을 기반으로 하는 “Flood It!” 데이터 세트를 사용하여 다양한 분류 모델을 시도하여 이탈 성향(1) 또는 이탈
로지스틱 회귀 모델 평가시 나오는 용어들 정리
개요 이전 포스트의 5단계에서 ML 모델을 평가할때 나왔던 지표들에 대한 소개 바이너리 로지스틱 회귀 모델을 사용했을 때 모델의 성능을 평가하는 지표들을 소개 알아야 할 개념True/False & Positive/Negative 임계값(Threshold) 로지스틱 회귀 값을 이진 카테고리에 매핑하려면 분류 임계값(결정 임계값)
Python으로 kaggle 데이터 GCP에 적재
요약 Kaggle 데이터 다운로드 GCP에 데이터 세트 만들고 서비스 계정 생성하기 Python-BigQuery 연결 후 데이터 조회 데이터 적재 하기 Kaggle 데이터 다운로드 kaggle을 설치한다 1!pip install kaggle kaggle의 key를 받아온다 123!mkdir ~/.kaggle!echo '{&quo
GCP - Looker Studio 연결하여 대시보드 작성
개요 GCP - Looker Studio 연결해서 대시보드 작성하기 bigquery-public-data.ml_datasets.census_adult_income 데이터 사용 목표 대시보드로 데이터를 시각화 하여 인사이트를 도출해본다. 개인의 연간 소등이 50,000달러 이상인지 예측하기 를 위해 지표들의 상관관계를 확인해본다. public-datase
BQML을 이용한 개인 소득 예측
개인 연간 소득이 5만 달러 이상인지 예측하기개요 GCP에서 BQML 사용하기 BQML의 로지스틱 회귀 모델 유형으로 supervised learning을 지원하는 기능 사용 바이너리/멀티 로지스틱 회귀 모형을 사용하면 값이 두/여러 범주 중 하나에 속할지 예측할 수 있다. 데이터를 둘 이상의 범주로 분류하려는 문제 bigquery-p
Big Query
1. 쿼리 실행순서FROM → WHERE → GROUP BY, Aggregation → HAVING → WINDOW → QUALIFY → DISTINCT → ORDER BY → LIMIT 2. JOIN 3. WINDOW 함수 4. DECLARE 변수를 선언 혹은 초기화할 때 사용 DECLARE variable_name[, ...] [variable_typ