Gen App Builder
개요 구글에서 새롭게 발표한 gen app builder에 대해서 알아보자 어떤 기능이 있고 official doc이 발표된 게 많이 없지만 있는걸 최대한 활용해서 설명한다(유투브에 나온 데모 설명 포함) 웹사이트 설명 오피셜 문서는 아니지만 사이트에 간단하게 설명이 잘 되어 있어서 첨부. Gen App Builder의 도움으로 기계 학습 경험이 없는 개
Category: Data Platform/Base
Ecommerce Reorder Prediction
개요 유저들의 재주문 여부 예측하기 instacart kaggle: https://www.kaggle.com/competitions/instacart-market-basket-analysis/leaderboard 2위 한 모델 github: https://github.com/KazukiOnodera/Instacart 필요 메모리 약 300GB RAM이 필
Ecommerce Recommendation System
개요 kaggle instacart 데이터로 추천 모델링 시스템을 만들기 빅쿼리, Vertex AI를 사용하여 모델을 만들고 예측하기 참고한 유투브의 추천시스템은 평점 feature가 있지만 이 데이터에는 존재 하지 않음. 따라서 재주문 여부와 주문회차를 평점으로 가정하고 모델에 도입함 200만 유저 중에 10000명으로 제한하였고, 모델 평가에 대한 지표
BQML로 게임사 주가 예측하기
개요 데이터로 BQML을 통해서 주가 예측을 해보자 넥슨, 컴투스, 넷마블, nc 소프트의 주가를 예측 5년동안 데이터로 학습하고 넥슨 게임사의 2023-03월달의 주가 예측을 시행함 데이터 흐름: API 크롤링 → 빅쿼리, 빅쿼리ML → Looker Studio 목적 5년치 주가 데이터를 활용힌 넥슨 게임즈의 주가 등락 예측과 경쟁 3사와의 비교 BQM
Datastream, Dataflow, BigQuery ML, Looker Studio를 사용하여 수요 예측 빌드 및 시각화
개요 이 노트북의 예제로 실습 진행 데이터 흐름: oracle → pub/sub → datastream → dataflow → bigquery → looker 전체적인 process compute engine에서 vm 인스턴스 생성 저장장소 Cloud Storage Bucket 생성 객체 변경사항에 대한 알림을 Pub/sub으로 전송하도
BQML을 이용한 고객 분류
개요 K means clustering을 빅쿼리 ML(BQML)을 사용하여 고객을 세분화 하기 GA360의 데이터를 빅쿼리에 적재해 ML학습하기 파이썬을 사용하여 빅쿼리와 연동하고 관련 그래프 시각화하기 목표 구글 브랜드 상품을 판매하는 실제 이커머스 스토어인 구글 머천다이스 스토어의 난독화된 GA360 12개월(2016년 8월~2017년 8월)의 데이터
Mac VScode GCP 인증 관련 오류
gcp내에 있는 예제들을 실행 시킬때면 주피터 노트북으로 gcp를 사용할때 사용자를 인증해야 하는 이슈가 생김 1Error google.auth.exceptions.DefaultCredentialsError: Could not automatically determine credentials. Please set GOOGLE_APPLICATION_CRE
BQML을 이용한 게임유저 경향 모델링
개요 빅쿼리 ML을 사용하여 다양한 머신러닝 모델을 돌리기 GA4와 빅쿼리 연동 시 추출되는 데이터들을 정제해서 머신러닝 훈련데이터로 만들기 각 모델의 평가, 파라미터들을 알아보고 조정해보기 목표 앱 설치 후 첫 24시간 동안의 사용자 활동을 기반으로 하는 “Flood It!” 데이터 세트를 사용하여 다양한 분류 모델을 시도하여 이탈 성향(1) 또는 이탈
로지스틱 회귀 모델 평가시 나오는 용어들 정리
개요 이전 포스트의 5단계에서 ML 모델을 평가할때 나왔던 지표들에 대한 소개 바이너리 로지스틱 회귀 모델을 사용했을 때 모델의 성능을 평가하는 지표들을 소개 알아야 할 개념True/False & Positive/Negative 임계값(Threshold) 로지스틱 회귀 값을 이진 카테고리에 매핑하려면 분류 임계값(결정 임계값)
Python으로 kaggle 데이터 GCP에 적재
요약 Kaggle 데이터 다운로드 GCP에 데이터 세트 만들고 서비스 계정 생성하기 Python-BigQuery 연결 후 데이터 조회 데이터 적재 하기 Kaggle 데이터 다운로드 kaggle을 설치한다 1!pip install kaggle kaggle의 key를 받아온다 123!mkdir ~/.kaggle!echo '{&quo