Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Add project - movieflix #71

Merged
merged 3 commits into from
Dec 6, 2023
Merged

Add project - movieflix #71

merged 3 commits into from
Dec 6, 2023

Conversation

ehddnr301
Copy link
Collaborator

Project - Movieflix

image

  • 테스트 페이지
  • 아직 완전히 정리가 되지는 않았지만 피드백 주시면 추가적으로 내용 적어보겠습니다.
    • ex) 어떤내용이 좀 더 구체적으로 추가되면 좋을것 같아요
  • 이론적인 내용이 위에 추가될수도 있을것 같아서 넘버링은 빼버렸는데 의견나누면 좋을것 같습니다.

@jjongguet
Copy link
Collaborator

MovieRecommend-Infra 레포에서 google-cloud-sdk 설치해서, 로컬에서 cli로 서버에 접근하는 명령어를 추가해도 좋을것 같아요!
MovieRecommend-K8s/Kafka 에서 kafka topic에 대한 yaml 파일이 안보이는데, 추가되어도 좋을것같아요

@heehehe heehehe added the 🚀 project 프로젝트 관련 내용 label Nov 28, 2023
@ehddnr301
Copy link
Collaborator Author

MovieRecommend-Infra 레포에서 google-cloud-sdk 설치해서, 로컬에서 cli로 서버에 접근하는 명령어를 추가해도 좋을것 같아요! MovieRecommend-K8s/Kafka 에서 kafka topic에 대한 yaml 파일이 안보이는데, 추가되어도 좋을것같아요

google-cloud-sdk도 사용한다라면 실제 실습하기가 더 편하기는 하겠네요!! 좋은의견 감사합니다.

kafka topic에 대한 자료는 링크에서 확인가능하십니다.

  • 정리를 해야하는데 경민님이 기여해주시나용?ㅎㅎㅎㅎ

@jjongguet
Copy link
Collaborator

MovieRecommend-Infra 레포에서 google-cloud-sdk 설치해서, 로컬에서 cli로 서버에 접근하는 명령어를 추가해도 좋을것 같아요! MovieRecommend-K8s/Kafka 에서 kafka topic에 대한 yaml 파일이 안보이는데, 추가되어도 좋을것같아요

google-cloud-sdk도 사용한다라면 실제 실습하기가 더 편하기는 하겠네요!! 좋은의견 감사합니다.

kafka topic에 대한 자료는 링크에서 확인가능하십니다.

  • 정리를 해야하는데 경민님이 기여해주시나용?ㅎㅎㅎㅎ

어떻게해야하는지 알려주세여 제가 도울수있는거 도울게욥

@ehddnr301
Copy link
Collaborator Author

어떻게해야하는지 알려주세여 제가 도울수있는거 도울게욥

앞서 공유드린 링크를 보시면 Source Connector와 Sink Connector에 대한 정보를 json 에 작성해두었습니다.
여기서 main.py를 실행시킴으로써 kafka에 connector생성하면서 topic이 생성되는것 같은데요!

좀 더 깔끔하게 connector생성, topic생성하는 방법이 있다면 도움을 주시면 감사하겠습니다ㅎㅎ 요 부분은 해당 Repo에 Issue로 추가해두겠습니다.

  • ex) 하나의 파일로 합쳐 놓고 파라미터만 받아서 connector를 생성한다?

문서상에 추가되었으면 하는 내용은 없으신가용?

  • 계획상으로는 참고한 문서라던지, ML트레이닝 파트라던지 좀 추가해보려고 합니다.

Copy link
Member

@heehehe heehehe left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

동욱님 정리하시느라 정말 고생 많으셨습니다!!
한달 안에 추천시스템 A/A 테스트부터 람다 아키텍처까지 추가하신게 다시 봐도 대박이네요..🫢👍🏻
job trend 프로젝트도 참고해서 잘 정리해 보겠습니다 :)


<img src="./images/9_0_2.png" align="center">

- `그룹별 평균 만족도 점수` 차트 혹은 `유저 만족도 현황` 차트를 보았을 때 A/B Test에서 B그룹 만족도가 개선
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

혹시 유저 만족도 현황 차트에서는 B그룹 만족도가 개선된걸 어떻게 확인할 수 있는건가요..?!
(개인적으로 궁금한 부분입니다..! 이전에 알려주셨는데 까먹은거 같기도 하네요ㅎㅎ;)

Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

image

이 부분인데 개선되는게 잘 안보이죠...?ㅜㅜ!! 추천시스템 성능이 좀 고만고만해서 쉽지않네요

의도자체는 아래 처럼 A/B 테스트가 시작되면 확 튀는 모습을 보여주고 싶긴 했었습니다😂

image

해당 부분도 이슈로 올려놓긴 했습니다ㅎㅎㅎ


## Data

- [MovieLen](https://grouplens.org/datasets/movielens/)
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

MovieLens 에서 s가 빠진 것 같아요..!!

Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

감사합니다 수정했습니다!! :)

## Flow

- Infra부분의 README를 참고하여 진행합니다.
- Terraform 부분의 README를 참고하여 GCP e2-standard-2 VM 3대를 생성합니다.
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

오 job trend 플젝에서도 윤호님 제안으로 terraform 적용해볼 예정인데 참고해 보겠습니다👀


## Airflow

- 람다 아키텍처에서 Batch Layer를 담당합니다.
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

이 부분에 batch layer의 역할과,
아래 kafka 부분에 speed layer의 역할 내용도 추가해주시면
더 이해하기 좋을 것 같아요!

Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

감사합니다. 추가했습니다!

이 부분 구현을 완벽하게 했더라면 설명하기가 더 편했을텐데 타협을 했더니 설명이 쉽지않네요... 😢

이슈로도 정리해놨는데 언제쯤 업그레이드 할 수 있을지 모르겠네요...!! 😂

@ehddnr301 ehddnr301 merged commit b37030b into main Dec 6, 2023
1 check passed
github-actions bot pushed a commit that referenced this pull request Dec 6, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
🚀 project 프로젝트 관련 내용
Projects
None yet
Development

Successfully merging this pull request may close these issues.

3 participants