24.09.25 미니 프로젝트 회의

[soohyunme]

회의 내용

• 작업 내용 공유

  • 종합 탭을 통한 기사 스크래핑
  • 랭킹을 통한 기사 스크래핑
  • 기자 별 기사 스크래핑

• 다음 작업 내용 논의

  • 수현 : "동욱님의 크롬 익스텐션 활용 -> 사용자가 기사를 클릭 -> 사용자가 기사를 읽는 동안 기자 페이지를 통해 기사 정보 스크래핑 -> 크롬 익스텐션에 평가 띄워주기"와 같은 방향으로 진행하면 어떨지?

  • 동욱 : 댓글로 추가 예정

  • 지속적으로 데이터를 수집하는 프로세스와 기사를 클릭했을 때 프로세스를 둘 다 가져가는 방법 고려

• 코드 통일화

  • 동욱님 브랜치를 baseline으로 하여 각자의 코드 기능 추가

저장소 주소: https://github.com/Pseudo-Lab/pdf-news-reactor
다음 모임 일자 : 24.10.16 (수) 22:00 디스코드 온라인

다음 모임까지 작업 목록

#5

위 페이지의 comments에 개인 작업 진척도 작성.

• 대략적인 아키텍처 그려보고 공유하기 (10/02 이전까지 ASAP으로)
• 10/02 이후 TODO 논의 후 추가

[ehddnr301]

• kafka는 그냥 해보고 싶어서 넣은것입니다.

• Sensor Process에서 Naver New url 부분을 계속 1씩 늘려가며 sensing (10~30 초 딜레이)

• 다음 뉴스 생성 시 크롤링 프로세스 실행 (해당 url을 큐에 넣는다던지 등등~)

• 크롤링 후 kafka로 데이터 던지기 (html파일은 gcs로, 추출된 리액션 정보 및 gcs path는 kafka로~... 등등)

• kafka connector로 database에 실시간으로 데이터 insert

• api 구축해서 database에 실시간 agg 쿼리 날리기? (데이터 양이 많아지면 reverse etl도 고려해볼만...!)

• 아마 이번 주말에 여유가 나면 작업해볼것 같은데 후기도 남기겠습니다.

[yn-e-si]

요청 자체는 파이썬으로 개발하고있으니 celery task를 이용하는 건 어떨까요?? 메인 프로세스에서 celery task를 계속 날려주고 celery 에서는 해당 내용을 redis에서 큐로 관리하면 될것도 같습니다..!

[soohyunme]

동욱님이 구상하신 것과 거의 동일한 것 같습니다.

• Scrapping process에서는 큐에 있는 기사들을 계속 조회하면서 평가를 최신화하는 기능을 담당합니다.
  • 오래된 기사는 읽을 확률이 낮다고 생각되어 반응을 최신화할 필요가 없다고 생각합니다.
  • 따라서 N일 이상 지난 기사들은 더 이상 최신화하지 않고 큐에서 비웁니다.
  • 큐에 URL을 추가하는 부분이 2개라서 큐를 공유할 수 있는 방식을 이용해야 할 것 같습니다.
  • 위에 동욱님도 말씀해주신 것처럼, 필요에 따라 딜레이가 추가돼야 할 것 같습니다.
• Save & delivery process에서는 실질적으로 데이터를 저장하고, 사용자로부터 요청을 받아 결과를 돌려주는 기능을 담당합니다. (굳이 두 개를 묶어 놓은 이유는 편하게 그리기 위해서 입니다.)
  • 사용자로부터 요청을 받았을 때 관련된 정보가 하나도 없으면 Quick scraping을 통해 기자에 대한 Top N개의 기사 평가를 빠르게 조회합니다. (DB에서 정보가 있는지 조회하는 부분이 있어야겠지만 편의상 생략)
  • DB에서 기자에 대한 정보를 추출하고 정제한 후 크롬익스텐션으로 평가를 보냅니다. (정제를 어디서 해야 될 지는 잘 모르겠습니다.)

[yn-e-si]

save & delivery 하는 부분을 편의상 upsert라고 말한다면(update & insert) upsert 요청을 celery task로 요청하고 해당 작업이 끝나서 디비에 insert가 완료된 시점에 메인프로세스에서 이 정보를 이용하여 전처리 후 크롬으로 평가를 보내는건 어떨까요??

[ehddnr301]

save & delivery 하는 부분을 편의상 upsert라고 말한다면(update & insert) upsert 요청을 celery task로 요청하고 해당 작업이 끝나서 디비에 insert가 완료된 시점에 메인프로세스에서 이 정보를 이용하여 전처리 후 크롬으로 평가를 보내는건 어떨까요??

제가 구상한바는 아래와 같습니다!

• Chrome extension의 경우 사용자가 켰을때 API서버에 요청을 보냅니다.
• API서버는 서비스DB를 조회하여 사용자의 요청에 응답합니다.
• 저희는 백단에서 서비스DB를 계속 업데이트 시켜줍니다.

진용님이 말씀하신 크롬으로 평가를 보낸다라는 점은 어떤 구조를 말씀하신걸까요?

[yn-e-si]

크롬으로 평가를 보낸다라고 말한 구조는 수현님이 작성하신 맨 마지막줄을 보고 말했었습니다!

DB에서 기자에 대한 정보를 추출하고 정제한 후 크롬익스텐션으로 평가를 보냅니다. (정제를 어디서 해야 될 지는 잘 모르겠습니다.)