KUBAB [크롤링]

0. 최신메뉴 크롤링

• python의 beautifulsoup을 사용하여 학교 식당 홈페이지에 있던 메뉴들을 크롤링하였다.
• 그런데 일주일마다 식단이 바뀐다는 문제가 있었다.
• 일주일마다 식단을 업데이트 해주기 위해서 가장 최근에 올라온 메뉴를 크롤링 할 수 있도록 메뉴번호를 따로 크롤링 한 후 작업하였다.

최신 메뉴번호 크롤링 과정

---

1.  그 외 크롤링

• 날짜, 코너, 메뉴구분, 메뉴도 beautifulsoup을 사용하여 크롤링하였다.
• 각각 list들을 Database에 저장한다.

---

2. 고민과 해결

• Database는 무엇을 사용할 것인가?
  • AWS에서 제공하는 RDS를 MySQL로 설정하여 사용한다.
• 식단표는 일주일마다 바뀌고 메뉴도 매일매일 바뀐다. 어떻게 해결할 것인가?
  • 안드로이드에서 Intent를 사용하여 페이지가 넘어갈때 서버를 사용하지 않고 메뉴를 바꾸려면 사용자가 앱을 업데이트 해야한다. 이런 앱은 아무도 쓰지 않을 것이다. 그렇다면 내가 메뉴나 공지사항을 바꾸면 사용자들에게도 즉각적으로 바뀌도록 설정하면 된다. 서버를 이용하자!
• AWS는 어떻게 사용할 것인가?
  • 1년간 서버를 무료로 제공해준다. 그 서버를 사용한다.