Community

개발자 99% 커뮤니티에서 수다 떨어요!

← Go back

졸업 챌린지 마친 후 만들어 본 Job Scraper

#jobs_scraper
1주일 전
134
2

사이트 링크: https://munseongwon.github.io/Munseongwon.jobscraping.io/

1. 자기 소개

현재 이직 준비중인 취업준비생입니다.
이전 회사에서 파이썬을 사용했던 터라 낯설게 느껴지지 않았습니다.
하지만, 개념이 두루뭉실하게 있었던 터라 기초부터 다시하자 라는 느낌으로 다시 공부하게 되었습니다.
선생님께서 쏙쏙 핵심개념만 설명해주셔서 내용을 이해하는 데는 어렵지 않았으나, 코드는 많이 써봐야 익숙해진다는 것을 알기에 복습도 하면서 차근차근 익히고 있습니다.

2. 서비스 소개

첫 화면에서 각 키워드에 해당되는 버튼을 클릭하면 사람인, 원티드, 잡코리아 세 개의 채용 포털 사이트에서 각 키워드에 관련된 직업 정보를 불러와 보여주는 사이트입니다.

스크래핑한 공고 개수와 마지막으로 업데이트한 날짜를 보여줍니다.

검색 결과는 csv 파일로 다운로드 가능합니다.

3. 개발 과정

프론트 템플릿은 이전 파이널 과제에 만들어 둔 부분이 있기에 그대로 사용하였습니다.

문제는 백엔드쪽 부분이였습니다.

각 항목을 불러오는 데 감싸져 있는 태그를 어떻게 불러와야 하는 지 코드를 뜯어보았고,

페이지가 동적으로 혹은 정적으로 렌더링하고 있는지 살펴봐야 했고,

스크래핑해 올 때, 몇 페이지를 최대로 해야할 지도 정해야 했고,

몇 몇 항목의 데이터가 None으로 나왔기에 태그를 잘못 썼는지에 대해서도 알아봐야 했습니다.

정말 모르는 부분이 많았기에 강의도 다시 참고하고 공식 문서도 읽어보았지만, 좀 더 빠른 전개를 위해 GPT도 써가면서 진행하였습니다.
진짜 GPT 아니였으면, 모르고 지나갔을 데이터 플로우도 있었을 겁니다.
갓 GPT~~~~~!!!

4. 앞으로의 계획

최대 몇 개의 항목이 나왔을 경우 페이징 처리

데이터를 동기 방식이 아닌 비동기 방식으로 처리하여 속도 개선

파이썬 백엔드 지식을 익혀서 나만의 웹서비스 만들기
등을 해보고 싶습니다.
노마드 코더 다른 강의들도 들으면서 점점 발전하는 제 모습을 보고 싶습니다.

2 comments