개발자 99% 커뮤니티에서 수다 떨어요!
링크는 snoop2head 님이 공유해주신 크롤링을 둘러싼 소송들에 관한 링크입니다.
https://www.slideshare.net/ssuserbd0159/ss-72217534
아래는 flynn 님의 답변을 요약한 것입니다.
사이트에서 /robots.txt 를 붙이게 되면 어떤 페이지를 허용하는지 안하는지 볼 수 있습니다.
ex )https://www.naver.com/robots.txt
여기에서 나오는 User-agent 란 알려진 검색엔진 등의 크롤링 봇들 이름입니다
Allow : /
Disallow : /login
Disallow : /something
의 경우에는 Disallow에 적힌것 외에는 크롤링을 허용한다는 의미입니다.
제가 잘못 옮기거나 빠진 내용이 있다면 댓글로 남겨주세요!