링크는 snoop2head 님이 공유해주신 크롤링을 둘러싼 소송들에 관한 링크입니다.

https://www.slideshare.net/ssuserbd0159/ss-72217534

아래는 flynn 님의 답변을 요약한 것입니다.

사이트에서 /robots.txt 를 붙이게 되면 어떤 페이지를 허용하는지 안하는지 볼 수 있습니다.
ex )https://www.naver.com/robots.txt

여기에서 나오는 User-agent 란 알려진 검색엔진 등의 크롤링 봇들 이름입니다

Allow : /
Disallow : /login

Disallow : /something

의 경우에는 Disallow에 적힌것 외에는 크롤링을 허용한다는 의미입니다.

제가 잘못 옮기거나 빠진 내용이 있다면 댓글로 남겨주세요!