robots.txt 추가 #45
Description
사실 이 서버(홈페이지)자체가 정확히 어느정도 허용이 되어있고 어느정도 비허용 되어있는지 몰라서 이슈를 쓰기가 좀 곤란한데 일단 올려봅니다.
robots.txt 확인해보니까 404 페이지가 나오는데, 아무래도 이러면 검색 크롤러들이 컴스 모든 사이트를 돌아다니면서 수집을 해다닐거같습니다.
아무래도 광운대 안에 있는 동아리 사이트다보니 메인페이지만 크롤러를 허용한다거나, 아예 검색으로 나오지 않도록 수정하는게 보안상 좋아보입니다!!