FEAT : 웹 크롤러 기능 추가

- WebCrawlerService, WebCrawlerController 추가
- jsoup 의존성 추가

Author: SoRyong-Kim

.gitmessage.txt

@@ -0,0 +1,24 @@
+################
+# <타입> : <제목> 의 형식으로 제목을 아래 공백줄에 작성
+# 제목은 50자 이내 / 변경사항이 "무엇"인지 명확히 작성 / 끝에 마침표 금지
+# 예) FEAT: 로그인 기능 추가
+
+# 바로 아래 공백은 지우지 마세요 (제목과 본문의 분리를 위함)
+
+################
+# 본문(구체적인 내용)을 아랫줄에 작성
+# 여러 줄의 메시지를 작성할 땐 "-"로 구분 (한 줄은 72자 이내)
+
+################
+# 꼬릿말(footer)을 아랫줄에 작성 (현재 커밋과 관련된 이슈 번호 추가 등)
+# 예) Close #7
+
+################
+# FEAT: 새로운 기능 추가
+# FIX: 버그 수정
+# DOCS: 문서 수정
+# STYLE: 스타일 관련 기능(코드 포맷팅, 세미콜론 누락, 코드 자체의 변경이 없는 경우)
+# REFACTOR: 코드 리팩토링
+# TEST: 테스트 코드 추가
+# CHORE: 빌드 업무 수정, 패키지 매니저 수정(ex .gitignore 수정 같은 경우)
+################

build.gradle.kts

@@ -24,6 +24,8 @@ dependencies {
 	implementation("org.springframework.boot:spring-boot-starter-web")
 	implementation("com.fasterxml.jackson.module:jackson-module-kotlin")
 	implementation("org.jetbrains.kotlin:kotlin-reflect")
+	implementation("org.jsoup:jsoup:1.15.4")
+
 	runtimeOnly("com.mysql:mysql-connector-j")
 	testImplementation("org.springframework.boot:spring-boot-starter-test")
 	testImplementation("org.jetbrains.kotlin:kotlin-test-junit5")

src/main/kotlin/Controller.kt

@@ -6,7 +6,7 @@ import org.springframework.web.servlet.config.annotation.WebMvcConfigurer
 
 @Configuration
 class WebConfig : WebMvcConfigurer {
-
+    // React와 SpringBoot간 사용하는 포트를 이어주는 코드
     override fun addCorsMappings(registry: CorsRegistry) {
         registry.addMapping("/api/**")
                 .allowedOrigins("http://localhost:3000")  // React 애플리케이션이 실행되는 주소

src/main/kotlin/com/example/MonitoringSystem/WebConfig.kt

@@ -0,0 +1,13 @@
+package com.example.MonitoringSystem
+
+import org.springframework.web.bind.annotation.GetMapping
+import org.springframework.web.bind.annotation.RequestParam
+import org.springframework.web.bind.annotation.RestController
+
+@RestController
+class WebCrawlerController(private val webCrawlerService: WebCrawlerService) {
+    @GetMapping("/api/crawl-list")
+    fun crawlListTags(@RequestParam url: String): List<String> {
+        return webCrawlerService.crawlMSubjects(url)
+    }
+}

src/main/kotlin/com/example/MonitoringSystem/WebCrawlerController.kt

@@ -0,0 +1,15 @@
+package com.example.MonitoringSystem
+
+import org.jsoup.Jsoup
+import org.springframework.stereotype.Service
+
+@Service
+class WebCrawlerService {
+    fun crawlMSubjects(url: String): List<String> {
+        // Jsoup을 사용하여 웹 페이지를 가져옴
+        val document = Jsoup.connect(url).get()
+
+        // HTML의 <h1> 태그에서 텍스트를 추출
+        return document.select("a._fade_link span.plain_name").map { it.text() }
+    }
+}