[22.08.26 TIL] Today I Learned

[22.08.26 TIL] Today I Learned

---

오늘 한 일

• JPA을 활용한 full-text search 기능 구현 (진행중)
• 네이버 OPEN API를 이용한 뉴스 데이터 수집 (Python)

언급된 키워드

• MySQL 레플리카
• Full-text Search 최소 길이
• @RequestParam
• Spring Scheduler
• Spring Batch
• IP Inteligence
• message queue (rabbitmq)

엘라스틱 서치를 포기하고, MySQL의 full-text search 기술 사용할려고 하니, JPA에도 막혀벼렸다. 3개의 파라미터를 받을려고 하니, 도저히 안되는 상황인것이다. 일단 하나의 파라미터안에 다 해결하면 어찌어찌 될꺼 같은데, 이걸 어떻게 받아서 서버에서 처리를 할지, 프런트에서 처리를 할 지는 로직을 짜봐야 알 듯하다.

MySQL 레플리카에 대한 언급도 나왔다. 서버에서 API를 활용하여 실시간으로 Master DB에 insert를 하고, slave는 조회만 할 수 있도록 DB를 구축할 듯 하다. 더 자세히 알아봐야겠다.

DB에 실시간으로 넣기위해 파이썬으로 구현을 할지, spring으로 구현을 할 지에 대한 언급도 나왔다. 파이썬으로 API를 통해 데이터를 수집한 다음, rabbitmq에 적제를 하고, DB사이에 spring에 scheduler를 이용해 DB에 부하가 걸리지 않도록 나누어서 데이터를 넣겠다는 구상이다. 이게 맞는지는 모르겠다. 내일되서 다시한번 이야기를 나눌꺼 같으니, 머리속으로 구조도를 잘 그려봐야겠다.

IP Inteligence는 사용자의 위치를 IP를 이용해서 대략적으로 파악하고자 하는데, 이게 개인정보보호법에 위반이 되는지는 아직 파악을 하지 못했다. 이것도 알아봐야할듯하다.

코딩테스트도 연습해야되는데;;;;