프로젝트/레시피추천 프로그램

Mecab 형태소 분석기 dictionary 등록

이전 포스팅에서는 전처리했던 내용을 포스팅하였습니다. 이 전처리 과정중에 단순히 mecab의 nouns함수를 이용하여 명사를 분류만 했었는데요 이 과정에서 불용어나 원치않는 단어가 많이 나왔었습니다. 그래서 이번에 제가 필요한대로 사전에 단어등록을 하고 우선순위를 수정했던 과정을 포스팅하려 합니다. mecab설치와 사용법에 대한 자세한 내용은 다음 블로그를 참고하였습니다 :) hong-yp-ml-records.tistory.com/91 [파이썬 NLP] Window에서 Mecab 사용하기 / Konlpy 토크나이저 비교 이번 포스팅은 Konlpy 라이브러리의 여러 토크나이저들과 그 성능을 비교해보는 시간을 가져보겠습니다! 또한 Konlpy와 별개로 추가 설치를 해야하는 Mecab 토크나이저의 설치 방법도..

2021. 1. 5. 18:03
프로젝트/레시피추천 프로그램

[크롤링]- 메뉴와 재료 크롤링하기

크롤링 robots.txt에 대해서 알아보고 본격적으로 크롤링을 한 내용을 포스팅하려 합니다. 이용하는 사이트는 '만개의 레시피'로 user들이 각자의 음식 레시피와 재료들을 등록하고 사람들과 소통하는 커뮤니티 사이트입니다. www.10000recipe.com/ 요리를 즐겁게~ 만개의레시피 www.10000recipe.com BeatuifulSoup에는 정말 다양한 함수가 존재했지만 필요한 목적에 맞는 크롤링, 파싱 함수들만 집중적으로 공부하고 적용하였습니다. 이 과정에서 필요한 정보인 레시피 제목, 재료, url을 위해 10000개의 레시피 사이트의 html inspection을 확인하였습니다. inspection에서 메뉴, 재료 들의 태그를 확인하였고 크롤링한 페이지에서 이들을 파싱 해내어 db에 저..

2021. 1. 3. 17:34