[크롤링]- 메뉴와 재료 크롤링하기

크롤링 robots.txt에 대해서 알아보고 본격적으로 크롤링을 한 내용을 포스팅하려 합니다. 이용하는 사이트는 '만개의 레시피'로 user들이 각자의 음식 레시피와 재료들을 등록하고 사람들과 소통하는 커뮤니티 사이트입니다. www.10000recipe.com/ 요리를 즐겁게~ 만개의레시피 www.10000recipe.com BeatuifulSoup에는 정말 다양한 함수가 존재했지만 필요한 목적에 맞는 크롤링, 파싱 함수들만 집중적으로 공부하고 적용하였습니다. 이 과정에서 필요한 정보인 레시피 제목, 재료, url을 위해 10000개의 레시피 사이트의 html inspection을 확인하였습니다. inspection에서 메뉴, 재료 들의 태그를 확인하였고 크롤링한 페이지에서 이들을 파싱 해내어 db에 저..