[C#] herbalife 스크래핑
로그인 처리가 힘들어서 C#으로 제작하게 되었습니다.
제작 : C# .NetFrameWork 4.5
사용 : Windows10(x86), Windows7(x86)
사용 라이브러리 : HtmlAgilityPack(https://htmlagilitypack.codeplex.com/)
1. 로그인 처리를 하고 원하는 페이지로 이동을 합니다.
이곳에서 현재 URL값과 요청한 URL 정보가 동일할 경우에만 작동을 하도록 하였습니다.
2. 카테고리를 가져와서 링크주소를 획득하고 List로 가지고 있습니다.
이때 카테고리 링크만 가지고 다시 한번더 페이지를 접속해서 각 상품의 URL 주소를 획득 합니다.
3. 각 페이지에 접속해서 원하는 정보를 추출하여서 가공후 DB에 저장을 합니다.
각 페이지 접속을 하기 때문에 숫자가 많을수로 대기 시작이 길어 집니다.
이 단계에서는 필요한 이미지 파일로 링크를 추출 하여서 저장을 합니다.
개인정보가 나오는 부분은 모두 캡쳐 하지 않았습니다.
해당 페이지의 제품을 검색하고 각 제품코드 및 설명 이미지를 가져와서 개인 DB화 시키는 작업을 한것에 대해서 간단히 캡쳐 해 놓은 것입니다.