[C#] skechers.com 스크래핑 웹페이지 Source 크롤링

# 요구사항
1. 전체 상품을 모두 가져와야 한다.
2. 각 상품의 모든 보여주는 이미즈를 모두 저장해야 한다.
3. 각 상품의 고유한 정보는 정리해서 모두 등록한다.

# 작업환경
Visual Stuido 2013 C# WinForm, MySQL
PHP 7.0.4 (cli)

사용자 삽입 이미지


skechers.com 작업은 조금 귀찮은 작업으로 이뤄졌습니다.
일단 AJAX로 json 값을 가져와서 페이지에 로딩하기때문에 한번에 HTML 소스를 가져오지 못하였습니다.

위 사진과 같이 상품 진열 페이지가 일반적으로 보면은 웹페이지만은 AJAX로 추가되기 때문에 소스를 가져오는 방식이 조금 사물 다릅니다.

각 상품의 URL 주소를 번호를 주어서 아래와 같이 저장을 하여서 1~* 까지 번호로 저장을 하였습니다.
물론 각기 원하는 방식으로 저장도 되지만은 숫자가 가장 편한 작업니다.

사용자 삽입 이미지

이후에 작업은 C#에서 처리 하지 않았습니다.
PHP로 LOCAL로 처리 하였습니다