1612월 2015 by Truds No Comments
[PHP] 스크래핑 작업(nuskin)

[PHP] 스크래핑 작업(nuskin)

PHP
[PHP] 스크래핑 작업(nuskin) 개발환경 : PHP5 CLI, MySQL요구사항 : 각 분류에 대한 처리, 상세페이지에서 설명과 이미지 저장 해당 사이트를 어느 부분을 캡쳐한 부분 입니다.해당 사이트에서의 정보를 일정 부분 취득하기를 원하기에 해당 사이트의 정보를 가지고 작업을 하였습니다. 목록이 구성되어 있으며 해당 목록페이지에 묶음 상품도 있어서 해당 내역도 처리를 해야 합니다.일반 상품과 묶음상품을 구분해서 분류를 확장해야 하며, 일반 상품이 소속된 분류도 처리를 해야 합니다. 제품 상세 페이지 이며, 해당 페이지에서도 원하는 부분만을 가지와 와서 처리를  해야 하는 작업입니다.원하는 부분이 있고, 원하는 않은 부분이 있기에 잘 구분해서 원문을 이상없이 수집하는 규칙에 맞게 설정을 해서 수집을 해야 합니다. 위 사진은 수집한 부분에서 일정부분을 화면 캡쳐 한 사진 입니다.위에서 처럼 각 부분을 가지고 해서 처리를 해야 하는 일입니다. 이번에는 작업이 다른것은 이미지 파일 이름을 임의로 변경을 하지 않고, 그대로 유지한채로 가져서 local에 저장을 해서 처리를…
Read More
1512월 2015 by Truds No Comments
[PHP] bevmo 스크랩 작업

[PHP] bevmo 스크랩 작업

PHP
[PHP] bevmo 스크랩 작업 PHP로 CLI 모드에서 해당 사이트를 내용을 가지고 오는 작업입니다. 카테고리별로 분리를 하고 다시 해당 카테고리 내에서 제품의 정보와 이미지 개인이 저장 할 수 있도록 저장 하였습니다. 개발환경 : PHP + MySQL 해당 정보를 가져오는 사이트의 일부 캡쳐 화면 입니다. 와인을 전문적으로 판매 하는 사이트입니다. 해당 사이트의 다른 정보 보다는 와인과 그 상세 설명등을 DB화해서 개인이 원하는대로 정보를 가공하는 일이였습니다. 웹을 이용하지 않고 단순하게 Windows에서 PHP를 가동하여서 CLI 모드로 실행되면서 사이트를 접속해서 정보를 가져오는 일입니다. 아래는 전체는 아니며 해당 사이트를 가지와 와서 가공한 DB의 정보를 캡쳐한 화면 입니다. 단순하게 텍스만 가져오지 않고 해당 사이트가 제공하는 이미지 파일을 local에 저장하여서 활용도 할수 있습니다. 각 분류에 맞게 디렉토리를 설정하고 이미지를 이름을 저장하고 관리 할 수 있습니다.
Read More
1312월 2015 by Truds No Comments
[C#] herbalife 스크래핑

[C#] herbalife 스크래핑

CSharp
[C#] herbalife 스크래핑 로그인 처리가 힘들어서 C#으로 제작하게 되었습니다. 제작 : C# .NetFrameWork 4.5 사용 : Windows10(x86), Windows7(x86) 사용 라이브러리 : HtmlAgilityPack(https://htmlagilitypack.codeplex.com/) 1. 로그인 처리를 하고 원하는 페이지로 이동을 합니다. 이곳에서 현재 URL값과 요청한 URL 정보가 동일할 경우에만 작동을 하도록 하였습니다. 2. 카테고리를 가져와서 링크주소를 획득하고 List로 가지고 있습니다. 이때 카테고리 링크만 가지고 다시 한번더 페이지를 접속해서 각 상품의 URL 주소를 획득 합니다. 3. 각 페이지에 접속해서 원하는 정보를 추출하여서 가공후 DB에 저장을 합니다. 각 페이지 접속을 하기 때문에 숫자가 많을수로 대기 시작이 길어 집니다. 이 단계에서는 필요한 이미지 파일로 링크를 추출 하여서 저장을 합니다. 개인정보가 나오는 부분은 모두 캡쳐 하지 않았습니다. 해당 페이지의 제품을 검색하고 각 제품코드 및 설명 이미지를 가져와서 개인 DB화 시키는 작업을 한것에 대해서 간단히 캡쳐 해 놓은 것입니다.
Read More