네이버 카페 글 목록 및 내용 수집
요청하신분이 네이버 카페인 ‘중고나라’의 게시물 수집을 요청하였습니다.
그외에 요구 사항은 없었으며, 단순하게 수집해서 파일을 기록하는 작업입니다.
작업환경
Visual Studio 2013, HtmlAgilityPack 사용
요구사항
1. 네이버 로그인 처리
2. 카페 특정 게시판 글 수집 ( 파일로 생성)
3. 글 수집된 게시물의 내용 수집 ( 파일로 생성)
1. 프로그램 실행 화면 글 목록 수집 화면
2. 글 제목 저장 목록 (파일로 저장)
3. 글 내용 저장 목록 및 소스
4. 글 내용 페이지
이렇게 구성 되어 있습니다.
해당 항목을 가지고 다른사람이 key값을 설정해서 다시 DB 작업을 하게 될 것 같습니다.
이 글이 작성된 시기는 2016년 3월 경이며, 제가 작업해드린분의 내용을 바로 공개 할 수 없어서 블로그 내용을 비공개로 해두다가 지금은 공개해도 될것 같아서 공개 합니다.
그렇다고 하여서 소스를 공개 하는것은 아닙니다.
웹스크래핑 작업은 소스를 공개해서 무분별하게 도용되는 것을 막기 소스 공개를 하지 않는것이 원칙이며, 단지 작업환경등에 대해서는 기록하는것은 정확하게 어떤 환경으로 작업하였는지 기록하는것입니다.
또한 결과값을 간단히 기록해서 제 나름대로의 기록하는 용도이기도 합니다.