빅데이터 시대가 오면서 방대한 양의 데이터를 처리하는 빅데이터 처리 플랫폼의 활용이 점점 중요해지고 있다.
본 논문에서는 하둡을 기반으로 비정형 데이터를 수집한 후,
수집된 비정형 데이터를 하둡 분산 파일 시스템과 HBase에 적재하고,
적재된 비정형 데이터를 기반으로 형태소 분석기를 이용하여
정형화된 빅데이터를 관계형 데이터베이스에 저장할 수 있게 설계하고 구현하였다.
기존의 실무사례 중심으로 풀어나가는 논문과는 다르게
하둡 설계를 중심으로 기술적으로 풀어나가는 논문이였다.
'스터디 > 논문 스터디' 카테고리의 다른 글
| [논문 스터디] 11. 빅데이터 분석을 활용한 해양쓰레기 유형 도출: 코로나19 발생 전 그리고 후 비교 (0) | 2022.09.25 |
|---|---|
| [논문 스터디] 10. 정형 및 비정형 데이터를 이용한 농산물 구매량 예측: 파프리카를 중심으로 (0) | 2022.09.25 |
| [논문 스터디] 9. 데이터 레이크 구축을 위한 Apache NiFi기반 ETL 프로세스 (0) | 2022.09.25 |
| [논문 스터디] 8. IoT 클라우드 환경을 위한 서로 다른 이기종의 IoT 데이터 관리 기법 (0) | 2022.07.06 |
| [논문 스터디] 7. AIoT 환경에 최적화된 머신러닝 기반의 IoT 데이터 처리 기법 (0) | 2022.07.04 |