일상생활 대부분의 것들이 데이터로 저장될 수 있는 현대 사회에서
데이터의 추출, 변화, 로드를 나타내는 ETL은 정말 중요하다고 생각한다.
데이터의 추출, 정제, 저장 중 하나라도 잘못되면 데이터 분석이 큰 타격을 입는다.
본 논문에서는 스마트시티에서 생성되는 다양한 데이터들을
데이터 레이크에 안전하게 저장하고
서비스에서 활용할 수 있게 ETL 하는 도구와
이를 효과적으로 사용하는데 필요한 웹기반 도구를 설계하고 구현한다.
ETL로는 웹 인터페이스를 통해 ETL 서비스를 이용 가능한 아파치 나이파이를 사용하였다.
나이파이의 여러 장점을 스마트시티 ETL 서비스에 활용한 논문이였다.
'스터디 > 논문 스터디' 카테고리의 다른 글
| [논문 스터디] 11. 빅데이터 분석을 활용한 해양쓰레기 유형 도출: 코로나19 발생 전 그리고 후 비교 (0) | 2022.09.25 |
|---|---|
| [논문 스터디] 10. 정형 및 비정형 데이터를 이용한 농산물 구매량 예측: 파프리카를 중심으로 (0) | 2022.09.25 |
| [논문 스터디] 8. IoT 클라우드 환경을 위한 서로 다른 이기종의 IoT 데이터 관리 기법 (0) | 2022.07.06 |
| [논문 스터디] 7. AIoT 환경에 최적화된 머신러닝 기반의 IoT 데이터 처리 기법 (0) | 2022.07.04 |
| [논문 스터디] 6. 소방안전 빅데이터 플랫폼 및 센터 구축 운영에 관한 연구 (0) | 2022.07.03 |