Nền tảng kho dữ liệu
(Data warehouse platform)

Giải pháp Kho dữ liệu của Revotech bao gồm các thành phần sau:

  • Nguồn dữ liệu bên ngoài: Là các nguồn dữ liệu đầu vào cho hệ thống như CSDL Tài sản; Các file Quyết toán bằng Excel hoặc các dữ liệu khác mở rộng sau này.
  • Thành phần thu thập và xử lý dữ liệu: Là thành phần thu thập dữ liệu, xử lý, biến đổi, chuẩn hoá để đưa vào CDSL của Kho dữ liệu (Trong trường hợp này nguồn dữ liệu chính là CSDL tài sản và các file excel quyết toán)
  • Cơ sở dữ liệu: Là cơ sở dữ liệu chứa kết quả các dữ liệu được làm sạch, chuẩn hoá ở bước Thu thập và xử lý dữ liệu
  • Thành phần Web hiển thị dữ liệu: Cung cấp giao diện web form để người quản trị hệ thống thực hiện các nghiệp vụ quản trị cấu hình hệ thống cũng như những người dùng khác có thể truy cập, khai thác dữ liệu.
  • Thành phần chia sẻ dữ liệu: Cung cấp các các Rest API cho phép các hệ thống khai thác truy vấn dữ liệu

Kiến trúc kho dữ liệu

– Data Sources: Là nguồn dữ liệu đầu vào cho kho dữ liệu, trường hợp này là CSDL tài sản; các file exel quyết toán và các dữ liệu phát sinh tương lai
– Staging Area: Bao gồm các chương trình xử lý, biến đối, chuẩn hoá dữ liệu Tài sản, dữ liệu Quyết toán và các dữ liệu khác sau đó đẩy vào CSDL của Kho dữ liệu
– Data warehouse gồm:

  • Raw Data (Dữ liệu thô): Là dữ liệu chưa qua tính toán, xử lý  Sau này phục vụ cho tương lai khi muốn thay đổi các nhu cầu hiển thị dữ liệu thì có thể xử lý lại đám dữ liệu này
  • Summary Data (Dữ liệu tổng hợp):Có thể hiểu là dữ liệu đã được xử lý, tính toán để phục vụ việc hiển thị (Báo cáo, thống kê, phân tích, …) được nhanh và dễ dàng

– User Interface: Là thành phần web cung cấp cho người quản trị hệ thống / người dùng có liên quan để thực hiện quản trị hệ thống cũng như khai thác dữ liệu từ Kho dữ liệu (Tìm kiếm, báo cáo, dashboard, …)g có yêu cầu thêm chúng tôi sẽ khảo sát và báo lại)

Công nghệ sử dụng:
– Thành phần Web hiển thị dữ liệu

  • Frontend: VueJS…
  • o Backend: .Net/Java/Python…
  • o API Gateway: Spring Cloud Eureka

– Thành phần chia sẻ dữ liệu cho các hệ thống bên ngoài khai thác: .Netcore C#/java
– Cơ sở dữ liệu của Kho: MS SQL Server/Oracle/MySQL…
– Thu thập, xử lý dữ liệu:

  • Phương án thủ công: Viết các công cụ ETL bằng .Netcore C#/java/Python
  • Phương pháp ETL khác nâng cao: Xử lý ETL, batch: Apache Airflow, Python

– Khác:

  • Xử lý bất đồng bộ/ ghi log: RabbitMQ, Kafka
  • Xử lý theo dõi thay đổi CSDL nguồn: CDC Debezium

Giá tham khảo: Liên hệ