数据集成关键技术

"面对海量复杂的数据，数据源适配、跨网、实时性、数据防丢失、数据漏数等方面仍存在问题。

数据集成关键技术面临的主要难题有：

（1）数据的异构性：各业务系统提供的数据多源异构，传统的数据集成平台难以匹配复杂的数据集成场景需求。

（2）大数据平台需要汇聚不同网络中的数据，做到跨网传输。

（3）缺少断点续传机制，数据传输的过程中因故障中断，无法实现断点续传，导致数据丢失。

（4）传统的数据入仓架构，离线调度数据实时性不高。无法满足对实时性高的业务。

在数据汇集传输过程中，缺乏统一监控管理工具，问题定位难，定位周期长，运维成本高。