神州信息數據交換平臺旨在建立一個(gè)面向全行數據采集、交換、共享和開(kāi)放的標準化的、規范的、高效的、穩定的、可控的數據服務(wù)總線(xiàn),實(shí)現批量、準實(shí)時(shí)或者實(shí)時(shí)的數據交換要求,提升業(yè)務(wù)系統間多樣化、可配置、易管理的非實(shí)時(shí)批量及準實(shí)時(shí)數據交換能力。
立即咨詢(xún)· 手握大量行內外數據,卻未做有效利用或深度分析。
· 疲于應付大量的碎片化,差異化需求。
· 上下游平臺數據異構,兼容工作量大。
· 不知道行內有哪些數據資源可用。
· 數據提取方式復雜多變,造成接口兼容耗時(shí)周期較長(cháng)。
· 源系統性能低下,影響效率。標準不一致,轉碼工作牽一發(fā)動(dòng)全身。
· 數據安全規范以及使用規范制約數據流通。
· 沒(méi)有統一的管理體系。
· 數據使用情況無(wú)法統計,不清楚哪些數據使用頻率高,可以針對性提供此類(lèi)型數據的豐度。
神州信息數據交換平臺旨在建立一個(gè)面向全行數據采集、交換、共享和開(kāi)放的標準化的、規范的、高效的、穩定的、可控的數據服務(wù)總線(xiàn),實(shí)現批量、準實(shí)時(shí)或者實(shí)時(shí)的數據交換要求,提升業(yè)務(wù)系統間多樣化、可配置、易管理的非實(shí)時(shí)批量及準實(shí)時(shí)數據交換能力。
· 有渠道告訴大家自身?yè)碛械臄祿N類(lèi),以及用途。
· 消費者可以自適應獲取這些數據,不要總是新增接口兼容需求。
· 統一數據標準。
· 希望能夠緩沖部分數據,不要頻繁查詢(xún)影響本系統性能。
· 直觀(guān)的了解行內哪些數據可以使用
· 可以搜索數據,找出自己需要的數據
· 提高數據提供效率,包括傳輸效率
· 降低技術(shù)門(mén)檻,一種數據能夠多種方式提供
· 有明確的數據安全管控規范和流程
· 清楚數據使用情況,為數據架構決策提供參考
· 能夠分析數據流向和流量,進(jìn)行改造優(yōu)化
產(chǎn)品優(yōu)勢
提供實(shí)時(shí)/準實(shí)時(shí)/批量數據方式采集方式,對采集數據進(jìn)行加工、集成、共享、分發(fā);具備行內數據和外部數據采集/計費能力??沙蔀槿袛祿鬏?、交換、共享與服務(wù)中心,實(shí)現統一采集、統一管理、統一服務(wù)。
支持多種關(guān)系型數據庫(如MySql、Oracle、DB2或其他RDBMS),支持對接Hadoop平臺多種組件(Hive、Hdfs、Hase);支持各種文件傳輸(如SFTP)。采用插件化集成機制,針對市面上新出現的各種數據源,可迅速開(kāi)發(fā)Reader端和Writer端程序插件進(jìn)行集成,保證高擴展性和快速客戶(hù)化開(kāi)發(fā)、交付能力。
每一種讀插件都有一種或多種切分策略,都能將作業(yè)合理切分成多個(gè)Task并行執行,單機多線(xiàn)程執行模型可以讓速度隨并發(fā)成線(xiàn)性增長(cháng)。
交換平臺將復雜的網(wǎng)狀的同步鏈路變成了星型數據鏈路,交換平臺作為中間傳輸載體負責連接各種數據源。
提供了簡(jiǎn)單的接口與插件交互,提供簡(jiǎn)單的插件接入機制,任意加上一種插件,就能無(wú)縫對接其他數據源。
Reader讀取、FrameWork處理、Writer寫(xiě)入。
支持多種ETL工具,以引擎的方式集成,交換平臺通過(guò)界面配置數據交換相關(guān)的參數,支持生成各種ETL的腳本并調用,ETL引擎返回執行信息,在這個(gè)過(guò)程中,交換平臺監控數據交換的執行情況,記錄日志。
提供可視化配置的服務(wù)數據、安全的運行環(huán)境及保證措施。