Sm@rtDSB統一數據交換平臺,旨在建立一個(gè)面向全行數據采集、交換、共享和開(kāi)放的標準化的、規范的、高效的、穩定的、可控的數據服務(wù)總線(xiàn),實(shí)現批量、準實(shí)時(shí)或者實(shí)時(shí)的數據交換要求,提升業(yè)務(wù)系統間多樣化、可配置、易管理的非實(shí)時(shí)批量及準實(shí)時(shí)數據交換能力。
搭建統一數據交換平臺整體框架
實(shí)現數據交換的統一管理
跨系統間準實(shí)時(shí)數據交互數據交換
滿(mǎn)足貼源數據層(ODS)與對外圍應用系統的數據交換
滿(mǎn)足數據倉庫與外圍應用系統的數據交換需求
滿(mǎn)足大數據平臺及其應用的數據交換需求
統一數據交換平臺技術(shù)及數據支持服務(wù)
統一數據傳輸和分發(fā),滿(mǎn)足多法人數據披露和共享要求
數據交換平臺功能分為平臺管理和數據交換兩大模塊,平臺管理包含用戶(hù)管理、角色管理、機構管理、權限管理等基礎功能。數據交換包含數據注冊、參數配置、數據服務(wù)、調度服務(wù)等模塊,具體的功能細節如下:
首頁(yè):展示各個(gè)系統的近一周的數據的交易量。
機構管理:增刪改行內機構信息屬性,支持虛擬機構和部門(mén)。
角色管理:增刪改行內角色信息屬性,主要用戶(hù)權限控制。
用戶(hù)管理:增刪改登陸該系統的行內用戶(hù)信息屬性,結合角色管理,實(shí)現權限的控制。
菜單管理:增刪改菜單,主要用于開(kāi)發(fā)階段菜單的詳細配置,一旦上生產(chǎn),不會(huì )做改變,所有數據均是初始化而來(lái)。
數據字典、字典維護:用于系統中的各個(gè)數據字典的相關(guān)信息維護,開(kāi)發(fā)階段會(huì )進(jìn)行增刪改,生產(chǎn)環(huán)境則不能對其進(jìn)行操作,所有數據均是初始化而來(lái)。
密碼規則配置:配置系統的密碼規則。
菜單功能組:可以配置頁(yè)面上的所有操作按鈕的權限,所有數據均是初始化而來(lái)。
關(guān)系數據庫定義:定義關(guān)系型數據庫的數據源(IP,driver,用戶(hù)名等相關(guān)配置)。
文件系統定義:定義文件型系統的數據源(IP,port,用戶(hù)名等相關(guān)配置)。
運行參數配置:定義遷移的取數條件(如半年,3個(gè)月等)。
遷移頻率:定義遷移頻率(如日頻、月頻等),可自定義corn表達式。
關(guān)系型數據注冊:注冊相關(guān)信息(包含:編碼,名稱(chēng),數據類(lèi)型,創(chuàng )建人,創(chuàng )建時(shí)間等……),點(diǎn)擊紅色箭頭進(jìn)入下一層系統信息(即數據源的信息)。
系統信息(數據源):將配置的數據源信息在這里注冊,點(diǎn)擊紅色箭頭進(jìn)入下一層表信息。
表信息:顯示表的基礎信息(包含:編號,表名,中文名等……),若是將該表作為源,則表信息中的取數SQL就是卸載數據的取數條件。若是將該表作為目標表,則表信息中的前置SQL和后置SQL就是入庫前處理和入庫后處理SQL。點(diǎn)擊紅色箭頭進(jìn)入下一層字段信息。
字段信息:包含字段的各個(gè)屬性。
文件型數據注冊:注冊相關(guān)信息(包含:編碼,名稱(chēng),數據類(lèi)型,創(chuàng )建人,創(chuàng )建時(shí)間等……),點(diǎn)擊紅色箭頭進(jìn)入下一層文件系統信息。
系統信息(數據源):將配置的數據源信息在這里注冊,點(diǎn)擊紅色箭頭進(jìn)入下一層文件信息。
文件信息:文件的各種信息(包含:編碼,文件名,存放路徑,分隔符,編碼等……)點(diǎn)擊紅色箭頭進(jìn)入下一層字段信息。
數據發(fā)布:將注冊后的數據進(jìn)行挑選,發(fā)布出去,供各個(gè)下游系統進(jìn)行使用(可指定使用者),只有指定的使用者才有使用的權限。
數據申請:用戶(hù)申請有權限的數據。
數據映射:將申請的數據進(jìn)行表映射和字段映射(文件型的,虛擬成表進(jìn)行映射)。
服務(wù)節點(diǎn)配置:配置服務(wù)的運行Datax節點(diǎn)(后期支持集群)。
運行日期定義:定義任務(wù)的運行日期(包含:運行日期,上次運行日期,當前運行日期,下次運行日期,運行結束日期,日期切換方式)。
任務(wù)服務(wù)定義:定義任務(wù)的相關(guān)信息(如服務(wù)編碼,執行節點(diǎn),日期參數,執行計劃,并發(fā)數等……)。
服務(wù)依賴(lài)配置:定義任務(wù)的依賴(lài)。
服務(wù)引擎:顯示當前服務(wù)的運行狀態(tài),以及進(jìn)行各種操作。
作業(yè)運行監控:監控作業(yè)的運行狀態(tài),以及對作業(yè)進(jìn)行各種操作。
運行日志:查看各個(gè)作業(yè)的運行日志,以及數據量。