導(dǎo)讀

國內(nèi)某頭部券商是國內(nèi)排名前三的全國性大型綜合證券公司。作為證券行業(yè)領(lǐng)頭羊之一，該券商一直高度重視核心系統(tǒng)的自主可控以及網(wǎng)絡(luò)信息安全。早些時(shí)候，其已經(jīng)完成了信創(chuàng)化數(shù)據(jù)庫改造和OA系統(tǒng)適配，接下來的當(dāng)務(wù)之急是完成數(shù)據(jù)能力平臺(tái)的信創(chuàng)化改造。隨著該券商近年來數(shù)據(jù)中臺(tái)的發(fā)展，企業(yè)內(nèi)部數(shù)據(jù)系統(tǒng)紛繁龐雜，需要統(tǒng)一的調(diào)度系統(tǒng)來實(shí)現(xiàn)調(diào)度管理統(tǒng)一化、監(jiān)控可視化、預(yù)警智能化等功能。在經(jīng)過長時(shí)間調(diào)研之后，該券商攜手白鯨開源，基于白鯨調(diào)度系統(tǒng)為其數(shù)據(jù)開發(fā)和數(shù)據(jù)服務(wù)的統(tǒng)一管理提供了高效、完善的解決方案，助力其建設(shè) DataOps 底座。本文將詳細(xì)介紹該券商基于白鯨調(diào)度系統(tǒng)在其復(fù)雜多樣的金融信貸場景中實(shí)踐應(yīng)用。

背景

核心系統(tǒng)自主可控以及網(wǎng)絡(luò)信息安全已經(jīng)是國家戰(zhàn)略層面的重要問題，在證券行業(yè)更是向來是被高度重視的話題。2023年6月9日，中國證券業(yè)協(xié)會(huì)印發(fā)《證券公司網(wǎng)絡(luò)和信息安全三年提升計(jì)劃(2023-2025)》?！队?jì)劃》鼓勵(lì)券商信息科技資金投入占比提升至23-25年平均營收的7%或平均凈利潤的10%，同時(shí)高度重視自主可控和信息安全。在《計(jì)劃》提到的31項(xiàng)主要任務(wù)中，其中有17項(xiàng)任務(wù)關(guān)于提高數(shù)據(jù)架構(gòu)與核心系統(tǒng)的自主掌控能力和安全防控能力。2022年國內(nèi)金融信創(chuàng)發(fā)展迅速，據(jù)不完全統(tǒng)計(jì)，2022年金融信創(chuàng)項(xiàng)目數(shù)同比增長300%，在券商行業(yè)，信創(chuàng)建設(shè)主要集中在數(shù)據(jù)庫改造、OA系統(tǒng)適配、交易系統(tǒng)的改造、數(shù)據(jù)能力平臺(tái)建設(shè)等方面。

作為證券行業(yè)領(lǐng)頭羊之一，該券商以數(shù)據(jù)為引擎，賦能精準(zhǔn)投放產(chǎn)品和服務(wù)，做到業(yè)務(wù)和科技超融合，形成有效閉環(huán)，希望同時(shí)解決之前面臨的幾大核心問題：

• 需求與供給的矛盾：響應(yīng)業(yè)務(wù)需求不及時(shí)，數(shù)據(jù)產(chǎn)品開發(fā)耗時(shí)過久、角色協(xié)作性不足

• 業(yè)務(wù)與技術(shù)的矛盾：缺少數(shù)據(jù)消費(fèi)者反饋機(jī)制，數(shù)據(jù)產(chǎn)品運(yùn)營能力不足，復(fù)用性不高

• 成本與效益的矛盾：數(shù)據(jù)價(jià)值未顯性化：對(duì)大數(shù)據(jù)能力建設(shè)的指導(dǎo)性不強(qiáng)

而隨著該券商數(shù)據(jù)驅(qū)動(dòng)的深入，更多的業(yè)務(wù)部門對(duì)數(shù)據(jù)部門有更多的數(shù)據(jù)需求，傳統(tǒng)的數(shù)據(jù)賦能方式已經(jīng)無法滿足其需求。在信息化推動(dòng)數(shù)字加發(fā)展的新時(shí)代，DataOps應(yīng)運(yùn)而生，克服了傳統(tǒng)數(shù)據(jù)賦能的弊端。

DataOps作為數(shù)據(jù)管理技術(shù)，管理著從數(shù)據(jù)源到價(jià)值的信息流，加速從數(shù)據(jù)中提取價(jià)值的過程。它面向數(shù)據(jù)全生命周期，以價(jià)值最大化為目標(biāo)，利用自動(dòng)化來提高數(shù)據(jù)和洞察力處理的敏捷性，協(xié)同數(shù)據(jù)開發(fā)、運(yùn)營和管理全鏈路過程，實(shí)現(xiàn)數(shù)據(jù)研發(fā)運(yùn)營的一體化、敏捷化、標(biāo)準(zhǔn)化、自動(dòng)化、智能化、價(jià)值顯性化。DataOps的特點(diǎn)是敏捷、高效，能夠?yàn)槠髽I(yè)帶來巨大的價(jià)值，促進(jìn)企業(yè)數(shù)字化轉(zhuǎn)型，激發(fā)技術(shù)創(chuàng)新。

證券行業(yè)有著業(yè)務(wù)數(shù)據(jù)量大、數(shù)據(jù)處理過程復(fù)雜等特點(diǎn)，對(duì)于數(shù)據(jù)管道策略、建設(shè)和運(yùn)營有著更加迫切的需求，為滿足實(shí)際業(yè)務(wù)需求，已經(jīng)走在了DataOps探索的前沿。

白鯨開源作為全球領(lǐng)先的DataOps解決方案提供商，成為該券商合作的首選，通過周密調(diào)研和細(xì)致驗(yàn)證，其最終選定了白鯨開源作為合作伙伴，共同打造了國產(chǎn)信創(chuàng)化DataOps平臺(tái)，為數(shù)據(jù)開發(fā)和數(shù)據(jù)服務(wù)的統(tǒng)一管理提供了高效、完善的解決方案。

金融證券業(yè)務(wù)場景下調(diào)度系統(tǒng)的挑戰(zhàn)

該券商近年來數(shù)據(jù)中臺(tái)發(fā)展迅速，接到需求時(shí)，其已建成數(shù)據(jù)倉庫、數(shù)據(jù)交換、數(shù)據(jù)湖、數(shù)據(jù)管控等關(guān)系緊密的中臺(tái)系統(tǒng)。但是由于這些系統(tǒng)各自有著獨(dú)立的調(diào)度系統(tǒng)，執(zhí)行相應(yīng)的跑批作業(yè)，這會(huì)造成調(diào)度系統(tǒng)功能資源重復(fù)、任務(wù)管理不方便、運(yùn)維監(jiān)控分散、系統(tǒng)間調(diào)度聯(lián)系不緊密等問題，所以，客戶最迫切的需求，是一個(gè)可以有助于快速構(gòu)建數(shù)據(jù)中臺(tái)并實(shí)施基礎(chǔ)數(shù)據(jù)平臺(tái)的工具，以實(shí)現(xiàn)調(diào)度管理統(tǒng)一化、監(jiān)控可視化、預(yù)警智能化等功能。

01 需求場景

具體來說，該券商對(duì)于這個(gè)統(tǒng)一調(diào)度平臺(tái)的需求包括：

• 遷移數(shù)據(jù)平臺(tái)、數(shù)據(jù)湖平臺(tái)

任務(wù)腳本遷移到統(tǒng)一的調(diào)度系統(tǒng)中。

• 需要關(guān)聯(lián)的平臺(tái)

要求使用統(tǒng)一調(diào)度系統(tǒng)調(diào)度第三方平臺(tái)的任務(wù)離線開發(fā)平臺(tái)，包括其自有的數(shù)據(jù)交換平臺(tái)。

02 各業(yè)務(wù)線挑戰(zhàn)和需求

從各個(gè)業(yè)務(wù)線層面來說，客戶面臨的挑戰(zhàn)和需求包括：

• 對(duì)信創(chuàng)環(huán)境的需求。

• 安全部門的需求，對(duì)于漏洞掃描以及安全漏洞修復(fù)的時(shí)效性有較高的要求。

• 數(shù)倉、數(shù)據(jù)湖、離線開發(fā)平臺(tái)、數(shù)據(jù)交換平臺(tái)等各個(gè)業(yè)務(wù)線各自有自己的調(diào)度系統(tǒng)，不能集中統(tǒng)一管理和監(jiān)控，運(yùn)維成本巨大。

• 金融證券行業(yè)業(yè)務(wù)特性，有個(gè)性化節(jié)假日日歷以及動(dòng)態(tài)更改日歷等強(qiáng)場景需求。

• 業(yè)務(wù)日期需要和節(jié)假日以及日歷緊密關(guān)聯(lián)。

• 任務(wù)在交易時(shí)間和非交易時(shí)間執(zhí)行的業(yè)務(wù)不一致。

• 對(duì)于事件觸發(fā)（文件、數(shù)據(jù)庫、消息等）的場景需求。

• 業(yè)務(wù)部門的任務(wù)總數(shù)量比較大，達(dá)到50W/天，對(duì)于任務(wù)的并發(fā)量需求比較大。

而高效的管理體系、統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、良好的數(shù)據(jù)質(zhì)量是數(shù)據(jù)價(jià)值實(shí)現(xiàn)的基礎(chǔ)，針對(duì)當(dāng)前客戶數(shù)據(jù)能力建設(shè)存在的問題，決定采用白鯨調(diào)度系統(tǒng)，以價(jià)值最大化為目標(biāo)，協(xié)同數(shù)據(jù)開發(fā)、運(yùn)營和管理全鏈路過程的數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)研發(fā)運(yùn)營的一體化、敏捷化、標(biāo)準(zhǔn)化、自動(dòng)化、智能化、價(jià)值顯性化，以實(shí)現(xiàn)持續(xù)精益數(shù)據(jù)開發(fā)、持續(xù)交付合規(guī)可信數(shù)據(jù)、數(shù)據(jù)服務(wù)更加完善的目標(biāo)：

• 數(shù)據(jù)開發(fā)運(yùn)維一體化、敏捷化：通過關(guān)聯(lián)數(shù)據(jù)開發(fā)運(yùn)營各項(xiàng)活動(dòng)，構(gòu)建數(shù)據(jù)流水線，提升響應(yīng)和處理的敏捷性；

• 數(shù)據(jù)管理運(yùn)營協(xié)同：數(shù)據(jù)管理成果通過被業(yè)務(wù)分析人員、數(shù)據(jù)科學(xué)家等角色自助使用，支撐業(yè)務(wù)運(yùn)營，同時(shí)，運(yùn)營結(jié)果反向指導(dǎo)數(shù)據(jù)管理工作，實(shí)現(xiàn)管理與運(yùn)營的協(xié)同；

• 打造端到端業(yè)務(wù)價(jià)值鏈：倡導(dǎo)由數(shù)據(jù)價(jià)值驅(qū)動(dòng)的數(shù)據(jù)開發(fā)運(yùn)營，打破傳統(tǒng)的“數(shù)據(jù)管理是成本工作”的觀念，保證了數(shù)據(jù)開發(fā)運(yùn)營服務(wù)于企業(yè)整體戰(zhàn)略發(fā)展，減少各業(yè)務(wù)線數(shù)據(jù)的割裂。

白鯨開源DataOps平臺(tái)助力客戶建設(shè)DataOps底座

白鯨調(diào)度系統(tǒng)是以自主研發(fā)的分布式調(diào)度引擎為核心，一站式、一體化的數(shù)據(jù)開發(fā)管理運(yùn)營平臺(tái)，致力于在線集成環(huán)境下，統(tǒng)一完成數(shù)據(jù)的開發(fā)、編排、測試、調(diào)度、發(fā)布、服務(wù)和運(yùn)維、監(jiān)控等工作。

該券商DataOps整體規(guī)劃分為三步進(jìn)行，其中第一步解決數(shù)據(jù)底層操作調(diào)度系統(tǒng)問題，統(tǒng)一內(nèi)部數(shù)據(jù)倉庫、大數(shù)據(jù)集群、數(shù)據(jù)集市和科學(xué)計(jì)算平臺(tái)中運(yùn)算資源和任務(wù)調(diào)度已經(jīng)完成，新一代國產(chǎn)信創(chuàng)的DataOps平臺(tái)的第一期項(xiàng)目——統(tǒng)一調(diào)度系統(tǒng)于2022年11月全棧信創(chuàng)化部署運(yùn)行，為公司實(shí)現(xiàn)數(shù)據(jù)開發(fā)和數(shù)據(jù)服務(wù)的統(tǒng)一管理提供了高效、完善的解決方案， 具有全?；艅?chuàng)技術(shù)支持、全面云、湖、倉一體化架構(gòu)、高性能、高可靠性、簡單易用、完整的數(shù)據(jù)運(yùn)營能力等特點(diǎn)。

• 全局?jǐn)?shù)據(jù)治理、數(shù)據(jù)安全管理、數(shù)據(jù)資產(chǎn)管理：客戶是一個(gè)數(shù)據(jù)密集型企業(yè)，數(shù)據(jù)來源紛繁龐雜，針對(duì)數(shù)據(jù)隱私、數(shù)據(jù)安全、數(shù)據(jù)主權(quán)、數(shù)據(jù)標(biāo)準(zhǔn)等問題，白鯨開源 DataOps 平臺(tái)全面適配信創(chuàng)技術(shù)，支持基礎(chǔ)環(huán)境、服務(wù)器、數(shù)據(jù)庫、中間件、客戶端、應(yīng)用軟件等信創(chuàng)適配，兼容國內(nèi)主流軟硬件廠商的產(chǎn)品，以專業(yè)的底層基礎(chǔ)能力推動(dòng)上層業(yè)務(wù)的擴(kuò)展和創(chuàng)新。

• 開發(fā)IDE/CICD管理：任務(wù)腳本可直接引用本地和遠(yuǎn)程倉庫文件，無需重復(fù)工作；支持自動(dòng)化的CI/CD流程，同時(shí)支持本地文件上傳與跨環(huán)境打包部署，幫助客戶快速適配DataOps流程，實(shí)現(xiàn)開發(fā)、測試、部署的整體流程提效。

• 批流一體數(shù)據(jù)集成：支持公有云、私有云和混合云，支持云原生，支持傳統(tǒng)數(shù)據(jù)倉庫，支持開源的數(shù)據(jù)湖，同時(shí)支持批流任務(wù)同時(shí)管理，讓企業(yè)用戶實(shí)現(xiàn)數(shù)據(jù)湖、數(shù)據(jù)倉庫、云的一體化調(diào)度。

• 數(shù)據(jù)服務(wù) API：白鯨開源 DataOps 以RESTful API 的形式提供數(shù)據(jù)服務(wù)API，可以讓開發(fā)人員通過編寫代碼來訪問和操作數(shù)據(jù)服務(wù)中的數(shù)據(jù)，而無需了解數(shù)據(jù)服務(wù)的底層實(shí)現(xiàn)細(xì)節(jié)。

• 數(shù)據(jù)編排調(diào)度：豐富的事件管理功能，支持自定義多種業(yè)務(wù)日歷與切日時(shí)間管理，滿足企業(yè)多部門間的協(xié)同使用場景。

• 管理和監(jiān)控：白鯨開源 DataOps 平臺(tái)配置中心提供監(jiān)控與配置看板，為客戶提供數(shù)據(jù)源管理、日歷時(shí)間管理、資源管理、并行度管理、告警監(jiān)控和多租戶管理。

白鯨調(diào)度系統(tǒng)推進(jìn)信貸業(yè)務(wù)場景落地

針對(duì)客戶的業(yè)務(wù)線挑戰(zhàn)，白鯨開源DataOps平臺(tái)下的大數(shù)據(jù)任務(wù)調(diào)度組件——白鯨調(diào)度系統(tǒng)都能全面契合證券業(yè)務(wù)特點(diǎn)和功能需求：

• 統(tǒng)一數(shù)據(jù)調(diào)度平臺(tái)：指標(biāo)數(shù)據(jù)通過白鯨調(diào)度系統(tǒng)和 Shell 任務(wù)編排實(shí)現(xiàn)風(fēng)控離線數(shù)倉各分層數(shù)據(jù)的調(diào)度與流通、統(tǒng)一管理，支持不同的業(yè)務(wù)線之間的任務(wù)互相依賴，解決了各個(gè)業(yè)務(wù)線不能互相打通，各自為戰(zhàn)的問題。

• 通過自研技術(shù)，支持了全信創(chuàng)環(huán)境要求。

• 完善的商業(yè)服務(wù)，專業(yè)級(jí)漏洞掃描，確保安全漏洞修復(fù)的時(shí)效性。

• 完善的權(quán)限系統(tǒng)，支持對(duì)接客戶的權(quán)限系統(tǒng)，解決了單點(diǎn)登錄、統(tǒng)一用戶權(quán)限、項(xiàng)目和資源統(tǒng)一管理的強(qiáng)需求。

• 支持金融證券行業(yè)的業(yè)務(wù)特性，提供調(diào)度日歷、業(yè)務(wù)數(shù)據(jù)日歷分開，并支持不同時(shí)區(qū)、日歷導(dǎo)入等功能，針對(duì)企業(yè)調(diào)度當(dāng)中的業(yè)務(wù)數(shù)據(jù)日期/時(shí)間單獨(dú)進(jìn)行設(shè)計(jì)，更好滿足行業(yè)需求，比如

• 支持多種日歷管理，多地區(qū)多市場的交易日、工作日、自然日等

• 支持日歷Excel模板導(dǎo)入

• 支持調(diào)度日歷與業(yè)務(wù)日歷分開

• 支持多時(shí)區(qū)、多偏移量設(shè)置

• 支持業(yè)務(wù)日期單獨(dú)管理，單獨(dú)切日

• 支持金融證券行業(yè)的業(yè)務(wù)特性，提供牌管理功能，支持業(yè)務(wù)時(shí)間單獨(dú)計(jì)算的需求。

• 支持金融證券行業(yè)的業(yè)務(wù)特性，提供了每日日切功能，解決交易時(shí)間業(yè)務(wù)特性的需求。

• 新增觸發(fā)器任務(wù)，支持事件監(jiān)控和事件觸發(fā)功能，滿足客戶傳統(tǒng)多系統(tǒng)之間數(shù)據(jù)傳輸觸發(fā)的需要。

• 高性能高并發(fā)的特性也很好地解決了多個(gè)業(yè)務(wù)線的大數(shù)據(jù)量任務(wù)調(diào)度需求。

此外，白鯨調(diào)度系統(tǒng)為客戶提供的整個(gè)集群環(huán)境由多個(gè)服務(wù)集群組成，解決了服務(wù)單點(diǎn)問題。此外，由于采用2 Master x N Worker的分布式去中心化架構(gòu)，任務(wù)容量會(huì)隨著集群增長線性增長，在保證服務(wù)穩(wěn)定可用的前提下，成功支持了客戶各個(gè)業(yè)務(wù)的不同調(diào)度需求和任務(wù)量可擴(kuò)展的需求。

用戶收益

• 數(shù)百萬任務(wù)同時(shí)在線，秒級(jí)任務(wù)高達(dá)10萬并發(fā)，去中心化的多Master多Worker機(jī)制，保證了極高的穩(wěn)定性和性能，可對(duì)調(diào)用的資源進(jìn)行控制和分配，利用多租戶機(jī)制，實(shí)現(xiàn)任務(wù)之間的并行度控制、資源控制、用戶資源限制等諸多功能。

• 第一期項(xiàng)目——統(tǒng)一調(diào)度系統(tǒng)于2022年11月已經(jīng)全棧信創(chuàng)化部署運(yùn)行，為公司提供了完整的數(shù)據(jù)運(yùn)營能力，包括完整的數(shù)據(jù)編排調(diào)度、批流一體數(shù)據(jù)集成、數(shù)據(jù)開發(fā)IDE、統(tǒng)一數(shù)據(jù)服務(wù)和數(shù)據(jù)治理功能，配合多樣化的技術(shù)套件，可以在實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)開發(fā)平臺(tái)、統(tǒng)一的編排調(diào)度、統(tǒng)一的數(shù)據(jù)資產(chǎn)運(yùn)營的同時(shí)，更好地完成離線批處理、實(shí)時(shí)流處理等任務(wù)，有效降低用戶數(shù)據(jù)加工處理的成本，提升數(shù)據(jù)服務(wù)能力，真正實(shí)現(xiàn)精益、敏捷的數(shù)據(jù)運(yùn)營。

• 基于有效的數(shù)據(jù)開發(fā)能力，數(shù)據(jù)富能力和數(shù)據(jù)資產(chǎn)化能力，結(jié)合智能營銷、智能資訊、數(shù)據(jù)可視化、賬戶分析等場景，客戶的DataOps平臺(tái)可為各管理部門提供有效、及時(shí)的數(shù)據(jù)服務(wù)，其數(shù)據(jù)成果通過被業(yè)務(wù)分析人員、數(shù)據(jù)科學(xué)家、模型設(shè)計(jì)人員、開發(fā)人員等角色自助使用，可以高效支撐業(yè)務(wù)運(yùn)營、科技開發(fā)，同時(shí)運(yùn)營結(jié)果和科技開發(fā)反向指導(dǎo)數(shù)據(jù)管理工作，實(shí)現(xiàn)數(shù)據(jù)運(yùn)營與管理的協(xié)同。

• 實(shí)現(xiàn)了客戶各業(yè)務(wù)部門任務(wù)處理，每天完成約8千個(gè)工作流作業(yè)，在后續(xù)不斷接入新系統(tǒng)后，目標(biāo)是完成日工作流10萬，任務(wù)量50W。

• 對(duì)接公司統(tǒng)一權(quán)限管理、審計(jì)、監(jiān)控、告警等系統(tǒng)，極大提升了公司運(yùn)營效率。

客戶簡介

該券商是經(jīng)中國證監(jiān)會(huì)批準(zhǔn)設(shè)立的全國性大型綜合證券公司，公司在全國30個(gè)省、自治區(qū)和直轄市設(shè)有數(shù)百家分支機(jī)構(gòu)，擁有數(shù)家全資子公司。自成立以來，客戶各項(xiàng)業(yè)務(wù)快速發(fā)展，在企業(yè)融資、收購兼并、證券經(jīng)紀(jì)、證券金融、固定收益、資產(chǎn)管理、股票及衍生品交易等領(lǐng)域形成了自身特色和核心業(yè)務(wù)優(yōu)勢，并搭建了研究咨詢、信息技術(shù)、運(yùn)營管理、風(fēng)險(xiǎn)管理、合規(guī)管理等專業(yè)高效的業(yè)務(wù)支持體系。

關(guān)于白鯨開源

白鯨開源科技是一家由多名 Apache Software Foundation Member, Apache DolphinScheduler 和 Apache SeaTunnel 核心成員組建的公司。我們致力于打造下一代云原生 DataOps 平臺(tái)，助力企業(yè)在大數(shù)據(jù)和云時(shí)代，智能化地完成海量數(shù)據(jù)的處理、調(diào)度和治理，以提高企業(yè)解決數(shù)據(jù)問題的效率，提升企業(yè)分析洞察能力和決策能力。目前，白鯨開源已獲得數(shù)千萬融資。

 

關(guān)鍵詞：