飛象網(wǎng)訊（魏德齡/文）從隨手滑動(dòng)網(wǎng)頁(yè)時(shí)的廣告，或是突然收到的銀行理財(cái)推薦，再到出門在外到處掃一掃的各種“碼”，生活中越發(fā)能夠感受到大數(shù)據(jù)所帶來(lái)的變化。企業(yè)正試圖通過(guò)大數(shù)據(jù)來(lái)拉近與消費(fèi)者間的距離，優(yōu)化自身生產(chǎn)效率。
據(jù)賽迪顧問(wèn)預(yù)計(jì)，到2023年，大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將達(dá)到1萬(wàn)億元，到2027年，將會(huì)達(dá)到1.8萬(wàn)億元。隨著產(chǎn)業(yè)規(guī)模的持續(xù)增長(zhǎng)，企業(yè)機(jī)構(gòu)對(duì)于大數(shù)據(jù)的業(yè)務(wù)需求也更加深化�！皼](méi)有一套完整的系統(tǒng)保證這條鏈路高效運(yùn)轉(zhuǎn)的話，就很難保證從數(shù)據(jù)中提煉出有價(jià)值的信息和知識(shí)。”青云QingCloud大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風(fēng)表示“打通大數(shù)據(jù)全鏈路”已經(jīng)成為了客戶的重要訴求，而若想實(shí)現(xiàn)這種“打通”能力，自然需要在大數(shù)據(jù)領(lǐng)域的常年積累。
與大數(shù)據(jù)時(shí)代同頻共振
“與大數(shù)據(jù)時(shí)代同頻共振，青云大數(shù)據(jù)一直在行動(dòng)�！眲⑿埏L(fēng)介紹稱，從2014年到2018年，青云先從廣度上實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品和服務(wù)的全覆蓋。自2018年以來(lái)，又持續(xù)從深度入手，對(duì)各個(gè)產(chǎn)品性能、服務(wù)質(zhì)量、服務(wù)范圍等方面進(jìn)行全方位提升。
截至目前，青云已經(jīng)推出了近30款數(shù)據(jù)產(chǎn)品和服務(wù)，同時(shí)集成優(yōu)秀的合作伙伴應(yīng)用，形成了包括數(shù)據(jù)庫(kù)與緩存、消息隊(duì)列與中間件、大數(shù)據(jù)服務(wù)、數(shù)據(jù)倉(cāng)庫(kù)與BI、對(duì)象存儲(chǔ)在內(nèi)的數(shù)據(jù)產(chǎn)品生態(tài)，從而讓青云具備了構(gòu)建一個(gè)完整的、可插拔的、全流程的大數(shù)據(jù)平臺(tái)的能力。
與此同時(shí)，大數(shù)據(jù)產(chǎn)業(yè)也迎來(lái)了快速增長(zhǎng)。例如中小型互聯(lián)網(wǎng)或者移動(dòng)互聯(lián)網(wǎng)企業(yè)開(kāi)始通過(guò)積累大量用戶數(shù)據(jù)，來(lái)進(jìn)行用戶畫(huà)像分析，從而提供匹配個(gè)性化需求的內(nèi)容、資訊、商品信息服務(wù)。智慧工廠通過(guò)對(duì)物聯(lián)網(wǎng)設(shè)備的實(shí)時(shí)數(shù)據(jù)分析來(lái)提升生產(chǎn)效率，通過(guò)實(shí)時(shí)風(fēng)控來(lái)提升安全性�？蒲袡C(jī)構(gòu)通過(guò)分工協(xié)作進(jìn)行多維度計(jì)算，實(shí)現(xiàn)挖掘?qū)崟r(shí)科研數(shù)據(jù)、數(shù)據(jù)處理，并輸出科研分析報(bào)告。
劉雄風(fēng)觀察到如今客戶的需求也從最初的“底層資源”問(wèn)題逐步進(jìn)階到“數(shù)據(jù)層”問(wèn)題，例如云平臺(tái)上已有的數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、消息隊(duì)列等服務(wù)中的數(shù)據(jù)，需要數(shù)據(jù)同步服務(wù)來(lái)打通彼此之間孤立關(guān)系。數(shù)據(jù)計(jì)算的實(shí)時(shí)性也與企業(yè)的效率越來(lái)越呈現(xiàn)正相關(guān)，企業(yè)希望擁有獨(dú)立的實(shí)時(shí)計(jì)算平臺(tái)來(lái)加快數(shù)據(jù)上云后的實(shí)時(shí)計(jì)算速度，進(jìn)而發(fā)揮最大的數(shù)據(jù)價(jià)值。另外在數(shù)據(jù)開(kāi)發(fā)和作業(yè)運(yùn)維調(diào)度層面上也呈現(xiàn)出新的需求。這種情況下，過(guò)往所提供的組件類產(chǎn)品和服務(wù)就難以充分滿足需求。
打通大數(shù)據(jù)全鏈路
基于客戶的多種真實(shí)需求反饋和實(shí)時(shí)數(shù)據(jù)處理的新挑戰(zhàn)，青云大數(shù)據(jù)工作臺(tái)應(yīng)運(yùn)而生。其初衷在于打通大數(shù)據(jù)全鏈路，整合青云完整的數(shù)據(jù)產(chǎn)品和服務(wù)，為客戶提供一個(gè)一站式智能大數(shù)據(jù)開(kāi)發(fā)和治理平臺(tái)。
打通大數(shù)據(jù)全鏈路的意義在于，大數(shù)據(jù)技術(shù)可以形象的看作對(duì)最原始的數(shù)據(jù)進(jìn)行集成、處理、加工、提煉，由數(shù)據(jù)、信息、知識(shí)、智慧所構(gòu)成的金字塔，每上一層數(shù)據(jù)量就越小，對(duì)業(yè)務(wù)的影響價(jià)值卻更大更快。而要從海量“數(shù)據(jù)”中最終提煉出“智慧”，要經(jīng)過(guò)一條很長(zhǎng)的數(shù)據(jù)流鏈路，這條鏈路的高效與否，將最終決定企業(yè)的數(shù)據(jù)掘金效率。
青云大數(shù)據(jù)工作臺(tái)包含了數(shù)據(jù)集成、數(shù)據(jù)加工、統(tǒng)一存儲(chǔ)和服務(wù)這三個(gè)環(huán)節(jié)的鏈路流程，接駁了由數(shù)據(jù)到智慧的整個(gè)過(guò)程，為企業(yè)數(shù)據(jù)價(jià)值挖掘提供支持。該工作臺(tái)基于云原生架構(gòu)，以 Flink 流批一體的計(jì)算引擎為基礎(chǔ)，同時(shí)兼容多種計(jì)算引擎為一體的計(jì)算資源服務(wù)。提供全生命周期的數(shù)據(jù)開(kāi)發(fā)服務(wù)與高效的數(shù)據(jù)同步服務(wù)，可幫助客戶應(yīng)對(duì)豐富的業(yè)務(wù)場(chǎng)景，包括BI商業(yè)智能分析、用戶畫(huà)像、增長(zhǎng)分析和數(shù)據(jù)大屏等應(yīng)用，能夠支持精細(xì)化運(yùn)營(yíng)分析場(chǎng)景、實(shí)時(shí)計(jì)算場(chǎng)景、可視化開(kāi)發(fā)運(yùn)維場(chǎng)景、構(gòu)建數(shù)倉(cāng)場(chǎng)景四大使用場(chǎng)景。
青云大數(shù)據(jù)工作臺(tái)所提供的完整功能模塊，可以幫助企業(yè)輕松完成大數(shù)據(jù)開(kāi)發(fā)與治理全流程的部署、運(yùn)行和管理。數(shù)據(jù)上云模塊可將數(shù)據(jù)安全地同步到云端，支持MySQL、PostgreSQL、Kafka、S3、ClickHouse、HBase、HDFS、FTP共8種數(shù)據(jù)源。數(shù)據(jù)上云完成后便可進(jìn)行數(shù)據(jù)開(kāi)發(fā)，通過(guò)可視化的界面，可以讓客戶用拖拽的方式部署每一個(gè)工作節(jié)點(diǎn)，并直觀的了解其中的依賴關(guān)系。處理完的結(jié)果數(shù)據(jù)可以根據(jù)不同特性，存儲(chǔ)在不同的存儲(chǔ)介質(zhì)當(dāng)中，可通過(guò)向?qū)酵交蚰_本式同步兩種方式進(jìn)行。接下來(lái)的作業(yè)運(yùn)維調(diào)度工作中，通過(guò)青云自主研發(fā)的調(diào)度和任務(wù)管理模塊，可以同時(shí)根據(jù)任務(wù)維護(hù)和資源分配維度進(jìn)行分別監(jiān)控，實(shí)時(shí)跟蹤計(jì)算的飽和度，提醒企業(yè)根據(jù)需求調(diào)整計(jì)算資源。最后通過(guò)云端全托管Flink集群，幾分鐘即可完成計(jì)算集群的創(chuàng)建和部署。
在青云大數(shù)據(jù)工作臺(tái)未來(lái)規(guī)劃中，廣與深的升級(jí)理念還將進(jìn)一步延續(xù)，一方面將會(huì)加入數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)兩大功能模塊，完善大數(shù)據(jù)的全鏈路流程。另外還將優(yōu)化體驗(yàn)，針對(duì)不同的開(kāi)發(fā)視角和操作，在客戶體驗(yàn)、數(shù)據(jù)運(yùn)行、穩(wěn)定性、容錯(cuò)性方面，進(jìn)行整體的優(yōu)化和提升。
提及大數(shù)據(jù)類產(chǎn)品的版本更迭，很多人都容易想到不少大數(shù)據(jù)公司在產(chǎn)品架構(gòu)上越發(fā)復(fù)雜化的升級(jí)，以及缺少一定自由度與彈性的問(wèn)題。青云大數(shù)據(jù)工作臺(tái)則在面世之初，就已經(jīng)呈現(xiàn)出了明顯的比較優(yōu)勢(shì)。
高效自由的青云大數(shù)據(jù)工作臺(tái)
作為一家以“云之基石·自由計(jì)算”為初心的云計(jì)算企業(yè)所打造的大數(shù)據(jù)產(chǎn)品——青云大數(shù)據(jù)工作臺(tái)優(yōu)勢(shì)也充分體現(xiàn)在此，兼顧了云服務(wù)的輕松部署與彈性，同時(shí)又開(kāi)放自由，具有極高的兼容性。
客戶一方面可以依托青云公有云提供的天然 Demo，實(shí)現(xiàn)開(kāi)箱即用，幾分鐘即可完成環(huán)境的創(chuàng)建和部署，使用中還能快速進(jìn)行迭代升級(jí)，享受到云平臺(tái)本身的彈性計(jì)費(fèi)和靈活擴(kuò)縮容。而如果是使用大數(shù)據(jù)公司的產(chǎn)品，往往需要在搭建部署，以及后續(xù)升級(jí)上花費(fèi)較長(zhǎng)的時(shí)間，并缺少在遇到增量波動(dòng)時(shí)的資源靈活性。
另一方面，客戶還能如同使用大數(shù)據(jù)公司的產(chǎn)品一樣，獲得良好的跨平臺(tái)兼容性。青云大數(shù)據(jù)工作臺(tái)依托 KubeSphere 云原生容器平臺(tái)能力，所提供的大數(shù)據(jù)服務(wù)更加自由，可以兼容不同容器平臺(tái)進(jìn)行獨(dú)立部署。通過(guò)擁抱開(kāi)源，青云大數(shù)據(jù)工作臺(tái)還實(shí)現(xiàn)了百分百兼容Apache Flink，讓客戶輕松實(shí)現(xiàn)遷移。借助生態(tài)整合，又能使云平臺(tái)上的數(shù)據(jù)流轉(zhuǎn)更加便捷。
同時(shí)，面對(duì)目前很多大數(shù)據(jù)產(chǎn)品愈發(fā)功能復(fù)雜化的趨勢(shì)，以及一些產(chǎn)品體系中負(fù)載越來(lái)越重的歷史包袱，青云在需求方面，基于真實(shí)的客戶場(chǎng)景，抽取最大化的公共需求，聚焦業(yè)務(wù)問(wèn)題，優(yōu)化產(chǎn)品使用體驗(yàn)，以極簡(jiǎn)的操作步驟，解決用戶的核心業(yè)務(wù)問(wèn)題。
青云大數(shù)據(jù)工作臺(tái)+KubeSphere+IoT “三位一體”技術(shù)方案
面向最終的場(chǎng)景落地，青云大數(shù)據(jù)工作臺(tái)能夠與青云的KubeSphere容器平臺(tái)和IoT平臺(tái)形成合力，構(gòu)建“三位一體”的技術(shù)方案。例如，在目前采用該方案的某中國(guó)環(huán)保行業(yè)領(lǐng)導(dǎo)者的實(shí)踐中，青云大數(shù)據(jù)工作臺(tái)能夠?qū)た財(cái)?shù)據(jù)實(shí)時(shí)處理、分發(fā)、脫敏，熱數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)，全量數(shù)據(jù)存儲(chǔ)在對(duì)象存儲(chǔ)，最后將數(shù)據(jù)進(jìn)行應(yīng)用和展示。
另一工業(yè)自動(dòng)化測(cè)試設(shè)備與整線系統(tǒng)解決方案廠商也通過(guò)與青云合作，建設(shè)統(tǒng)一的“物聯(lián)網(wǎng)+大數(shù)據(jù)”平臺(tái)。針對(duì)不同數(shù)據(jù)源，由IoT平臺(tái)進(jìn)行“云、網(wǎng)、邊、端”的統(tǒng)一控制，客戶可以將數(shù)據(jù)通過(guò)消息中間件統(tǒng)一傳輸?shù)酱髷?shù)據(jù)工作臺(tái)上，再做原始庫(kù)數(shù)據(jù)集成的操作。原始庫(kù)可單獨(dú)對(duì)外提供數(shù)據(jù)權(quán)限、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)查詢的服務(wù)，或進(jìn)行二次加工，形成最終結(jié)果庫(kù)。
據(jù)悉，通過(guò)深耕工業(yè)、交通等細(xì)分領(lǐng)域，目前青云已經(jīng)形成了一整套相對(duì)標(biāo)準(zhǔn)的體系和方案，未來(lái)將會(huì)覆蓋智慧工業(yè)、智慧零售、智慧政務(wù)和智慧校園四個(gè)“數(shù)智”化場(chǎng)景。
青云大數(shù)據(jù)工作臺(tái)無(wú)疑是青云在與行業(yè)“同頻共振”的新節(jié)點(diǎn)，秉承打通大數(shù)據(jù)全鏈路的理念，與行業(yè)場(chǎng)景深入適配，展現(xiàn)出不同于以往大數(shù)據(jù)產(chǎn)品比較優(yōu)勢(shì)的全新突破成果。劉雄風(fēng)最后這樣表示：“我們所追求的是幫助企業(yè)激活數(shù)據(jù)資產(chǎn)，釋放數(shù)據(jù)價(jià)值，加速更多企業(yè)數(shù)智化進(jìn)程的青云大數(shù)據(jù)正在路上�！�
