Epic Cloud聚上雲指出，「資料上雲」、「資安聯防」、「數據共享」，無非是 2024 年金融業的三組燙金關鍵字。2024年，金融業預計都將圍繞這三組 IT 項目展開積極作為。持續精耕企業數據治理和整合應用的 Epic Cloud 聚上雲，偕同在數據整合領域具有全球領導地位的 Cloudera，為金融產業傳授雲地數據整合之道，助力金融業自信應對極具挑戰的數據和 AI 課題。
以數據治理打好地基，引領 AI 落地發展
回望 2023 年，為促進普惠、創新、韌性與永續等目標，金管會已發佈「金融科技發展路徑圖」，帶動金融科技數據迅速增長，並解開金融業上雲限制，使混合雲數據治理成為金融產業的重要課題。然而，金融業在面對混合雲數據治理乃至 AI 應用的同時，無可避免遇到諸多挑戰。
著眼於此，Google Cloud 最高等級合作夥伴 Epic Cloud 聚上雲，攜手知名軟體服務商 Cloudera，策劃「金融產業混合資料治理與數據 AI 平台應用」精彩講堂，亦同步邀請兩位 Cloudera 加值服務堅實夥伴炬識科技和愛創大數據，一同發表經驗談，四強聯手，協助金融業者更有效率地採集、儲存、處理、分析和可視化數據，同時確保數據安全性、可靠性與實用性。
關於 Cloudera：全球 Top 500 金融機構採用的技術平台
熟悉 Hadoop 的人，肯定對 Cloudera 並不陌生。「Cloudera 深信數據可以使今日不可能之事，成為明日之可能。Cloudera 向世界展示了數據的價值，並創造了由開源社群之力不斷推動創新的產業和生態系。」由 Cloudera 的簡介即可略窺 Cloudera 的使命與特性。
Cloudera 台灣業務總監蘇懋欣指出，Cloudera 成立於 2008 年，由來自 Google、Yahoo、Oracle、Facebook的菁英共同創立。2011 年時，Yahoo 的 Hadoop 團隊脫離出來創立 Hortonworks，此後，公司在 2019 年併入Cloudera。截至目前，Cloudera 在全球擁有逾 3 千名員工、逾 2 千家客戶，其中包含許多全球 Top 500 金融機構。Cloudera 更是美國政府指定的合作夥伴，從國防單位、情報單位、聯邦到地方政府，皆為 Cloudera 的現有客戶。
運用 Cloudera CDP 平台，高效管理與運用數據資產
綜觀來看，Cloudera 現今最熱門產品即是 CDP（Cloudera Data Platform），CDP 是由 Cloudera 與 Hortonworks 合併後的優勢互補效應所淬鍊成。隨著過往大眾熟悉的 CDH、HDP 陸續在 2021~2022 年停止支援，CDP（Cloudera Data Platform）就成為當前市場上的主力版本。目前，雖然仍有不少人把 Cloudera 與「免費的開源軟體」劃上等號，不過，其實從 2021 年 1 月 31 日起，Cloudera 所採取的訂閱制服務，使客戶得以在訂閱期間取得漏洞補丁、版本升級、開 Case 等關鍵服務，獲得更有保障的服務與更佳的使用體驗。
聚上雲是 Cloudera 台灣獨家代理夥伴
聚上雲副總經理朱驛清則表示，「資料清洗」、「數據平台」、「商業模式再造」是當前不分產業的企業，主要面對的三大議題。尤其，數據管理平台（Data Management Platform）更是企業在數位轉型中，承先啟後的重要工具。鑑於此，聚上雲持續戮力開拓可滿足企業上在 AI 與數據整合方面的解決方案，並正式於 2023 年取得Cloudera 台灣獨家代理夥伴資格。藉由 Cloudera 雲地整合數據平台 Cloudera Data Platform（CDP）的推廣，已助力不少金融機構善用此一平台，為企業 AI／ML 應用打下穩固的數據根基，以期有效強化雲地數據治理、AI 應用，甚至防制金融詐欺。
Cloudera 湖倉一體，透過 SDX 共享資料，加速實現雲地整合
Cloudera 解決方案架構師謝宗佑開門見山談及「數據地基」的重要性。倘若一開始數據地基沒扎穩，卻又在上面疊床架屋，可想而知，一連串的「技術債」恐引發後續的連環災難。為幫助金融機構趨吉避凶，謝宗佑提出幾個重要概念，其一便是 Open Data Lakehouse，意即整合資料湖與資料倉儲，形成「湖倉一體」，進而能夠上雲，甚至做到混合多雲。
現今許多金融機構皆有複雜的資料環境，且至少有一座地端系統，如 Oracle DB 或 Hadoop 等等，因此在地端肯定有大量行內的交易數據；而在國內外的分支方面，也許有一些 Customer Data 選擇放在公有雲中；行銷部門則可能選用 Google GA，並將相關數據放在 Google Cloud Storage（GCS）中。以上無非意謂著，若企業想推動數據應用，則勢必先整合地端、Google Cloud、AWS、Azure 等多重的數據源。
此時，Cloudera 便派上用場了。企業如何利用 Cloudera 架構來解決上述難題？Cloudera 基於 SDX（Shared Data Experience），使客戶能透過單一介面查看雲地所有資料表 Table、各自的 Schema，以利企業用戶判斷如何設定資源（可能來自 HDFS、Hive、HBase⋯等資源），以及，這些 Table 會經由哪些條件被哪些人存取，而這些人存取時也都會留下日誌軌跡。
若再繼續深入來看，因為三大公雲皆可 Enable Cloudera 的服務，在地端能支援 Kubernetes 環境，也能支援Cloudera 的 Embedded Container Service (ECS) 系統，因此，客戶可借助 SDX 全面實現雲地 Infra 的安全設定、監控和權限控管。
Cloudera 4 種令人趨之若鶩的獨門優勢
更重要的是，Cloudera 擁抱開源，參與多達 40 多個開源專案，內部擁有上百個 Apache Committer 和 PMC，因此，會持續整合適合元件到 Cloudera Data Platform 中，如 Iceberg 即是一例。簡言之，Cloudera 致力讓客戶在執行應用或數據的遷移時，盡可能不需要重寫程式、安全規則或 Pipeline。換句話說，一旦啟用 Cloudera 架構，無論您是金融機構或其他產業，均可輕易做到下列四件事：
- （1.）遷移應用程式時無需重寫
- （2.）建一次應用程式即可執行於任何環境
- （3.）順利實現 Dynamic Motion
- （4.）營造前所未有的數據敏捷性
穩固的資料治理根基，決勝 AI 商業應用
作為 Cloudera 加值服務夥伴之一的炬識科技執行長顏良修則分享道，炬識科技成立於 2015 年，以資料湖（Data Lake）為主軸，協助諸多金融機構、政府部門或大型企業執行相關專案。談及以往炬識科技主要耕耘「資料湖」，不過近年則將重心轉向資料治理。顏良修說，資料湖屬於資料工程，較接近資料科學和前端的應用系統開發或微服務，不過，無論是資料工程還是資料科學，都完全無法脫離資料治理。炬識科技因頻繁遇到客戶要求做資料品質保證，因此開始著力於資料治理，協助客戶確保資料的可靠度與安全性。
如何避開那些資料治理常見的地雷區？
顏良修強調，其實過去早有不少大企業啟動資料治理專案，然而，當時未明確區分資料架構與資料品質管理，以致衍生許多複雜難解的問題，使多數專案走向失敗。因此，她建議先建立資料目錄，做好詮釋資料管理，再強化資料品質，然後持續根據規範，形成企業應遵守的流程，最終執行主資料的管理。為此，炬識科技推出了資料品質成熟度模型，旨在協助企業循序推進兩階段工作，先打好資料架構與品質保證的基底，才能確保上層數據應用的有效性，並藉由資料來解讀商業問題。
藉由 CML 服務，打造跨越雲地、產地直送的 AI 應用
同樣作為 Cloudera 加值服務夥伴之一的愛創大數據（AInnovate），則由共同創辦人林宗甫分享道，愛創大數據作為 Cloudera 的夥伴，其主攻 AI/ML、大數據處理、數據中台、上雲遷移等領域。基於來自多數金融客戶的應用需求，林宗甫闡釋了兩種應用情境，一是如何從 PDF 財報擷取結構化文本；另一則是如何透過 LLM 打造能回答企業內部營運問題的 Chatbot。
以 PDF 財報擷取結構化文本為例，該文本由幾項元件組成，包括目錄／頁號偵測、段落偵測暨文本擷取，以及將前述兩個模型與程式邏輯包裝為CML Endpoint（CDP Machine Learning Endpoint），意即透過CML Endpoint 將訓練好的模型直接以 Dock Image 形式加以部署，即可迅速展開執行。
立即免費體驗湖倉一體，讓 Data 跨越雲地藩籬
舉凡資料治理、ML 應用，不論藉由 On-premise 或公有雲上的 Cloudera Data Platform（CDP）叢集皆可輕易實現，且雲地應用體驗完全一致。聚上雲攜手 Cloudera，提供 5 天 Trial 授權方案，申請者不僅可透過公有雲試用 CDP，還可參考 Cloudera 提供的相關文件，免費試用湖倉一體、GenAI、和 ML 等服務。
Google Cloud 搭配 Cloudera CDP 的首選夥伴 − 聚上雲
Epic Cloud 聚上雲是國內唯一兼備企業核心應用實戰經驗的 Google Cloud 菁英級夥伴，可憑藉 Google Cloud 在地機房、100％ 採用綠電的雙重優勢，充分滿足金融機構期盼資料上雲但不離境、借力使力實踐 ESG 目標的雙重需求。作為 Google Cloud 結合 Cloudera CDP 應用的業界第一把交椅，Epic Cloud 聚上雲是金融上雲和企業數據整合的首選夥伴。
準備好透過 Google Cloud 結合 Cloudera CDP ，讓您的數據治理有如神助，加速建立最佳化的 AI/ML 應用基礎架構了嗎？
The post 聚上雲攜手 Cloudera 著眼金融業混合雲資料治理，自信應對數據整合和 AI 挑戰 first appeared on CIO Taiwan.