巨量數據時代需要創新的網路技術

amatom

(20130820 17:15:23)現今聯網裝置的數量已和全球人口總數不相上下，預計到2015年還會增加一倍1，主要的成長動力來自數十億的聯網感測器和智慧型系統 – 也就是大家熟知的物聯網(Internet of Things，IoT)。從智慧型手機與平板電腦等行動裝置一直到支援RFID技術的讀取機(readers)與感測器(sensors)，不論是人或機器都能以飛快的速度產生資料。

$ Q( v) B+ O0 o% L* E5 U事實上，英特爾估計全球每11秒就會產生1 petabyte的資料，這樣的資料量相當於長度達13年的高解析度影片。巨量資料指的正是這種爆炸性成長的資料 – 其特徵包括龐大的資料量、多元性、以及成長速度 – 透過巨量資料分析可能帶來新的科學發現、商業模式、以及消費者經驗，讓我們的生活更精采豐富。

4 x& T& `/ H; ~4 \/ s英特爾的理念是世界上的每個人與組織都有能力善用巨量資料帶來的資訊。英特爾的目標是克服在管理、儲存、保護如此龐大資料所涉及的成本、複雜度、以及保密等方面的問題。

為解決這些問題，英特爾提供多種開放性資料管理與分析軟體平台，其中包括Intel Distribution of Apache Hadoop* (Intel Distribution)軟體，以及Intel Enterprise Edition for Lustre*軟體。

- t% O, T3 @6 T  w7 G‧Intel Distribution of Apache Hadoop 軟體 - Hadoop 是開放原始碼框架，用於可擴充的伺服器叢集上儲存與處理多元化資料。Intel Distribution率先提供完整的加密功能，透過在Intel Xeon 處理器內的Intel 進階加密指令集(AES New Instructions)來執行加密運算。

amatom

再加上Hadoop Distributed File System*分散式檔案系統支援以矽晶片執行的加密功能，讓企業能夠更安全地分析其資料集，而且處理速度絲毫不減。Intel Xeon處理器平台針對網路與IO技術進行的最佳化，造就出更上一層樓的效能。過去得花上超過四小時才能分析完1 terabyte的資料，現在只須七分鐘2就能完成，這都要歸功於英特爾硬體與Intel Distribution軟體快速處理資料的能力。

‧Intel Enterprise Edition for Lustre軟體 – Lustre是開放原始碼的平行分散式檔案系統，也是關鍵的儲存技術，它不僅把資料連結在一起，還帶來極快的存取速度。

  P1 Z' Q5 d# L% |& x' ^Intel Enterprise Edition for Lustre軟體是通過驗證並有供支援的Lustre軟體，內含許多管理工具，並針對Intel Distribution軟體提供新的連結程式。搭配Intel Distribution一起運作時，Intel Enterprise Edition for Lustre軟體讓Hadoop能在Lustre上運行，因此大幅縮短資料存取與分析的速度，這讓使用者能更快速地直接從全球檔案系統存取檔案，進而縮短分析時間，且更有效率地運用各種儲存資源並簡化儲存管理流程。

; j. E/ S; d1 V' k英特爾致力向開放原始碼社群回饋Apache Hadoop以及Lustre的改良成果，其目標是提供業界更好的基礎，藉此推升創新的極限，並實現巨量資料帶來的轉型契機。

由英特爾實驗室（Intel Labs）主導的多項計劃，促使學術界投入研究資料密集的運算平台、機器學習(machine learning)、平行演算法(parallel algorithms)、視覺化(visualization)、以及電腦架構等領域。

amatom

英特爾還特別為巨量資料設立Intel科學與技術中心（Intel Science and Technology Center，ISTC），由麻省理工學院（Massachusetts Institute of Technology，MIT）電腦科學與人工智慧實驗室（Computer Science and Artificial Intelligence Laboratory，CSAIL）主持。此研究中心的目標是鼓勵各界開創新的資料密集使用經驗，並加快科學、醫藥、以及工業界的研發腳步。
2 M0 n: s0 `7 L/ O9 P3 W
" p. c7 }0 |+ \3 E( q2 u, a4 K# k  y此外英特爾還發表GraphBuilder，這項尚在測試階段的開放軟體能協助業界與學界的科學家快速開發新應用程式，只須描繪資料的關聯性就能開發出軟體。此外，英特爾持續投資研究，並挹注資金培植巨量資料的產業體系。英特爾實驗室扮演先鋒角色，帶動包括開發Intel Graph Builder for Apache Hadoop*軟體等先進分析的研究，這個函式庫能將龐大的資料集描繪成圖形，協助使用者以圖象表達資料之間的關聯。
& y& q9 G" F! r
3 K; k5 o. }9 _8 T' r6 O英特爾投資（Intel Capital）持續推動重大投資案，促進業界發展突破性巨量資料分析技術，其中包括專門開發MongoDB資料庫技術的公司10gen，以及巨量資料分析的解決方案供應商Guavus Analytics。

帶動亞洲客戶採納巨量資料

% e( ^$ |# ^4 N9 l為了推動巨量資料解決方案，英特爾透過多種途徑：包括系統整合商（SI）、獨立軟體廠商（ISV）、OEM、以及培訓夥伴(training partners)，共同推動巨量資料市場的成長。

amatom

英特爾與技術產業體系的所有關鍵領域業者，包括和系統整合商、獨立軟體廠商、以及OEM廠商合作，讓夥伴有能力解決客戶在巨量資料與雲端領域遭遇的挑戰，並開拓新的獲利來源。藉由和培訓夥伴合作，英特爾帶動客戶參與，讓他們瞭解各種使用者案例，以及巨量資料為各種行業所帶來的機會。
  ^# t% {& E1 R& X; L
最近位於新加坡的巨量資料創新中心(Big Data Innovation Center)正式揭幕，進一步體現英特爾致力促進亞洲地區客戶採納巨量資料的承諾。該中心是英特爾、戴爾（Dell）、以及Revolution Analytics共同推動的合作計畫，這項亞洲首見的重量級計畫，目標為擴展巨量資料分析在亞太地區的市場潛力。此中心匯集三家公司的專家，為客戶提供深入的培訓計畫、概念性驗證能力與解決方案開發的支援，讓參與人士獲得必要的技能，並且從更多來源廠商購入的眾多平台上改進資料挖掘(data mining)的品質。
) C9 A9 @) m) E3 o/ v& `% N
英特爾副總裁暨資料中心軟體部門總經理Boyd David在該中心啟動發表會上談及合作案時表示：「英特爾致力為業界提供更好的基礎以突破創新的極限，並實現巨量資料帶來的轉型契機。英特爾與戴爾和Revolution Analytics的合作正實現我們的願景，協助東南亞地區的客戶、組織、政府機構、以及獨立軟體廠商充分掌握市場成長商機並推動新的計畫。」

帶動亞洲客戶採納雲端方案

+ x0 E. A( y( E; q, [4 \5 I實例分享：廣達電腦
' P$ x  {" V4 M) c  y; J* H1 o
: B) J" z5 Q* l9 n( G今年稍早，為定義全球最大資料中心使用的新一代機架技術，英特爾與Facebook發表由廣達電腦所開發的機架架構，展現分散化架構在改進總成本、設計、以及可靠性等方面的潛力。
) l$ O1 j1 ]3 L8 {1 w! n0 L
- w! R# f% w& Q8 b0 U# x分散化機架架構包含英特爾新的光子架構，以高頻寬的100Gbps Intel 矽光(Silicon Photonics)技術為基礎，相較於現今的銅線連結技術，使用的纜線更少、頻寬更高、傳輸距離更長、省電性也大幅提升。Silicon Photonics矽光技術採用全新的途徑，利用光(光子)以極高的速度傳遞龐大的資料，且耗電量極低，並使用極細的光纖，而不是透過銅線傳遞電訊號。

amatom

英特爾過去二年投入矽光技術的研發，成功邁入可生產階段，並已生產工程樣本。藉由分離關鍵零組件，每個電腦元件可單獨升級，無須一起更換。如此一來，每個元件的生命週期可再延長，IT管理者只須更換特定資源，不必一次汰換整個系統。更高的維護效率與靈活性，可以改善基礎架構投資的總成本並提供更高彈性。
9 d; E  f" s* v) w! J$ G" C
此外，排熱效率亦可提升，機架可置入最佳化的零組件。現已做出的機械原型呈現英特爾的光機架架構，連結機架內的各項資源，讓運算、網路、以及儲存等資源都可分散置於機架內。
" S2 B( X, Z, W" a6 x. S" j8 J
廣達QCT總經理楊晴華表示：「資料中心與網路基礎架構供應商持續面臨壓力，必須在公有雲與私有雲上支援各種能產生營收的新服務，然而建構這種基礎架構的成本過於昂貴以致無法著手推動。我們與英特爾合作，成功展現分散化機架架構所帶來的商業價值，尤其是在成本、設計、以及可靠性等方面。未來幾年資料量持續成長之下，此架構將成為關鍵元素讓使用者能從自己的雲端環境中因應擴充以及後續衍生的各種需求。」
2 b7 A2 g9 K: I2 Z) f1 t
與產業夥伴合作
; T6 d9 N8 [9 `. y8 N# S! x* \% P9 ~9 u
與SAP結盟
9 y$ r1 _8 H+ W0 m
英特爾與SAP 延續雙方十年的合作關係，結合硬體與軟體的專長，協助企業克服眼前的各種挑戰。雙方共同研發的結果促使企業加快創新腳步，並為其客戶提供更卓越的價值。

amatom

包括SAP Business Suite在內，有許多SAP軟體都能在英特爾平台上運作。越來越多客戶採用SAP HANA 以及SAP HANA支援的SAP Business Suite，加上攜帶自有裝置(BYOD)為企業行動力帶來的效應，這些因素都加快企業轉型的腳步。促成這些發展的原因，包括因應需求變化的高效率擴充能力、減少停機時間的穩健功能、即時性與豐富的生產力，以及在客戶端裝置、資料中心、雲端等環境中各式各樣解決方案具備的成本效率。

‧SAP HANA 提供即時的商業資訊，加快分析速度，藉由簡化底層的基礎架構與運作框架，並提供一貫的私有雲與公有雲環境，建構最佳化的平台。由於不受資料類型的限制，因此在建置時不會影響現有的應用或系統- 這種彈性且成本效率極高的即時環境能應付龐大的資料量，讓組織在營運多個資料倉儲與分析系統時能大幅降低硬體與維護成本。

‧英特爾-SAP 共同推出的解決方案帶來領先業界的效能：(1)智慧型效能，在更小的伺服器空間內提供卓越的分析功能，根據作業負載的需求讓處理器機動運作；(2)自動調適的能源效率，自動調節消耗電力，並根據應用的需求以智慧功能調整效能；(3)高等級的可靠性，藉由進階的加密與虛擬化技術，使資料中心更加安全可靠；(4)無可比擬的行動力，讓企業將各種行動裝置連至企業網路，不僅簡化IT作業，還能降低採購、佈建、保護、以及維護這類裝置的總持有成本。

英特爾與SAP專注於確保未來解決方案能與客戶現今建置的系統流暢的互通運作，並支援目前與未來的SAP應用程式。在英特爾與SAP的努力下，企業能達到更高的效能、改進效率與成本管理成效、並提高在軟體即服務(SaaS)市場的地位。

amatom

與REDHAT結盟
/ b# s6 O* F" I: o' P0 w: ^
) b% s. o$ W' b* L0 e, D3 {英特爾與Red Hat多年來一直支持關鍵任務運算環境，協助企業對其成本模式進行最佳化，並維持最高的效能與可靠性。
/ |& S7 u! J) R1 ]! p4 E
憑藉近期在硬體與軟體方面的突破，英特爾與Red Hat為大型資料中心的匯整任務提供卓越的全新支援，在功能強大且富靈活性的企業級伺服器上承載現今要求最嚴苛以及關鍵任務的資料庫與交易作業。

& s& R# |4 {" J7 Z6 r  q這些進展象徵著運算產業的一大轉折點。各大企業軟體廠商均著手在內含Intel Xeon處理器與運行Red Hat企業版Linux作業系統的伺服器上驗證其解決方案。
2 \+ B; m. w9 I2 S3 q% d
企業IT部門現在能運用經濟型的標準運算基礎架構來滿足最嚴苛的運算需求，所用到的成本低於UNIX/RISC架構的花費。有了這些新的解決方案，企業沒有理由再投資昂貴的專利型運算解決方案，即使是在最大型和最具關鍵任務特質的企業級應用。
" j$ W9 e: Q" N: I6 h
& a/ S8 }3 q( Z" K& zRed Hat公司行銷經理Frank Feldmann談到與英特爾的結盟時表示：「英特爾一直是Red Hat的重量級夥伴，我們之間的合作開創出許多產業進展，讓我們的客戶能在超大規模的標準化基礎架構上運作，並得到企業要求的可靠性與穩定性。透過全方位的合作，英特爾與Red Hat為關鍵任務運算帶來許多突破性的功能，並延伸Red Hat企業版Linux作業系統以及英特爾Xeon處理器系列的卓越價值，融入到企業資料中心的核心。」

amatom

英特爾與Red Hat正合作把創新融入Linux產業體系，為虛擬化與儲存系統創造更強大、開放、統合的運算堆疊基礎。

客戶成功案例
; f7 Z- B, p6 n. O1 ?1 `
台灣證交所
( n0 a: y  U( E5 r
  i0 D2 M! F6 a" H  |台灣證券交易所是負責股票交易的金融機構，為台灣758家股票上市公司提供交易服務，其主要業務範疇包括開發新的金融商品，以及增加服務提供的數量。為因應日新月異的商業需求，並增進其雲端基礎架構的整體信賴度與安全性，台灣證券交易所正進行一項聯合概念性驗證(PoC)計畫，採用包括Intel 可信賴執行技術(Intel Trsuted Execution Technology，TXT)、思科(Cisco)的統合運算系統(Unified Computing System，UCS)伺服器，以及包括HyTrust、McAfee、VMware等廠商的軟體解決方案。
1 ?( Z2 n- Z5 @& `7 X2 p
從初期的實機驗證佈建中，台灣證券交易所估計其他部門將能更有效率地運用雲端基礎架構來增進商業反應速度、降低成本、以及改進資產使用效率，且完全不會有安全上的顧慮。

$ Z3 w: W: Y2 n) @訊息來源：太智公關(英特爾)