商業智能與大數據應用

BI商業智能與大數據應用的區別；
BI（BusinessIntelligence），即商務智能，它是一套完整的解決方案，用來將企業中現有的數據進行有效的整合，快速準確的提供報表并提出決策依據，幫助企業做出明智的業務經營決策。
伴隨著BI的發展，ETL，數據集成平臺等概念相繼提出。ETL（ExtractionTransformationLoading），即數據提取、轉換和加載，數據集成平臺主要功能對各種業務數據進行抽取和相關轉化，以此來滿足BI、數據倉庫對數據格式和內容挖掘的要求。
1數據集成平臺
數據集成平臺的基礎工作與ETL有很大的相似性，其主要功能是實現不同系統不同格式數據地抽取，并且按照目標需求轉化成為相應的格式。數據集成開始是點對點的，慢慢地發現這種模式對于系統之間，不同所有權的企業數據流向以及數據標準控制很難，為此，誕生了對統一企業數據平臺的需求，來實現企業級之間的數據交互。
數據集成平臺就像網絡中的Hub，可以連接所有應用系統，實現系統之間數據的互通有無。數據集成平臺以BI、數據倉庫需求而產生，現在已經跨越了最初的需求，上升到了一個更高的階段。
2.大數據
如今大數據應用更多關注非結構化數據，更多談論互聯網，Twitter、Facebook、博客等非結構化數據，如此理解大數據應用，顯然就有些走偏了。結構化數據也屬于大數據，且呈現出相同的特點和特征，如數據量大，增長越來越快，對數據處理要求高等。結構化數據是廣義大
數據中含金量或者價值密度最高的一部分數據，與之相比，非結構化數據含金量高但價值密度低。在Hadoop平臺出現之前，沒有人談論大數據。數據應用主要是結構化數據，多采用IBM、HP等老牌廠商的小型機或服務器設備。
采用傳統方法處理這些價值密度低的非結構化數據，被認為是不值得的，因為其產出實在是有限。Hadoop平臺出現之后，提供了一種開放的、廉價的、基于普通商業硬件的平臺，其核心是分布式大規模并行處理，從而為非結構化數據處理創造條件。
大數據應用的數據來源應該包括結構化數據，如各種數據庫、各種結構化文件、消息隊列和應用系統數據等，其次才是非結構化數據，又可以進一步細分為兩部分，一是社交媒體，如Twitter、Facebook、博客等產生的數據，包括用戶點擊的習慣/
特點，發表的評論，評論的特點，網民之間的關系等，這些都構成了大數據來源。另外一部分數據，也是數據量比較大的數據，就是機器設備以及傳感器所產生的數據。以電信行業為例，CDR、呼叫記錄，這些數據都屬于原始傳感器數據，主要來自路由器或者基站。此外，手機的置傳感器，各種手持設備、門禁系統，攝像頭、ATM機等，其數據量也非常巨大。
3.大數據分析工具
對于分析大數據的工具，目前所有的分析工具都側重于結構化分析，例如針對社交媒體評論方向的分析，根據特定的詞頻或者語義，通過統計正面/負面評論的比例，來確定評論性質。如果有一個應用系統是接收結構化數據的，例如一個分析系統，接收這些語義就可以便于分析。
4.大數據應用實例
讓大數據應用落地，其中的關鍵在于與行業應用的深度融合。
1)公安行業
公安行業的視頻影像處理是一個特定應用領域，傳統BI、ETL工具拿這些數據沒有辦法，采用分布式Hadoop進行處理能夠帶來很
好的效益，因為Hadoop可以處理數據量足夠大。公安行業實際上已采集了大量視頻影像數據，利用這些數據，可以追蹤一個嫌疑犯的行蹤，什么時間在全國哪些地區出現過。這些應用不可能單純依靠人的力量，需要借助人臉識別、圖像識別技術、模式處理，數據壓縮等技術，需要海量處理軟件，抓出相關特征，幫助公安人員提高工作效率。
2)電信行業
在電信行業，計費系統實際上是對各種數據進行整合后的結果，是一個縮小的數據。借助大數據應用，運營商可以原始大數據進行
分析，例如分析傳感器數據是否有異常，從而判斷設備異常等，這些都是一些用傳統BI工具無法實現的分析，其結果往往會出乎意料，幫助運營商提高服務水平以及用戶的滿意度。
3)互聯網行業
在互聯網行業，通過分析手機上網軌跡，可以分析了解客戶群，了解用戶的偏好，此外，獲取地理位置的信息，也具有特定價值。
從這些行業大數據應用分析來看，一個是視頻影像處理，一個是日志分析，另外一個是處理特定文件格式的分析處理，彼此之間顯然沒有任何通
用性的特點，其共同點就是利用了廉價的大數據處理平臺。
大數據處理的靠前工具；
大數據的日益增長,給企業管理大量的數據帶來了挑戰的同時也帶來了一些機遇。下面是用于信息化管理的大數據工具列表：
1.ApacheHive
Hive是一個建立在hadoop上的開源數據倉庫基礎設施，通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,并對Hadoop上大數據文件
進行查詢和處理等。Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數據提供了方便。
2JaspersoftBI套件
Jaspersoft包是一個通過數據庫列生成報表的開源軟件。行業領導者發現Jaspersoft軟件是一流的,許多企業已經使用它來將SQL表轉化為pdf,，這
使每個人都可以在會議上對其進行審議。另外，JasperReports提供了一個連接配置單元來替代HBase。
3.1010data
1010data創立于2000年，是一個總部設在紐約的分析型云服務，旨在為華爾街的客戶提供服務，甚至包括NYSEEuronext、游戲和電信的客戶。
它在設計上支持可伸縮性的大規模并行處理。它也有它自己的查詢語言,支持SQL函數和廣泛的查詢類型，包括圖和時間序列分析。這個私有云的方法減少了客戶在基礎設施管理和擴展方面的壓力。
4.Actian
Actian之前的名字叫做IngresCorp，它擁有超過一萬客戶而且正在擴增。它通過Vectorwise以及對ParAccel實現了擴展。這些發展分別導致了
ActianVector和ActianMatrix的創建。它有Apache，Cloudera，Hortonworks以及其他發行版本可供選擇。
5.PentahoBusinessAnalytics
從某種意義上說,Pentaho與Jaspersoft相比起來,盡管Pentaho開始于報告生成引擎，但它目前通過簡化新來源中獲取信息的過程來支持大數據處
理。Pentaho的工具可以連接到NoSQL數據庫，例如MongoDB和Cassandra。PeterWayner指出,PentahoData(一個更有趣的圖形編程界面工具)有很多內置模塊，你可以把它們拖放到一個圖片上,然后將它們連接起來。
6.KarmasphereStudioandAnalyst
KarsmasphereStudio是一組構建在Eclipse上的插件,它是一個更易于創建和運行Hadoop任務的專用IDE。在配置一個Hadoop工作時，
Karmasphere工具將引導您完成每個步驟并顯示部分結果。當出現所有數據處于同一個Hadoop集群的情況時，KarmaspehereAnalyst旨在簡化
篩選的過程,。
7.Cloudera
Cloudera正在努力為開源Hadoop,提供支持，同時將數據處理框架延伸到一個全面的“企業數據中心”范疇,這個數據中心可以作為首選目標和管
理企業所有數據的中心點。Hadoop可以作為目標數據倉庫，高效的數據平臺，或現有數據倉庫的ETL來源。企業規?？梢杂米骷蒆adoop與傳
統數據倉庫的基礎。Cloudera致力于成為數據管理的“重心”。
8.HPVerticaAnalyticsPlatformVersion7
HP提供了用于加載Hadoop軟件發行版所需的參考硬件配置,因為它本身并沒有自己的Hadoop版本。計算機行業領袖將其大數據平臺架構命名為
HAVEn(意為Hadoop,Autonomy,Vertica,EnterpriseSecurityand“n”applications)?；萜赵赩ertica7版本中增加了一個“FlexZone”，允許用
戶在定義數據庫方案以及相關分析、報告之前探索大型數據集中的數據。這個版本通過使用HCatalog作為元數據存儲，與Hadoop集成后為用戶
提供了一種探索HDFS數據表格視圖的方法。
9.TalendOpenStudio
Talend’s工具用于協助進行數據質量、數據集成和數據管理等方面工作。Talend是一個統一的平臺，它通過提供一個統一的，跨企業邊界生命周
期管理的環境，使數據管理和應用更簡單便捷。這種設計可以幫助企業構建靈活、高性能的企業架構,在次架構下，集成并啟用百分之百開源服務的分布式應用程序變為可能。
10.ApacheSpark
ApacheSpark是Hadoop開源生態系統的新成員。它提供了一個比Hive更快的查詢引擎，因為它依賴于自己的數據處理框架而不是依靠Hadoop的
HDFS服務。同時，它還用于事件流處理、實時查詢和機器學習等方面。