赛马资信香港赛马会 測·控領域專業互動媒體平臺
推動測試測量,檢測診斷,傳感物聯,遙測自控智能化發展
當前位置:赛马资信香港赛马会 > 論文 > 應用技術 >

2019赛马会全年宝典:基于云計算技術的日志管理系統

赛马资信香港赛马会 www.ttuut.icu 2017-07-28 11:09:31

[導讀] 計算機技術經歷了并行計算、集群/分布式計算、網格計算等發展,現在已步入云計算時代。20世紀80年代,升陽(Sun Microsystems)提出了“網絡式電腦”NC概念,21世紀初,Amazon通過打包、自助服務等業務出租其IT設備,并取得了空前的成功。隨著云計算案例的成功,其影響力也正在逐步展開。本文闡述了從興技術云計算在電信級系統海量日志管理的設計方案,望拋磚引玉。

摘要

計算機技術經歷了并行計算、集群/分布式計算、網格計算等發展,現在已步入云計算時代。20世紀80年代,升陽(Sun Microsystems)提出了“網絡式電腦”NC概念,21世紀初,Amazon通過打包、自助服務等業務出租其IT設備,并取得了空前的成功。隨著云計算案例的成功,其影響力也正在逐步展開。本文闡述了從興技術云計算在電信級系統海量日志管理的設計方案,望拋磚引玉。

正文

隨著通信技術的不斷發展,用戶對新業務的需求以及對服務質量的要求也不斷提升。通訊運營商需要適應新形式的要求,必須做出相應的調整。如以前的離線計費升級為在線實時計費;又或者升級新的通訊設備,等等。由此帶來了一項新的挑戰,即新環境產生大量的以前不曾有過的日志,并帶來相關的問題,如:日志文件分散存放,數量多,可直接查閱日志文件保存周期短,極不便于運維;日志格式不一致,可閱讀性過低;查詢費時或超時,效率低下;相關日志的關聯性低,無法清晰定位;大量的日志無法統計,無法準確的分析業務;

由于相關法規、政策或商業上的要求,運營商無法回避以上問題,必須保留、查詢、分析處理這些大數據?;詮叵敵偷拇呈菘馕薹閾灤問較碌囊?,從興技術憑借自身在通訊行業的經驗與優勢,依托云計算技術,建設了一個高效的通用云計算平臺,將日志管理系統作為云平臺的一個業務系統建設。這樣設計的最大優勢是業務系統作為上層應用,具備良好的擴展性和可堆疊性,滿足信息的交換和處理,避免信息系統煙囪式的發展。

 

從興SKCP(Smart Keen Cloud Platform)基于HDFS、M/R和Cassandra為核心的SK-Hadoop功能和SK-Store功能;以Flume為基礎的SK-Pipe系統具備了高效的實時采集功能;配合SK-DETL分布式的ETL的任務設計、調度等功能,可實現日志數據的高效ETL.強大的企業管理器(SK-Admin)能對平臺、節點、任務進行監控和管理等。

基于SKCP的日志管理系統的主要功能架構如下:

 

采集子系統提供了批量采集和實時采集功能。批量采集將系統各??槿罩疚募茨柯疾杉較嚶Φ哪柯賈?,以便入庫。實時采集將系統??檎誆罩疚募凳貝淶餃罩駒破教?。日志采集支持對采集文件進行壓縮,減輕網絡傳輸壓力。支持對海量的小批量采集文件進行合并處理,以提高入庫效率

日志云平臺提供了程序發布和運行管理、系統資源監控;并提供日志云平臺定時任務,如數據清理或數據遷移等。日志云平臺支持聯機在線下的新節點加入或退出。

日志分析??椴捎肵ML文件配置方式,支持文件名稱的匹配和字段解析匹配,具備靈活的自定義功能。

日志入庫??樘峁┗〉鞫裙δ?,按照業務的要求將數據加載到云平臺中,支持霍夫曼壓縮算法,支持多節點的分布式入庫。

 

頁面查詢展示根據請求查詢云平臺得到相應的數據,并返回去前臺展現。支持均衡負載,減少單個節點上的負擔。

系統部署邏輯圖:

 

系統完成部署并成功試商用。系統負載量為:業務系統每天日志總量約為2.8 T,按1:6的壓縮比來計算,壓縮后每天的日志量約500G左右;單節點入庫速度平均10M+每秒;平均壓縮比為2.5:1,數據冗余系數2;數據平均存儲周期1+1個月,目前設計存儲容量為40T,不使用磁盤陣列集中存儲。

從實際運行情況考慮,基于從興技術云平臺的日志管理系統,采用成熟的技術,更低的成本、更高的業務效率,提供了完整的海量日志解決方案。赛马资信香港赛马会

[整理編輯:CK365測控網]
標簽:  計算機技術[1]    云計算[5]    數據中心[0]
 
[ 論文搜索 ]  [ ]  [ 好友分享 ]  [ 打印本文 ]  [ 關閉窗口 ]  [ 返回頂部 ]

版權與免責聲明:

①凡本網注明"來源:CK365測控網"的所有作品,版權均屬于CK365測控網,轉載請必須注明CK365測控網 赛马资信香港赛马会。違反者本網將追究相關法律責任。
②本網轉載并注明自其它來源的作品,目的在于傳遞更多信息,并不代表本網贊同其觀點或證實其內容的真實性,不承擔此類作品侵權行為的直接責任及連帶責任。如其他媒體、網站或個人從本網下載使用,必須保留本網注明的"稿件來源",并自負版權等法律責任。
③如涉及作品內容、版權等問題,請在作品發表之日起一周內與本網聯系,否則視為放棄相關權利。

注冊成為CK365測控網會員

可以無需任何費用瀏覽專業技術文章

 
 
注冊CK365測控網會員以便瀏覽全文
 
 
11运夺金计划软件 登录北京时时开奖结果 pk10冠亚和单双对刷 众赢计划软件科技有限公司 冠通乐翻二人麻将官方下载 时时彩玩法技巧之稳赚 江苏时时 时时走势图软件 5分快三免费计划软件下载 容易赢钱的棋牌游戏 分分时时彩 海南彩票七星彩开奖结果 3d6码复式多少钱组6 时时彩专家在线预测网 送本金一天稳赚500 后一6码如何倍投