這篇文章跟大家分析一下“如何進(jìn)行kappa和lambda對(duì)比”。內(nèi)容詳細(xì)易懂，對(duì)“如何進(jìn)行kappa和lambda對(duì)比”感興趣的朋友可以跟著小編的思路慢慢深入來閱讀一下，希望閱讀后能夠?qū)Υ蠹矣兴鶐椭Ｏ旅娓【幰黄鹕钊雽W(xué)習(xí)“如何進(jìn)行kappa和lambda對(duì)比”的知識(shí)吧。

創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、清原網(wǎng)絡(luò)推廣、成都小程序開發(fā)、清原網(wǎng)絡(luò)營(yíng)銷、清原企業(yè)策劃、清原品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供清原建站搭建服務(wù)，24小時(shí)服務(wù)熱線：13518219792，官方網(wǎng)址：www.ekvhdxd.cn

首先我們會(huì)詳細(xì)的講解這兩種架構(gòu)，實(shí)現(xiàn)這兩種架構(gòu)的技術(shù)工具，還有就是如何決策使用這兩種架構(gòu)。

如何構(gòu)建一個(gè)實(shí)時(shí)處理系統(tǒng)架構(gòu)一直爭(zhēng)論不斷。一個(gè)好的實(shí)時(shí)處理系統(tǒng)必須是容錯(cuò)和可升級(jí)的。必須支持批量和增量的更新，必須可擴(kuò)展。

在這些討論中一個(gè)重要的里程碑是，storm的創(chuàng)始人，Nathan Marz，描述了我們目前所了解的lambda架構(gòu)。Lambda架構(gòu)目前已經(jīng)有很多使用案例，實(shí)時(shí)上大量的公司都在使用，比如Yahoo和Netflix。當(dāng)然，lambda架構(gòu)也并不是得到的全是贊美，也有一些批判，就是它帶來了編碼的負(fù)擔(dān)。( 原英：But of course, Lambda is not a silver bullet and has received some fair criticism on the coding overhead it can create.)

在2014年夏天，LinkedIn的Jay Kreps發(fā)表了一篇文章描述了Kappa架構(gòu)，解決了一些Lambda架構(gòu)的陷阱。Kappa架構(gòu)并不是Lambda架構(gòu)的替代，因?yàn)橛行㎜ambda架構(gòu)并不適合遷移到Kappa架構(gòu)上去。

對(duì)于一個(gè)給定的案例，準(zhǔn)確的評(píng)估哪種架構(gòu)師最好的是很有挑戰(zhàn)性的，錯(cuò)誤的設(shè)計(jì)決策可能對(duì)數(shù)據(jù)分析項(xiàng)目的實(shí)施產(chǎn)生嚴(yán)重的影響。

現(xiàn)在，就深入細(xì)節(jié)去了解兩種數(shù)據(jù)處理架構(gòu)。

1

lambda架構(gòu)

 

Lambda架構(gòu)有三個(gè)層面組成：batch，speed，serving。

Batch層面有兩個(gè)主要的任務(wù)：

1.管理歷史數(shù)據(jù)。

2.重新結(jié)算結(jié)果，例如重新訓(xùn)練模型。

Batch層接受新的數(shù)據(jù)，將新的數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行合并，然后重新計(jì)算結(jié)果。Batch層計(jì)算了所有的數(shù)據(jù)，這使得系統(tǒng)能產(chǎn)生相對(duì)精確的結(jié)果。然而，由于計(jì)算時(shí)間比較久，使的結(jié)果延遲也會(huì)比較大。

Speed層主要提供低延遲，近實(shí)時(shí)的計(jì)算結(jié)果。Speed層接收數(shù)據(jù)，增量更新batch層的結(jié)果。由于speed層的增量算法，計(jì)算代價(jià)被極大減少。

Serving用batch層和speed層計(jì)算的結(jié)果提供多樣的查詢。

2

kappa架構(gòu)

創(chuàng)建kappa架構(gòu)的一個(gè)最重要的動(dòng)機(jī)是避免維護(hù)batch和speed層兩份獨(dú)立的代碼。一個(gè)核心的思想就是用一個(gè)單獨(dú)的流處理引擎處理實(shí)時(shí)的計(jì)算和連續(xù)不斷的數(shù)據(jù)的重復(fù)計(jì)算。代碼的更改對(duì)結(jié)果影響很大，所以數(shù)據(jù)必須重新計(jì)算。結(jié)果kappa架構(gòu)的組成只有兩個(gè)部分：stream processing和serving。流處理層運(yùn)行流處理任務(wù)。運(yùn)行一個(gè)流處理作業(yè)以啟用實(shí)時(shí)數(shù)據(jù)處理。僅僅當(dāng)流處理作業(yè)更改了一些代碼之后才會(huì)進(jìn)行數(shù)據(jù)的重新處理?？梢酝ㄟ^重啟一個(gè)梗概代碼后的流處理作業(yè)去處理所有以前的數(shù)據(jù)。

Serving層也是提供數(shù)據(jù)查詢的。

關(guān)于如何進(jìn)行kappa和lambda對(duì)比就分享到這里啦，希望上述內(nèi)容能夠讓大家有所提升。如果想要學(xué)習(xí)更多知識(shí)，請(qǐng)大家多多留意小編的更新。謝謝大家關(guān)注一下創(chuàng)新互聯(lián)網(wǎng)站！

分享題目：如何進(jìn)行kappa和lambda對(duì)比
文章URL：http://www.ekvhdxd.cn/article18/peepdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、全網(wǎng)營(yíng)銷推廣、App開發(fā)、虛擬主機(jī)、網(wǎng)站營(yíng)銷、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)