二維碼
        企資網(wǎng)

        掃一掃關(guān)注

        當(dāng)前位置: 首頁(yè) » 企資快報(bào) » 產(chǎn)品 » 正文

        消費(fèi)者分區(qū)分配策略_Stricky_Range

        放大字體  縮小字體 發(fā)布日期:2023-03-17 19:54:32    作者:葉昊天    瀏覽次數(shù):98
        導(dǎo)讀

        Range范圍分配策略是Kafka默認(rèn)的分配策略,它可以確保每個(gè)消費(fèi)者消費(fèi)的分區(qū)數(shù)量是均衡的。注意:Rangle范圍分配策略是針對(duì)每個(gè)Topic的。配置配置消費(fèi)者的partition.assignment.strategy為org.apache.kafka.clients.c

        Range范圍分配策略是Kafka默認(rèn)的分配策略,它可以確保每個(gè)消費(fèi)者消費(fèi)的分區(qū)數(shù)量是均衡的。注意:Rangle范圍分配策略是針對(duì)每個(gè)Topic的。

        配置

        配置消費(fèi)者的partition.assignment.strategy為org.apache.kafka.clients.consumer.RangeAssignor。

        算法公式

        n = 分區(qū)數(shù)量 / 消費(fèi)者數(shù)量
        m = 分區(qū)數(shù)量 % 消費(fèi)者數(shù)量
        前m個(gè)消費(fèi)者消費(fèi)n+1個(gè)
        剩余消費(fèi)者消費(fèi)n個(gè)

        RoundRobin輪詢策略

        RoundRobinAssignor輪詢策略是將消費(fèi)組內(nèi)所有消費(fèi)者以及消費(fèi)者所訂閱的所有topic的partition按照字典序排序(topic和分區(qū)的hashcode進(jìn)行排序),然后通過(guò)輪詢方式逐個(gè)將分區(qū)以此分配給每個(gè)消費(fèi)者。

        配置

        配置消費(fèi)者的partition.assignment.strategy為org.apache.kafka.clients.consumer.RoundRobinAssignor。

        Stricky粘性分配策略

        從Kafka 0.11.x開始,引入此類分配策略。主要目的:

        1. 分區(qū)分配盡可能均勻

        2. 在發(fā)生rebalance的時(shí)候,分區(qū)的分配盡可能與上一次分配保持相同
        沒有發(fā)生rebalance時(shí),Striky粘性分配策略和RoundRobin分配策略類似。

        上面如果consumer2崩潰了,此時(shí)需要進(jìn)行rebalance。如果是Range分配和輪詢分配都會(huì)重新進(jìn)行分配,例如:

        通過(guò)上圖,我們發(fā)現(xiàn),consumer0和consumer1原來(lái)消費(fèi)的分區(qū)大多發(fā)生了改變。接下來(lái)我們?cè)賮?lái)看下粘性分配策略。

        我們發(fā)現(xiàn),Striky粘性分配策略,保留rebalance之前的分配結(jié)果。這樣,只是將原先consumer2負(fù)責(zé)的兩個(gè)分區(qū)再均勻分配給consumer0、consumer1。這樣可以明顯減少系統(tǒng)資源的浪費(fèi),例如:之前consumer0、consumer1之前正在消費(fèi)某幾個(gè)分區(qū),但由于rebalance發(fā)生,導(dǎo)致consumer0、consumer1需要重新消費(fèi)之前正在處理的分區(qū),導(dǎo)致不必要的系統(tǒng)開銷。(例如:某個(gè)事務(wù)正在進(jìn)行就必須要取消了)

         
        (文/葉昊天)
        免責(zé)聲明
        本文僅代表作發(fā)布者:葉昊天個(gè)人觀點(diǎn),本站未對(duì)其內(nèi)容進(jìn)行核實(shí),請(qǐng)讀者僅做參考,如若文中涉及有違公德、觸犯法律的內(nèi)容,一經(jīng)發(fā)現(xiàn),立即刪除,需自行承擔(dān)相應(yīng)責(zé)任。涉及到版權(quán)或其他問(wèn)題,請(qǐng)及時(shí)聯(lián)系我們刪除處理郵件:weilaitui@qq.com。
         

        Copyright ? 2016 - 2025 - 企資網(wǎng) 48903.COM All Rights Reserved 粵公網(wǎng)安備 44030702000589號(hào)

        粵ICP備16078936號(hào)

        微信

        關(guān)注
        微信

        微信二維碼

        WAP二維碼

        客服

        聯(lián)系
        客服

        聯(lián)系客服:

        在線QQ: 303377504

        客服電話: 020-82301567

        E_mail郵箱: weilaitui@qq.com

        微信公眾號(hào): weishitui

        客服001 客服002 客服003

        工作時(shí)間:

        周一至周五: 09:00 - 18:00

        反饋

        用戶
        反饋

        主站蜘蛛池模板: 国产成人无码精品一区二区三区| 中文字幕日韩欧美一区二区三区| 精品三级AV无码一区| 国模极品一区二区三区| 日韩精品区一区二区三VR| 精品一区二区三区视频在线观看 | 日韩人妻无码一区二区三区99| 日韩视频在线一区| 亚洲一区二区三区丝袜| 麻豆天美国产一区在线播放| 亚洲午夜福利AV一区二区无码| 无码AV动漫精品一区二区免费| 人妻在线无码一区二区三区| 国产精品夜色一区二区三区| 中文字幕一区二区三区在线观看| 久久一区二区免费播放| 成人国产一区二区三区| 国模丽丽啪啪一区二区| 成人区人妻精品一区二区不卡视频| 成人在线一区二区| 人成精品视频三区二区一区| 乱色熟女综合一区二区三区| 国产在线观看91精品一区 | 久久人妻av一区二区软件| 国产亚洲欧洲Aⅴ综合一区| 亚洲国产一区视频| 免费观看一区二区三区| 另类免费视频一区二区在线观看 | 国模无码视频一区| 国产一区二区三区在线观看免费| 在线观看国产一区亚洲bd| 精品国产一区二区麻豆| 日韩动漫av在线播放一区| 亚洲av午夜精品一区二区三区| 国产观看精品一区二区三区 | 国产精品亚洲一区二区三区 | av无码精品一区二区三区四区| 国产在线精品一区二区三区不卡| 久久久91精品国产一区二区三区 | 狠狠做深爱婷婷久久综合一区| 国产精品一区二区综合|