數(shù)據(jù)家,idc官網(wǎng),算力,裸金屬,高電機(jī)房,邊緣算力,云網(wǎng)合一,北京機(jī)房,北京云計(jì)算,北京邊緣計(jì)算,北京裸金屬服務(wù)器,北京數(shù)據(jù)服務(wù)器,北京GPU服務(wù)器,高算力服務(wù)器,數(shù)據(jù)機(jī)房相關(guān)技術(shù)新聞最新報(bào)道
限流（Rate Limitting）是服務(wù)降級(jí)的一種方式，通過(guò)限制系統(tǒng)的輸入和輸出流量以達(dá)到保護(hù)系統(tǒng)的目的。
比如我們的網(wǎng)站暴露在公網(wǎng)環(huán)境中，除了用戶的正常訪問(wèn)，網(wǎng)絡(luò)爬蟲、惡意攻擊或者大促等突發(fā)流量都可能都會(huì)對(duì)系統(tǒng)造成壓力，如果這種壓力超出了服務(wù)器的處理能力，會(huì)造成響應(yīng)過(guò)慢甚至系統(tǒng)崩潰的問(wèn)題。
idc網(wǎng),算力,裸金屬,高電機(jī)房,邊緣算力,云網(wǎng)合一,北京機(jī)房,北京云計(jì)算,北京邊緣計(jì)算,北京裸金屬服務(wù)器,北京數(shù)據(jù)服務(wù)器,北京GPU服務(wù)器,高算力服務(wù)器,數(shù)據(jù)機(jī)房因此，當(dāng)并發(fā)請(qǐng)求數(shù)過(guò)大時(shí)，我們通過(guò)限制一部分請(qǐng)求（比如限制同一IP的頻繁請(qǐng)求）來(lái)保證服務(wù)器可以正確響應(yīng)另一部分的請(qǐng)求。
nginx 提供了兩種限流方式，一種是限制請(qǐng)求速率，一種是限制連接數(shù)量。
另外還提供了對(duì)下載/上傳速度的限制。
nginx 的 ngx_http_limit_req_module 模塊提供限制請(qǐng)求處理速率的能力，使用了漏桶算法（leaky bucket algorithm）。我們可以想像有一只上面進(jìn)水、下面勻速出水的桶，如果桶里面有水，那剛進(jìn)去的水就要存在桶里等下面的水流完之后才會(huì)流出，如果進(jìn)水的速度大于水流出的速度，桶里的水就會(huì)滿，這時(shí)水就不會(huì)進(jìn)到桶里，而是直接從桶的上面溢出。
對(duì)應(yīng)到處理網(wǎng)絡(luò)請(qǐng)求，水代表從客戶端來(lái)的請(qǐng)求，而桶代表一個(gè)隊(duì)列，請(qǐng)求在該隊(duì)列中依據(jù)先進(jìn)先出（FIFO）算法等待被處理。漏的水代表請(qǐng)求離開緩沖區(qū)并被服務(wù)器處理，溢出代表了請(qǐng)求被丟棄并且永不被服務(wù)。
圖片
nginx 中有兩個(gè)主要的指令可以用來(lái)配置限流：limit_req_zone?和?limit_req。
下面是一個(gè)最簡(jiǎn)單的限流的例子：
limit_req_zone $binary_remote_addr znotallow=test:10m rate=2r/s;
server {
location / {
limit_req znotallow=test;
}
}imit_req_zone 用于設(shè)置限流和共享內(nèi)存區(qū)域的參數(shù)，格式為：limit_req_zone key zone rate。
limit_req_zone?只是設(shè)置限流參數(shù)，如果要生效的話，必須和?limit_req?配合使用。limit_req?的格式為：limit_req znotallow=name [burst=number] [nodelay]。
上面的例子只簡(jiǎn)單指定了?znotallow=test，表示使用 test 這個(gè)區(qū)域的配置，在請(qǐng)求 html 文件時(shí)進(jìn)行限流。我們可以理解為這個(gè)桶目前沒(méi)有任何儲(chǔ)存水滴的能力，到達(dá)的所有不能立即漏出的請(qǐng)求都會(huì)被拒絕。如果我1秒內(nèi)發(fā)送了10次請(qǐng)求，其中前500毫秒1次，后500毫秒9次，那么只有前500毫秒的請(qǐng)求和后500毫秒的第一次請(qǐng)求會(huì)響應(yīng)，其余請(qǐng)求都會(huì)被拒絕。
圖片
上面的配置保證了 nginx 以固定的速度提供服務(wù)（2r/s），但是這種情況不適用于有突發(fā)流量的情況，我們希望可以盡可能的緩存請(qǐng)求并處理它們，此時(shí)需要在?limit_req?上增加 burst 參數(shù)：
limit_req_zone $binary_remote_addr znotallow=test:10m rate=2r/s;
server {
location / {
limit_req znotallow=test burst=5;
}
}burst 表示在超過(guò)設(shè)定的訪問(wèn)速率后能額外處理的請(qǐng)求數(shù)。當(dāng)?rate=2r/s?時(shí)，表示每500ms 可以處理一個(gè)請(qǐng)求。burst=5時(shí)，如果同時(shí)有10個(gè)請(qǐng)求到達(dá)，nginx 會(huì)處理第1個(gè)請(qǐng)求，剩余9個(gè)請(qǐng)求中，會(huì)有5個(gè)被放入隊(duì)列，剩余的4個(gè)請(qǐng)求會(huì)直接被拒絕。然后每隔500ms從隊(duì)列中獲取一個(gè)請(qǐng)求進(jìn)行處理，此時(shí)如果后面繼續(xù)有請(qǐng)求進(jìn)來(lái)，如果隊(duì)列中的請(qǐng)求數(shù)目超過(guò)了5，會(huì)被拒絕，不足5的時(shí)候會(huì)添加到隊(duì)列中進(jìn)行等待。我們可以理解為現(xiàn)在的桶可以存5滴水：
圖片
配置 burst 之后，雖然同時(shí)到達(dá)的請(qǐng)求不會(huì)全部被拒絕，但是仍需要等待500ms 一次的處理時(shí)間，放入桶中的第5個(gè)請(qǐng)求需要等待500ms * 4的時(shí)間才能被處理，更長(zhǎng)的等待時(shí)間意味著用戶的流失，在許多場(chǎng)景下，這個(gè)等待時(shí)間是不可接受的。此時(shí)我們需要增加 nodelay 參數(shù)，和 burst 配合使用。
limit_req_zone $binary_remote_addr znotallow=test:10m rate=2r/s;
server {
location / {
limit_req znotallow=test burst=5 nodelay;
}
}nodelay 表示不延遲。設(shè)置 nodelay 后，第一個(gè)到達(dá)的請(qǐng)求和隊(duì)列中的請(qǐng)求會(huì)立即進(jìn)行處理，不會(huì)出現(xiàn)等待的請(qǐng)求。
圖片
需要注意的是，雖然隊(duì)列中的5個(gè)請(qǐng)求立即被處理了，但是隊(duì)列中的位置依舊是按照500ms 的速度依次被釋放的。后面的4個(gè)請(qǐng)求依舊是被拒絕的，長(zhǎng)期來(lái)看并不會(huì)提高吞吐量的上限，長(zhǎng)期吞吐量的上限是由設(shè)置的 rate 決定的
如果遇到不需要限流的情況，比如測(cè)試要壓測(cè)，可以通過(guò)配置白名單，取消限流的設(shè)置。白名單要用到 nginx 的?ngx_http_geo_module?和?ngx_http_map_module?模塊。
geo $limit {
default 1;
10.0.0.0/8 0;
192.168.0.0/24 0;
}
map $limit $limit_key {
0 "";
1 $binary_remote_addr;
}
limit_req_zone $limit_key znotallow=mylimit:10m rate=2r/s;geo 指令可以根據(jù) IP 創(chuàng)建變量?$limit。$limit?的默認(rèn)值是1，如果匹配到了下面的 IP，則返回對(duì)應(yīng)的值（這里返回的是0）。
之后通過(guò) map 指令，將?$limit?的值映射為$limit_key：在白名單內(nèi)的，$limit_key?為空字符串，不在白名單內(nèi)的，則為?$binary_remote_addr。當(dāng)limit_req_zone指令的第一個(gè)參數(shù)是一個(gè)空字符串，限制不起作用，因此白名單的 IP 地址（在10.0.0.0/8和192.168.0.0/24子網(wǎng)中）沒(méi)有被限制，其它 IP 地址都被限制為 2r/s
如果同一個(gè) location 下配置了多條?limit_req?的指令，這些指令所定義的限制都會(huì)被使用。
geo $limit {
default 1;
10.0.0.0/8 0;
192.168.0.0/24 0;
}
map $limit $limit_key {
0 "";
1 $binary_remote_addr;
}
limit_req_zone $limit_key znotallow=mylimit:10m rate=2r/s;
limit_req_zone $binary_remote_addr znotallow=myLimit2:10m rate=10r/s;
server {
location ~* .(html)$ {
limit_req znotallow=mylimit burst=5 nodelay;
limit_req znotallow=myLimit2 burst=5 nodelay;
}
}上面的例子配置了兩條規(guī)則，myLimit 和 myLimit2。白名單用戶雖然沒(méi)有匹配到mylimit的規(guī)則，但是根據(jù)規(guī)則 mylimit2，被限制為10r/s。對(duì)于不在白名單的用戶，則需要同時(shí)匹配mylimit 和 mylimit2，兩者中最嚴(yán)格的條件 2r/s 會(huì)起作用。
nginx 的?ngx_http_limit_conn_module?模塊提供限制連接數(shù)的能力，包含兩個(gè)指令limit_conn_zone?和?limit_conn，格式為limit_conn_zone key zone。
limit_conn_zone $binary_remote_addr znotallow=perip:10m;
limit_conn_zone $server_name znotallow=perserver:10m;
server {
location ~* .(html)$ {
limit_conn perip 10;
limit_conn perserver 100;
}
}需要注意的是：只有當(dāng) request header 被后端server處理后，這個(gè)連接才進(jìn)行計(jì)數(shù)。
limit_rate主要用于限制用戶和服務(wù)器之間傳輸?shù)淖止?jié)數(shù)，最常用的場(chǎng)景可能就是下載/上傳限速。limit_rate并沒(méi)有單獨(dú)的一個(gè)模塊，而是在ngx_http_core_module中，同時(shí)它的相關(guān)指令也比較少，只有l(wèi)imit_rate和limit_rate_after這兩個(gè)指令。
server {
location / {
limit_rate 4k;
}
}server {
location / {
limit_rate_after 500k;
limit_rate 4k;
}
}limit_rate_after允許在傳輸了一部分?jǐn)?shù)據(jù)之后再進(jìn)行限速，例如上面的配置中就是傳輸?shù)那?00k數(shù)據(jù)不限速，500k之后再進(jìn)行限速。比較常見(jiàn)的應(yīng)用場(chǎng)景如分段下載限速，超過(guò)指定大小的部分再進(jìn)行限速；又或者是流媒體視頻網(wǎng)站一般為了保證用戶體驗(yàn)而不會(huì)對(duì)第一個(gè)畫面進(jìn)行限速，確保其能夠盡快加載出來(lái)，等用戶開始觀看視頻之后，再把帶寬限制在合理的范圍內(nèi)，從而降低因客戶端網(wǎng)速過(guò)快導(dǎo)致提前加載過(guò)多內(nèi)容帶來(lái)的額外成本。
proxy_limit_rate的基本原理和用法與limit_rate幾乎一樣，唯一不同的是proxy_limit_rate是限制nginx和后端upstream服務(wù)器之間的連接速率而limit_rate限制的是nginx和客戶端之間的連接速率。需要注意的是proxy_limit_rate需要開啟了proxy_buffering這個(gè)指令才會(huì)生效。
#語(yǔ)法：
Syntax: proxy_limit_rate rate;
Default: proxy_limit_rate 0;
Context: http, server, location
This directive appeared in version 1.7.7.limit_rate的一大特點(diǎn)就是能夠使用變量，這就意味著和map指令之類的進(jìn)行組合就可以實(shí)現(xiàn)動(dòng)態(tài)限速功能，這里只列幾個(gè)簡(jiǎn)單的示范
這里引入了nginx內(nèi)置的一個(gè)ssi模塊，這個(gè)模塊有兩個(gè)比較有意思的時(shí)間變量：$date_local和$date_gmt，分別對(duì)應(yīng)當(dāng)前時(shí)間和GMT時(shí)間
這里使用變量和map指令組合的方式，利用正則表達(dá)式匹配不同的時(shí)間段，再結(jié)合map變量將不同時(shí)間段和不同的限速對(duì)應(yīng)起來(lái)。
map $date_local $limit_rate_time {
default 4K;
~(00:|01:|02:|03:|04:|05:|06:|07:).*:.* 16K;
~(08:|12:|13:|18:).*:.* 8K;
~(19:|20:|21:|22:|23:).*:.* 16K;
}
limit_rate $limit_rate_time有些服務(wù)可能會(huì)對(duì)不用的用戶進(jìn)行不同的限速，例如VIP用戶的速度要更快一些等，例如下面可以針對(duì)不同的cookie進(jìn)行限速
map $cookie_User $limit_rate_cookie {
gold 64K;
silver 32K;
copper 16K;
iron 8K;
}
limit_rate $limit_rate_cookie