Linux作為一個強大的操作系統，提供了一系列內核參數供我們進行調優。光TCP的調優參數就有50多個。在和線上問題鬥智斗勇的過程中，筆者積累了一些在內網環境應該進行調優的參數。在此分享出來，希望對大家有所幫助。
調優清單
好了，在這裏先列出調優清單。請記住，這裏只是筆者在內網進行TCP內核參數調優的經驗，僅供參考。同時，筆者還會在餘下的博客裏面詳細解釋了為什麼要進行這些調優！
| 序號 | 內核參數 | 值 | 備註 |
|---|---|---|---|
| 1.1 | /proc/sys/net/ipv4/tcp_max_syn_backlog | 2048 | |
| 1.2 | /proc/sys/net/core/somaxconn | 2048 | |
| 1.3 | /proc/sys/net/ipv4/tcp_abort_on_overflow | 1 | |
| 2.1 | /proc/sys/net/ipv4/tcp_tw_recycle | 0 | NAT環境必須為0 |
| 2.2 | /proc/sys/net/ipv4/tcp_tw_reuse | 1 | |
| 3.1 | /proc/sys/net/ipv4/tcp_syn_retries | 3 | |
| 3.2 | /proc/sys/net/ipv4/tcp_retries2 | 5 | |
| 3.3 | /proc/sys/net/ipv4/tcp_slow_start_after_idle | 0 |
tcp_max_syn_backlog,somaxconn,tcp_abort_on_overflow
tcp_max_syn_backlog,somaxconn,tcp_abort_on_overflow這三個參數是關於
內核TCP連接緩衝隊列的設置。如果應用層來不及將已經三次握手建立成功的TCP連接從隊列中取出,溢出了這個緩衝隊列(全連接隊列)之後就會丟棄這個連接。如下圖所示:
從而產生一些詭異的現象,這個現象詭異之處就在於，是在TCP第三次握手的時候丟棄連接
就如圖中所示,第二次握手的SYNACK發送給client端了。所以就會出現client端認為連接成功，而Server端確已經丟棄了這個連接的現象！由於無法感知到Server已經丟棄了連接。
所以如果沒有心跳的話，只有在發出第一個請求后，Server才會發送一個reset端通知這個連接已經被丟棄了，建立連接后第二天再用，也會報錯！所以我們要調大Backlog隊列！
echo 2048 > /proc/sys/net/ipv4/tcp_max_syn_backlog
echo 2048 > /proc/sys/net/core/somaxconn
當然了，為了盡量避免第一筆調用失敗問題，我們也同時要設置
echo 1 > /proc/sys/net/ipv4/tcp_abort_on_overflow
設置這個值以後，Server端內核就會在這個連接被溢出之後發送一個reset包給client端。
如果我們的client端是NIO的話，就可以收到一個socket close的事件以感知到連接被關閉！
注意Java默認的Backlog是50
這個TCP Backlog的隊列大小值是min(tcp_max_syn_backlog,somaxconn,應用層設置的backlog),而Java如果不做額外設置，Backlog默認值僅僅只有50。C語言在使用listen調用的時候需要傳進Backlog參數。
tcp_tw_recycle
tcp_tw_recycle這個參數一般是用來抑制TIME_WAIT數量的,但是它有一個副作用。即在tcp_timestamps開啟(Linux默認開啟)，tcp_tw_recycle會經常導致下面這種現象。
也即，如果你的Server開啟了tcp_tw_recycle，那麼別人如果通過NAT之類的調用你的Server的話，NAT後面的機器只有一台機器能正常工作，其它情況大概率失敗。具體原因呢由下圖所示:
在tcp_tw_recycle=1同時tcp_timestamps(默認開啟的情況下),對同一個IP的連接會做這樣的限制，也即之前後建立的連接的時間戳必須要大於之前建立連接的最後時間戳，但是經過NAT的一個IP後面是不同的機器，時間戳相差極大，就會導致內核直接丟棄時間戳較低的連接的現象。由於這個參數導致的問題，高版本內核已經去掉了這個參數。如果考慮TIME_WAIT問題，可以考慮設置一下
echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse
tcp_syn_retries
這個參數值得是client發送SYN如果server端不回復的話，重傳SYN的次數。對我們的直接影響呢就是connet建立連接時的超時時間。當然Java通過一些C原生系統調用的組合使得我們可以進行超時時間的設置。在Linux裏面默認設置是5,下面給出建議值3和默認值5之間的超時時間。
| tcp_syn_retries | timeout |
|---|---|
| 1 | min(so_sndtimeo,3s) |
| 2 | min(so_sndtimeo,7s) |
| 3 | min(so_sndtimeo,15s) |
| 4 | min(so_sndtimeo,31s) |
| 5 | min(so_sndtimeo,63s) |
下圖給出了，重傳和超時情況的對應圖:
當然了，不同內核版本的超時時間可能不一樣，因為初始RTO在內核小版本間都會有細微的變化。所以，有時候在抓包時候可能會出現（3,6,12……)這樣的序列。當然Java的API有超時時間:
java:
// 函數調用中攜帶有超時時間
public void connect(SocketAddress endpoint, int timeout) ;
所以，對於Java而言，這個內核參數的設置沒有那麼重要。但是，有些代碼可能會有忘了設置timeout的情況，例如某個版本的Kafka就是，所以它在我們一些混沌測試的情況下，容災恢復的時間會達到一分多鍾，主要時間就是卡在connect上面-_-!，而這時我們的tcp_syn_retries設置的是5，也即超時時間63s。減少這個恢復時間的手段就是:
echo 3 > /proc/sys/net/ipv4/tcp_syn_retries
tcp_retries2
tcp_retries2這個參數表面意思是在傳輸過程中tcp的重傳次數。但在某個版本之後Linux內核僅僅用這個tcp_retries2來計算超時時間，在這段時間的重傳次數純粹由RTO等環境因素決定，重傳超時時間在5/15下的表現為:
| tcp_retries2 | 對端無響應 |
|---|---|
| 5 | 25.6s-51.2s根據動態rto定 |
| 15 | 924.6s-1044.6s根據動態rto定 |
如果我們在應用層設置的Socket所有ReadTimeout都很小的話(例如3s),這個內核參數調整是沒有必要的。但是，筆者經常發現有的系統，因為一兩個慢的接口或者SQL，所以將ReadTimeout設的很大的情況。
平常這種情況是沒有問題的，因為慢請求頻率很低，不會對系統造成什麼風險。但是，物理機突然宕機時候的情況就不一樣了，由於ReadTimeOut設置的過大，導致所有落到這台宕機的機器都會在min(ReadTimeOut,(924.6s-1044.6s)(Linux默認tcp_retries2是15))后才能從read系統調用返回。假設ReadTimeout設置了個5min，系統總線程數是200，那麼只要5min內有200個請求落到宕機的server就會使A系統失去響應！
但如果將tcp_retries2設置為5,那麼超時返回時間即為min(ReadTimeOut 5min,25.6-51.2s),也就是30s左右，極大的緩解了這一情況。
echo 5 > /proc/sys/net/ipv4/tcp_retries2
但是針對這種現象，最好要做資源上的隔離,例如線程上的隔離或者機器級的隔離。
golang的goroutine調度模型就可以很好的解決線程資源不夠的問題，但缺點是goroutine裏面不能有阻塞的系統調用，不然也會和上面一樣，但僅僅對於系統之間互相調用而言，都是非阻塞IO,所以golang做微服務還是非常Nice的。當然了我大Java用純IO事件觸發編寫代碼也不會有問題，就是對心智負擔太高-_-!
物理機突然宕機和進程宕不一樣
值得注意的是，物理機宕機和進程宕但內核還存在表現完全不一樣。
僅僅進程宕而內核存活，那麼內核會立馬發送reset給對端，從而不會卡住A系統的線程資源。
tcp_slow_start_after_idle
還有一個可能需要調整的參數是tcp_slow_start_after_idle，Linux默認是1，即開啟狀態。開啟這個參數后，我們的TCP擁塞窗口會在一個RTO時間空閑之後重置為初始擁塞窗口(CWND)大小，這無疑大幅的減少了長連接的優勢。對應Linux源碼為:
static void tcp_event_data_sent(struct tcp_sock *tp,
struct sk_buff *skb, struct sock *sk){
// 如果開啟了start_after_idle,而且這次發送的時間-上次發送的時間>一個rto，就重置tcp擁塞窗口
if (sysctl_tcp_slow_start_after_idle &&
(!tp->packets_out && (s32)(now - tp->lsndtime) > icsk->icsk_rto))
tcp_cwnd_restart(sk, __sk_dst_get(sk));
}
關閉這個參數后，無疑會提高某些請求的傳輸速度(在帶寬夠的情況下)。
echo 0 > /proc/sys/net/ipv4/tcp_slow_start_after_idle
當然了，Linux啟用這個參數也是有理由的，如果我們的網絡情況是時刻在變化的，例如拿個手機到處移動，那麼將擁塞窗口重置確實是個不錯的選項。但是就我們內網系統間調用而言，是不太必要的了。
初始CWND大小
毫無疑問，新建連接之後的初始TCP擁塞窗口大小也直接影響到我們的請求速率。在Linux2.6.32源碼中，其初始擁塞窗口是(2-4個)mss大小，對應於內網估計也就是(2.8-5.6K)(MTU 1500)，這個大小對於某些大請求可能有點捉襟見肘。
在Linux 2.6.39以上或者某些RedHat維護的小版本中已經把CWND
增大到RFC 6928所規定的的10段，也就是在內網裡面估計14K左右(MTU 1500)。
Linux 新版本
/* TCP initial congestion window */
#define TCP_INIT_CWND 10
公眾號
關注筆者公眾號，獲取更多乾貨文章
總結
Linux提供了一大堆內參參數供我們進行調優，其默認設置的參數在很多情況下並不是最佳實踐，所以我們需要潛心研究，找到最適合當前環境的組合。
本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理
【其他文章推薦】
※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!
※網頁設計公司推薦不同的風格，搶佔消費者視覺第一線
※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整
※南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!
※教你寫出一流的銷售文案?
※超省錢租車方案
▲本田展示即將量產之燃料電池車 Plansee與歐洲IKTS合作，提供歐洲生產的電池極片的連接底板(Interconnector)，在目前三種常見的SOFC之中，供應難度最高的ESC系統，其反應工作溫度達到了800~900度，透過Plansee的Interconnector，克服了系統內的高溫所導致的零件劣化問題，使得電池使用壽命達到了四萬小時(十年)，現場也展示了30層800W的電池堆產品。 
▲Plansee 展示連接底板及其應用 Kolon發表了高性能燃料電池用膜加濕器，採用membrane spinning技術，著重在產品的成本下降，與系統耐久性表現。此外也展示了移動型電池模組，並且整合了加濕器、MBOP、DC充電迴路、以及冷卻系統等，目前已可結合在小型機器人裝置上。 
▲Kolon展示加濕器及其一體式應用 中國燃料電池也在近幾年積極發展，與其他新能源相比燃料電池牽涉到較多基礎科學的門檻限制，國內除了少數企業例如弗爾賽能源與新源動力稍具經驗外，大多數供應鏈在中國仍未完備，大多是軍用或者學術用途為主，但也因為國內供應鏈尚未成形，因此對於國外進口的燃料電池零組件採取較為開放態度。 北京浩運金能(Whole win)此次也參與展出，展示項目包括了高壓儲輕罐以及金屬吸附罐。高壓儲輕罐約為300kg/m3，為氣體形式儲存。而金屬吸附罐約為10kg/m3，其中的關鍵為稀土材料，同時在熱管理也是一大挑戰，為具有技術難度的儲存裝置。 
▲浩運金能展示各類儲輕裝置 
▲台灣碳能展示高散熱碳材料 台灣板式熱交換器廠高力展示了更新款式的重組器，可搭配PEMFC或者SOFC使用，本次展示的重組器透過觸媒材料使用的精進，輸出功率較過去1.5kW提高至2kW，體積則減少約1/3，高力所展示的新型重組器採用板式堆疊結構(已通過專利申請)，不減可幫助反應器量產，更可進而降低製造成本，降低整體燃料電池系統的價格。本次也展示了自主開發的熱交換器，具有熱回收的功能，透過客製化的設計，以滿足不同客戶的需求。 
▲高力展示重組器與熱交換器