解Bug之路-記一次JVM堆外內存泄露Bug的查找

前言

JVM的堆外內存泄露的定位一直是個比較棘手的問題。此次的Bug查找從堆內內存的泄露反推出堆外內存，同時對物理內存的使用做了定量的分析，從而實錘了Bug的源頭。筆者將此Bug分析的過程寫成博客，以饗讀者。
由於物理內存定量分析部分用到了linux kernel虛擬內存管理的知識，讀者如果有興趣了解請看ulk3(《深入理解linux內核第三版》)

內存泄露Bug現場

一個線上穩定運行了三年的系統，從物理機遷移到docker環境后，運行了一段時間，突然被監控系統發出了某些實例不可用的報警。所幸有負載均衡，可以自動下掉節點，如下圖所示:

登錄到對應機器上后，發現由於內存佔用太大，觸發OOM，然後被linux系統本身給kill了。

應急措施

緊急在出問題的實例上再次啟動應用，啟動后，內存佔用正常，一切Okay。

奇怪現象

當前設置的最大堆內存是1792M，如下所示:

-Xmx1792m -Xms1792m -Xmn900m -XX:PermSi
ze=256m -XX:MaxPermSize=256m -server -Xss512k 

查看操作系統層面的監控，發現內存佔用情況如下圖所示:

上圖藍色的線表示總的內存使用量，發現一直漲到了4G后，超出了系統限制。
很明顯，有堆外內存泄露了。

查找線索

gc日誌

一般出現內存泄露，筆者立馬想到的就是查看當時的gc日誌。
本身應用所採用框架會定時打印出對應的gc日誌，遂查看，發現gc日誌一切正常。對應日誌如下:

查看了當天的所有gc日誌，發現內存始終會回落到170M左右，並無明顯的增加。要知道JVM進程本身佔用的內存可是接近4G(加上其它進程,例如日誌進程就已經到4G了)，進一步確認是堆外內存導致。

排查代碼

打開線上服務對應對應代碼，查了一圈，發現沒有任何地方顯式利用堆外內存，其沒有依賴任何額外的native方法。關於網絡IO的代碼也是託管給Tomcat，很明顯，作為一個全世界廣泛流行的Web服務器，Tomcat不大可能有堆外內存泄露。

進一步查找

由於在代碼層面沒有發現堆外內存的痕迹，那就繼續找些其它的信息，希望能發現蛛絲馬跡。

Dump出JVM的Heap堆

由於線上出問題的Server已經被kill，還好有其它幾台，登上去發現它們也 佔用了很大的堆外內存，只是還沒有到觸發OOM的臨界點而已。於是就趕緊用jmap dump了兩台機器中應用JVM的堆情況，這兩台留做現場保留不動，然後將其它機器迅速重啟，以防同時被OOM導致服務不可用。
使用如下命令dump:

jmap -dump:format=b，file=heap.bin [pid]

使用MAT分析Heap文件

挑了一個heap文件進行分析，堆的使用情況如下圖所示:

一共用了200多M，和之前gc文件打印出來的170M相差不大，遠遠沒有到4G的程度。
不得不說MAT是個非常好用的工具，它可以提示你可能內存泄露的點:

這個cachedBnsClient類有12452個實例，佔用了整個堆的61.92%。
查看了另一個heap文件，發現也是同樣的情況。這個地方肯定有內存泄露，但是也佔用了130多M，和4G相差甚遠。

查看對應的代碼

系統中大部分對於CachedBnsClient的調用，都是通過註解Autowired的，這部分實例數很少。
唯一頻繁產生此類實例的代碼如下所示:

@Override
    public void fun() {
            BnsClient bnsClient = new CachedBnsClient();
          // do something
    		return  ;
	}

此CachedBnsClient僅僅在方法體內使用，並沒有逃逸到外面，再看此類本身

public class CachedBnsClient   {
    private ConcurrentHashMap<String， List<String>> authCache = new ConcurrentHashMap<String， List<String>>();
    private ConcurrentHashMap<String， List<URI>> validUriCache = new ConcurrentHashMap<String， List<URI>>();
    private ConcurrentHashMap<String， List<URI>> uriCache = new ConcurrentHashMap<String， List<URI>>();
	......
}

沒有任何static變量，同時也沒有往任何全局變量註冊自身。換言之，在類的成員(Member)中，是不可能出現內存泄露的。
當時只粗略的過了一過成員變量，回過頭來細想，還是漏了不少地方的。

更多信息

由於代碼排查下來，感覺這塊不應該出現內存泄露(但是事實確是如此的打臉)。這個類也沒有顯式用到堆外內存，而且只佔了130M，和4G比起來微不足道，還是先去追查主要矛盾再說。

使用jstack dump線程信息

現場信息越多，越能找出蛛絲馬跡。先用jstack把線程信息dump下來看下。
這一看，立馬發現了不同，除了正常的IO線程以及框架本身的一些守護線程外，竟然還多出來了12563多個線程。

"Thread-5" daemon prio=10 tid=0x00007fb79426e000 nid=0x7346 waiting on condition [0x00007fb7b5678000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
	at java.lang.Thread.sleep(Native Method)
	at com.xxxxx.CachedBnsClient$1.run(CachedBnsClient.java:62)

而且這些正好是運行再CachedBnsClient的run方法上面！這些特定線程的數量正好是12452個，和cachedBnsClient數量一致!

再次check對應代碼

原來剛才看CachedBnsClient代碼的時候遺漏掉了一個關鍵的點!

    public CachedBnsClient(BnsClient client) {
        super();
        this.backendClient = client;
        new Thread() {
            @Override
            public void run() {
                for (; ; ) {
                    refreshCache();
                    try {
                        Thread.sleep(60 * 1000);
                    } catch (InterruptedException e) {
                        logger.error("出錯"， e);
                    }
                }
            }
            ......
        }.start();
    }

這段代碼是CachedBnsClient的構造函數，其在裏面創建了一個無限循環的線程，每隔60s啟動一次刷新一下裏面的緩存!

找到關鍵點

在看到12452個等待在CachedBnsClient.run的業務的一瞬間筆者就意識到，肯定是這邊的線程導致對外內存泄露了。下面就是根據線程大小計算其泄露內存量是不是確實能夠引起OOM了。

發現內存計算對不上

由於我們這邊設置的Xss是512K，即一個線程棧大小是512K，而由於線程共享其它MM單元(線程本地內存是是現在線程棧上的)，所以實際線程堆外內存佔用數量也是512K。進行如下計算:

12563 * 512K = 6331M = 6.3G

整個環境一共4G，加上JVM堆內存1.8G(1792M)，已經明顯的超過了4G。

(6.3G + 1.8G)=8.1G > 4G

如果按照此計算，應用應用早就被OOM了。

怎麼回事呢？

為了解決這個問題，筆者又思考了好久。如下所示:

Java線程底層實現

JVM的線程在linux上底層是調用NPTL(Native Posix Thread Library)來創建的，一個JVM線程就對應linux的lwp(輕量級進程，也是進程，只不過共享了mm_struct，用來實現線程)，一個thread.start就相當於do_fork了一把。
其中，我們在JVM啟動時候設置了-Xss=512K(即線程棧大小)，這512K中然後有8K是必須使用的，這8K是由進程的內核棧和thread_info公用的，放在兩塊連續的物理頁框上。如下圖所示:

眾所周知，一個進程(包括lwp)包括內核棧和用戶棧，內核棧+thread_info用了8K，那麼用戶態的棧可用內存就是:

512K-8K=504K

如下圖所示:

Linux實際物理內存映射

事實上linux對物理內存的使用非常的摳門，一開始只是分配了虛擬內存的線性區，並沒有分配實際的物理內存，只有推到最後使用的時候才分配具體的物理內存，即所謂的請求調頁。如下圖所示:

查看smaps進程內存使用信息

使用如下命令，查看

cat /proc/[pid]/smaps > smaps.txt

實際物理內存使用信息，如下所示:

7fa69a6d1000-7fa69a74f000 rwxp 00000000 00:00 0 
Size:                504 kB
Rss:                  92 kB
Pss:                  92 kB
Shared_Clean:          0 kB
Shared_Dirty:          0 kB
Private_Clean:         0 kB
Private_Dirty:        92 kB
Referenced:           92 kB
Anonymous:            92 kB
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB
MMUPageSize:           4 kB

7fa69a7d3000-7fa69a851000 rwxp 00000000 00:00 0 
Size:                504 kB
Rss:                 152 kB
Pss:                 152 kB
Shared_Clean:          0 kB
Shared_Dirty:          0 kB
Private_Clean:         0 kB
Private_Dirty:       152 kB
Referenced:          152 kB
Anonymous:           152 kB
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB
MMUPageSize:           4 kB

搜索下504KB，正好是12563個，對了12563個線程，其中Rss表示實際物理內存(含共享庫)92KB，Pss表示實際物理內存(按比例共享庫)92KB(由於沒有共享庫，所以Rss==Pss)，以第一個7fa69a6d1000-7fa69a74f000線性區來看，其映射了92KB的空間，第二個映射了152KB的空間。如下圖所示:

挑出符合條件（即size是504K）的幾十組看了下，基本都在92K-152K之間，再加上內核棧8K

(92+152)/2+8K=130K，由於是估算，取整為128K，即反映此應用平均線程棧大小。

注意，實際內存有波動的原因是由於環境不同，從而走了不同的分支，導致棧上的增長不同。

重新進行內存計算

JVM一開始申請了

-Xmx1792m -Xms1792m

即1.8G的堆內內存，這裡是即時分配，一開始就用物理頁框填充。
12563個線程，每個線程棧平均大小128K，即:

128K * 12563=1570M=1.5G的對外內存

取個整數128K，就能反映出平均水平。再拿這個128K * 12563 =1570M = 1.5G，加上JVM的1.8G，就已經達到了3.3G，再加上kernel和日誌傳輸進程等使用的內存數量，確實已經接近了4G，這樣內存就對應上了！(注:用於定量內存計算的環境是一台內存用量將近4G，但還沒OOM的機器)

為什麼在物理機上沒有應用Down機

筆者登錄了原來物理機，應用還在跑，發現其同樣有堆外內存泄露的現象，其物理內存使用已經達到了5個多G!幸好物理機內存很大，而且此應用發布還比較頻繁，所以沒有被OOM。
Dump了物理機上應用的線程，

一共有28737個線程，其中28626個線程等待在CachedBnsClient上。 

同樣用smaps查看進程實際內存信息，其平均大小依舊為

128K，因為是同一應用的原因

繼續進行物理內存計算

1.8+(28737 * 128k)/1024K =(3.6+1.8)=5.4G

進一步驗證了我們的推理。

這麼多線程應用為什麼沒有卡頓

因為基本所有的線程都睡眠在

 Thread.sleep(60 * 1000);//一次睡眠60s

上。所以僅僅佔用了內存，實際佔用的CPU時間很少。

總結

查找Bug的時候，現場信息越多越好，同時定位Bug必須要有實質性的證據。例如內存泄露就要用你推測出的模型進行定量分析。在定量和實際對不上的時候，深挖下去，你會發現不一樣的風景!

公眾號

關注筆者公眾號，獲取更多乾貨文章:

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※網頁設計公司推薦不同的風格，搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

※南投搬家公司費用,距離,噸數怎麼算?達人教你簡易估價知識!

※教你寫出一流的銷售文案?

※超省錢租車方案

※回頭車貨運收費標準

老實說，現在我還是覺得自己選擇是正確的。GL8對於我來說，用於家用的時候，可以說是“好幫手”，用於商務的時候也是很給足我面子。每逢過年過節，都有親戚朋友來借我的GL8，出門去個自駕。(順便讓我的老款GL8空間亮相一下，見下圖)在這裏可以給想買GL8的朋友一些建議，對於新款的GL8，我這老車主有話要說：一、外在方面：宜商宜家以前還覺得買GL8太商務，但是現在看新款GL8，其設計宜商宜家都挺適合的，宜商的話，和豪華車沒什麼區別，甚至功能層面更實用，分分鐘給足你面子。

引言

本人是GL8車主，兩年前買的，當大家在一直追逐於SUV的時候，我選擇了MpV，一款能給我足夠的空間享受的愛車。GL8一次也沒給我打過臉，這次大學同學聚會更是如此。當我開車把大家送到酒店時，大家開始聊起開什麼車的話題，同學里有開BMW 5，也有開奧迪A4L，不過發現有很大部分人和我一樣選擇了7座車，漢蘭達、奧德賽、艾力紳、大眾夏朗等等，大家結婚生子甚至有些已經生了二胎后，都處於上有老下有小的階段，7座車正好符合了我們這群人的用車需求。

奧德賽 夏朗 艾力紳 漢蘭達

這是我的愛車——2014款的豪華商務旗艦版GL8（順便露一下臉）

從談話中，總結了我們這群7座車主同學們對於7座的共同訴求：（請叫我雷鋒，拿去不謝）

1. 乘坐空間大——滿足日常用車需要，典型的“421家庭”出行方便，甚至連家裡的寵物狗帶進來都沒問題。

2. 乘坐感要夠舒適——第二排空間足夠舒適，比起轎車或者兩廂車乘坐的人要舒服。

3. 儲物空間要大——很多車上沒辦法放進來的物品都能塞得下，甚至是自行車。

滿意的點總是那麼的相似，而吐槽的點確實各不相同，彷彿“車車都有一本難念的經“。（為了這文章，同學們紛紛發來的圖片，只供觀看，不許外傳。）

奧德賽車主說：我的奧德賽座椅空間還不錯，家裡用用完全篤定，開出去也夠掙面子。就是儲物空間讓我有點受不了，一輛如此大的MpV居然設計得這麼不人性化，就比如第二排吧，商務座椅挺舒服，但卻連一個杯架都沒有。還有就是后懸太硬，有幾次去外地經過路況差的地方顛簸挺大的，坐後排的人抱怨不是很舒服。隔音也一般，車子開稍快些會有點吵。

艾力紳車主說：我的艾力紳在儲物格的設計方面還好，二、三排空間還算過得去。但油箱太小，大塊頭耗油快，經常去加油站排隊加油有點苦逼。沒有電動尾門，不過後來我自己改裝了。另外，平時接小孩上下學挺方便的，二三排過道還有點小，尤其是三排進出不是很方便。我家小孩已經不是第一次跟我抱怨這個點，現在每次出趟遠門，都要考慮誰坐第三排的位置。

漢蘭達車主說：你們都沒我的苦逼，我的第三排，8成時間都是放倒，用來當儲物格。當初買車的時候就沒注意到，2-3-2結構的座椅，每次家人要坐到第三排的時候，都要把第2排座椅放倒才能爬進去，每次爸媽要坐進去的時候都費好大勁，老母的腿腳不好還是略折騰。麻煩也就算了，我有時候還要考慮安全問題。三排後面就是后擋風玻璃，我每次一踩剎車就會不自覺地看后視鏡，怕一不小心追尾，家人坐第三排直接成肉靶子。你們說，我這跟買個5座的有什麼區別。

奧德賽車主說：說到放東西我還有話要說，我家小寶貝3周歲，為了乘車安全我買了個兒童安全座椅，平時就鎖在二排，帶寶貝去公園的時候就直接坐上去。不過上周，客戶從北京飛過來，領導派我去機場接，我那安全座椅事先忘記拿下來了，結果到了發現來了一票人，我把安全座椅拆下來招呼客戶坐進去，卻發現後備箱根本塞不下，那叫一個尷尬啊，最後只能強行放三排，大家擠一擠了。

大眾夏朗車主（女）說：這有啥尷尬的，有次我和我老公出去，還帶着我們家那小泰迪，一開始給我抱着，後來大概是看到隔壁車的小泰迪激動了，一個乘我不注意，直接竄到第三排去，還開始亂跳抓椅子，那時候在高架上，我中間有排擋過不去，也沒辦法開車門，真是心疼死了。

艾力紳車主說：你們的問題都小事，最重要的是我們家經常一家出遊，坐滿人後，後排放的行李很多，經常後備箱是不夠位置放的，都要放車內，我是欲哭無淚啊！

這同學會聚的，都快成為一個七座車吐槽大會了，身為GL8車主的我，當他們問為我的時候，我只能笑而不語，他們說的這些問題，我都很少遇到。我只能說同學們說的這些問題，在我買車的時候都考慮過，在萬眾排除后，我選擇GL8。老實說，現在我還是覺得自己選擇是正確的。

GL8對於我來說，用於家用的時候，可以說是“好幫手”，用於商務的時候也是很給足我面子。每逢過年過節，都有親戚朋友來借我的GL8，出門去個自駕。(順便讓我的老款GL8空間亮相一下，見下圖)

在這裏可以給想買GL8的朋友一些建議，對於新款的GL8，我這老車主有話要說：

一、外在方面：宜商宜家

以前還覺得買GL8太商務，但是現在看新款GL8，其設計宜商宜家都挺適合的，宜商的話，和豪華車沒什麼區別，甚至功能層面更實用，分分鐘給足你面子。宜家主要是升級了很多，空間大，座椅舒適型高，乘坐舒服。

（全新GL8）

二、內在領域：大而舒適

重要的事情要再總結一遍：

1. 要顛覆一下大家對7座的刻板印象，不是僅僅有7個座位就可以稱作7座車了，還要每個坐在座位上的人坐得都舒服。全新GL8不單單在車內空間設計上下足功夫，據說座椅也升級了，具有腰托、腿托、椅背角度等電動調節功能，無論是小孩還是老人都能通過調節其功能，選擇最適合自己的坐姿。另外，座椅還配備了加熱、通風、按摩、扶手調節及側翼六向可調航空頭枕，據了解，很多老一輩對這配備贊不絕口，都說再也不用擔心長途顛簸路段，有了全新GL8，長途坐車再也不是事。

2. 坐滿7人的前提下，還要能放下東西，要不出門自駕時，人去到，東西沒帶齊，也挺苦逼的。全新GL8應該是7座車裡，為數不多能同時滿足這兩個需求的車型。具不少試駕員表示，平常春節個老家、出門來個自駕，後備箱放個自行車、兒童座椅、28寸的旅行箱等等都沒問題。

3. 另外，通過性強，座位之間能方便車內乘坐人員走動。這個點從我的同學吐槽裏面，是很多同級別車型所沒有的。具實測全新GL8第二排座椅下部中間的寬度有約450px，這個寬度一般成年人側身是可以自由穿行的。可能單這個點，就可以完爆其他競品車型。

4. 方便長輩小孩上下車以及人性化的第三排設計。全新GL8在這點也很人性化，底盤不會太高，車高合適，老人小孩上下車都可以說“so easy”。值得表揚的還有第三排座椅坐墊高度比其他車型要優化不少，這樣如果是老人小孩坐在第三排，也不會覺得好像整個人好像窩在裏面，很不舒服。另外，第三排還配備了中央扶手，高度也合適，這也是相對老款做的提升，大大提升第三排乘坐舒適度。

5. 全車人的安全性。確實，出現像上面同學說到的，買了7座只能當5座開，有點尷尬。這個點在全新GL8上也表現的挺好。除了第三排與后擋風玻璃間的距離大，全新GL8還配備了主被動安全、智慧安全系統及其他提高駕駛安全性的配備，另外，全車共配備了8安全氣囊。這些配置對於全車人的安全方面無疑是提供了全面的保護。

扯了這麼多，我承認我是有私心的，我就是想找到GL8組織，讓更多GL8車主一起體驗這款車。有機會還能組個團，大家一起開GL8集體出去自駕。本站聲明:網站內容來源於http://www.auto6s.com/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※為什麼 USB CONNECTOR 是電子產業重要的元件?

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※台北網頁設計公司全省服務真心推薦

※想知道最厲害的網頁設計公司"嚨底家"!

※推薦評價好的iphone維修中心

※網頁設計最專業,超強功能平台可客製化

※別再煩惱如何寫文案,掌握八大原則!