服務器突然不正常，假死，無法連接ssh，端口都通，ip也通。進入kvm可以看到：

INFO:taskblockedformorethan120seconds

或者

info:taskkwoker/8:0:51blockedformorethan120secondsecho0?proc/sys/kernel/bung_task_timeout_secsdisablesthismessage

強制重啟以后機器立即恢復，查看日志和監控，發現服務器負載很高，但是CPU利用率不高。出問題的時候IO超級低，服務器經常夯住，網站打不開。

2、問題原因：

關鍵信息是“hung_task_timeout_secs”，通過搜索，發現這是linux kernel的一個bug。摘抄一段：

BydefaultLinuxusesupto40%oftheavailablememoryforfilesystemcaching.AfterthismarkhasbeenreachedthefilesystemflushesalloutstandingdatatodiskcausingallfollowingIOsgoingsynchronous.Forflushingoutthisdatatodiskthisthereisatimelimitof120secondsbydefault.InthecaseheretheIOsubsystemisnotfastenoughtoflushthedatawithing120seconds.Thisespeciallyhappensonsystemswithalotofmemory.Theproblemissolvedinlaterkernels。

一般情況下，Linux會把可用內存的40%的空間作為文件系統的緩存cache。

默認情況下， Linux會最多使用40%的可用內存作為文件系統緩存。當超過這個閾值后，文件系統會把將緩存中的內存全部寫入磁盤， 導致后續的IO請求都是同步的。

將緩存寫入磁盤時，有一個默認120秒的超時時間。 出現上面的問題的原因是IO子系統的處理速度不夠快，不能在120秒將緩存中的數據全部寫入磁盤。

IO系統響應緩慢，導致越來越多的請求堆積，最終系統內存全部被占用，導致系統失去響應。

3、解決方法：

縮小文件系統緩存大小

降低緩存占內存的比例，比如由40%降到10%，這樣的話需要同步到磁盤上的數據量會變小，IO寫時間縮短，會相對比較平穩。

文件系統緩存的大小是由內核參數vm.dirty_ratio 和 vm.dirty_backgroud_ratio控制決定的。

vm.dirty_background_ratio指定當文件系統緩存臟頁數量達到系統內存百分之多少時（如5%）就會觸發pdflush/flush/kdmflush等后臺回寫進程運行，將一定緩存的臟頁異步地刷入外存。

vm.dirty_ratio則指定了當文件系統緩存臟頁數量達到系統內存百分之多少時（如10%），系統不得不開始處理緩存臟頁（因為此時臟頁數量已經比較多，為了避免數據丟失需要將一定臟頁刷入外存），在此過程中很多應用進程可能會因為系統轉而處理文件IO而阻塞。

通常情況下，vm.dirty_ratio的值要大于vm.dirty_background_ratio的值。

根據應用程序情況，對vm.dirty_ratio，vm.dirty_background_ratio兩個參數進行調優設置。 例如，推薦如下設置：

sysctl-wvm.dirty_ratio=10sysctl-wvm.dirty_background_ratio=5sysctl-p

如果系統永久生效，修改/etc/sysctl.conf文件。加入如下兩行：

編輯#vi/etc/sysctl.confvm.dirty_background_ratio=5vm.dirty_ratio=10重啟#sysctl-p

重啟系統生效。問題解決。