瞬時響應：網(wǎng)站的高性能架構

什么叫高性能的網(wǎng)站？

深圳網(wǎng)站建設兩個網(wǎng)站性能架構設計方案：A方案和B方案，A方案在小于100個并發(fā)用戶訪問時，每個請求的響應時間是1秒，當并發(fā)請求達到200的時候，請求的響應時間將驟增到10秒。B方案不管是100個并發(fā)用戶訪問還是200個并發(fā)用戶訪問，每個請求的響應時間都差不多是1.5秒。哪個方案的性能好？如果老板說“我們要改善網(wǎng)站的性能”，他指的是什么？

同類型的兩個網(wǎng)站，X網(wǎng)站服務器平均每個請求的處理時間是500毫秒，Y網(wǎng)站服務器平均每個請求的處理時間是1000毫秒，為什么用戶卻反映Y網(wǎng)站的速度快呢？

網(wǎng)站性能是客觀的指標，可以具體體現(xiàn)到響應時間、吞吐量等技術指標，同時也是主觀的感受，而感受則是一種與具體參與者相關的微妙的東西，用戶的感受和工程師的感受不同，不同的用戶感受也不同。

4.1網(wǎng)站性能測試

性能測試是性能優(yōu)化的前提和基礎，也是性能優(yōu)化結果的檢查和度量標準。不同視
角下的網(wǎng)站性能有不同的標準，也有不同的優(yōu)化手段。

4.1.1不同視角下的網(wǎng)站性能

軟件工程師說到網(wǎng)站性能的時候，通常和用戶說的不一樣。

1.用戶視角的網(wǎng)站性能

從用戶角度，網(wǎng)站性能就是用戶在瀏覽器上直觀感受到的網(wǎng)站響應速度快還是慢。用戶感受到的時間，包括用戶計算機和網(wǎng)站服務器通信的時間、網(wǎng)站服務器處理的時間、用戶計算機瀏覽器構造請求解析響應數(shù)據(jù)的時間，如圖4.1所示。

不同計算機的性能差異，不同瀏覽器解析HTML速度的差異，不同網(wǎng)絡運營商提供的互聯(lián)網(wǎng)寬帶服務的差異，這些差異最終導致用戶感受到的響應延遲可能會遠遠大于網(wǎng)站服務器處理請求需要的時間。

也可以很大程度地改善用戶視角下的網(wǎng)站性能。

2.開發(fā)人員視角的網(wǎng)站性能
開發(fā)人員關注的主要是應用程序本身及其相關子系統(tǒng)的性能，包括響應延遲、系統(tǒng)吞吐量、并發(fā)處理能力、系統(tǒng)穩(wěn)定性等技術指標。主要的優(yōu)化手段有使用緩存加速數(shù)據(jù)讀取，使用集群提高吞吐能力，使用異步消息加快請求響應及實現(xiàn)削峰，使用代碼優(yōu)化手段改善程序性能。

3.運維人員視角的網(wǎng)站性能
運維人員更關注基礎設施性能和資源利用率，如網(wǎng)絡運營商的帶寬能力、服務器硬件的配置、數(shù)據(jù)中心網(wǎng)絡架構、服務器和網(wǎng)絡帶寬的資源利用率等。主要優(yōu)化手段有建設優(yōu)化骨干網(wǎng)、使用高性價比定制服務器、利用虛擬化技術優(yōu)化資源利用等。

4.1.2性能測試指標

不同視角下有不同的性能標準，不同的標準有不同的性能測試指標，從開發(fā)和測試人員的視角，網(wǎng)站性能測試的主要指標有響應時間、并發(fā)數(shù)、吞吐量、性能計數(shù)器等。

1.響應時間
指應用執(zhí)行一個操作需要的時間，包括從發(fā)出請求開始到收到最后響應數(shù)據(jù)所需要的時間。響應時間是系統(tǒng)最重要的性能指標，直觀地反映了系統(tǒng)的“快慢”。表4.1列出了一些常用的系統(tǒng)操作需要的響應時間。

測試程序通過模擬應用程序，記錄收到響應和發(fā)出請求之間的時間差來計算系統(tǒng)響應時問。但是記錄及獲取系統(tǒng)時間這個操作也需要花費一定的時間，如果測試目標操作本身需要花費的時間極少，比如幾微秒，那么測試程序就無法測試得到系統(tǒng)的響應時間。

實踐中通常采用的辦法是重復請求，比如一個請求操作重復執(zhí)行一萬次，測試一萬次執(zhí)行需要的總響應時間之和，然后除以一萬，得到單次請求的響應時間。

2.并發(fā)數(shù)
指系統(tǒng)能夠同時處理請求的數(shù)目，這個數(shù)字也反映了系統(tǒng)的負載特性。對于網(wǎng)站而言，并發(fā)數(shù)即網(wǎng)站并發(fā)用戶數(shù)，指同時提交請求的用戶數(shù)0。與網(wǎng)站并發(fā)用戶數(shù)相對應的還有網(wǎng)站在線用戶數(shù)（當前登錄網(wǎng)站的用戶總數(shù)）和網(wǎng)站系統(tǒng)用戶數(shù)（可能訪問系統(tǒng)的總用戶數(shù)，對多數(shù)網(wǎng)站而言就是注冊用戶數(shù))。其數(shù)量比較關系為：網(wǎng)站系統(tǒng)用戶數(shù)》網(wǎng)站在線用戶數(shù)》網(wǎng)站并發(fā)用戶數(shù)在網(wǎng)站產品設計初期，產品經(jīng)理和運營人員就需要規(guī)劃不同發(fā)展階段的網(wǎng)站系統(tǒng)用戶數(shù)，并以此為基礎，根據(jù)產品特性和運營手段，推算在線用戶數(shù)和并發(fā)用戶數(shù)。這些指標將成為系統(tǒng)非功能設計的重要依據(jù)。

現(xiàn)實中，經(jīng)常看到某些網(wǎng)站，特別是電商類網(wǎng)站，市場推廣人員興致勃勃地打廣告打折促銷，用戶興致勃勃地去搶購，結果活動剛一開始，就因為并發(fā)用戶數(shù)超過網(wǎng)站最大負載而響應緩慢，急性子的用戶不停刷新瀏覽器，導致系統(tǒng)并發(fā)數(shù)更高，最后以服務器系統(tǒng)崩潰，用戶瀏覽器顯示“Service is too busy”而告終。出現(xiàn)這種情況，有可能是網(wǎng)站技術準備不充分導致，也有可能是運營人員錯誤地評估并發(fā)用戶數(shù)導致。

測試程序通過多線程模擬并發(fā)用戶的辦法來測試系統(tǒng)的并發(fā)處理能力，為了真實模擬用戶行為，測試程序并不是啟動多線程然后不停地發(fā)送請求，而是在兩次請求之間加入一個隨機等待時間，這個時間被稱作思考時間。

3.吞吐量

指單位時間內系統(tǒng)處理的請求數(shù)量，體現(xiàn)系統(tǒng)的整體處理能力。對于網(wǎng)站，可以用“請求數(shù)/秒”或是“頁面數(shù)/秒”來衡最，也可以用“訪問人數(shù)/天”或是“處理的業(yè)務數(shù)/小時”等來衡量。TPS (每秒事務數(shù)）是吞吐量的一個常用量化指標，此外還有HPS (每秒HTTP請求數(shù)）、QPS (每秒查詢數(shù)）等。

在系統(tǒng)并發(fā)數(shù)由小逐漸增大的過程中（這個過程也伴隨著服務器系統(tǒng)資源消耗逐漸

增大），系統(tǒng)吞吐量先是逐漸增加，達到一個極限后，隨著并發(fā)數(shù)的增加反而下降，達到系統(tǒng)崩潰點后，系統(tǒng)資源耗盡，吞吐量為零。

而這個過程中，響應時間則是先保持小幅上升，到達吞吐量極限后，快速上升，到達系統(tǒng)崩潰點后，系統(tǒng)失去響應。系統(tǒng)吞吐量、系統(tǒng)并發(fā)數(shù)及響應時間之間的關系將在本章后面內容中介紹。

系統(tǒng)吞吐量和系統(tǒng)并發(fā)數(shù)，以及響應時間的關系可以形象地理解為高速公路的通行狀況：吞吐量是每天通過收費站的車輛數(shù)目（可以換算成收費站收取的高速費），并發(fā)數(shù)是高速公路上的正在行駛的車輛數(shù)0，響應時間是車速。車輛很少時，車速很快，但是收到的高速費也相應較少；隨著高速公路上車輛數(shù)目的增多，車速略受影響，但是收到的高速費增加很快；隨著車輛的繼續(xù)增加，車速變得越來越慢，高速公路越來越堵，收費不增反降；如果車流量繼續(xù)增加，超過某個極限后，任何偶然因素都會導致高速全部癱瘓，車走不動，費當然也收不著，而高速公路成了停車場（資源耗盡)。

網(wǎng)站性能優(yōu)化的目的，除了改善用戶體驗的響應時間，還要盡量提高系統(tǒng)吞吐量，最大限度利用服務器資源。

4.性能計數(shù)器
它是描述服務器或操作系統(tǒng)性能的一些數(shù)據(jù)指標。包括System Load、對象與線程數(shù)、內存使用、CPU使用、磁盤與網(wǎng)絡I/O等指標。這些指標也是系統(tǒng)監(jiān)控的重要參數(shù)，對這些指標設置報贊閾值，當監(jiān)控系統(tǒng)發(fā)現(xiàn)性能計數(shù)器超過閾值時，就向運維和開發(fā)人員報贅，及時發(fā)現(xiàn)處理系統(tǒng)異常。

System Load即系統(tǒng)負載，指當前正在被CPU執(zhí)行和等待被CPU執(zhí)行的進程數(shù)目總和，是反映系統(tǒng)忙閑程度的重要指標。多核CPU的情況下，完美情況是所有CPU都在使用，沒有進程在等待處理，所以Load的理想值是CPU的數(shù)目。當Load值低于CPU數(shù)目的時候，表示CPU有空閑，資源存在浪費；當Load值高于CPU數(shù)目的時候，表示進程在排隊等待CPU調度，表示系統(tǒng)資源不足，影響應用程序的執(zhí)行性能。在Linux系統(tǒng)中使用top命令查看，該值是三個浮點數(shù)，表示最近1分鐘，10分鐘，15分鐘的運行隊列平均進程數(shù)。