在云計算中，虛擬化技術、分布式資源管理技術、數據存儲技術、網絡技術是最為關鍵的幾個基礎技術體系。其中，虛擬化作為底層最核心的技術之一，其在高可用、高性能、快速創建等方面的技術指標，甚至直接關系到云計算的商業模式能否成立。

　　虛擬化技術也分為技術流派，其中以 KVM、Xen、VMWare (Virtual Machine ware)等為主流。早在2013年，騰訊云基于對虛擬化技術未來發展方向的判斷，放棄當時的主流XEN虛擬化技術，在業界率先擁抱開源的KVM技術，并將其不斷演進。

　　近日，騰訊云虛擬化技術負責人陳立東，首次向外界詳細披露其在虛擬化技術上的技術演進路線。

　　虛擬化到底是什么?

　　簡單來說，虛擬化主要是指服務器資源的虛擬化，即在一臺物理機上為一個虛擬機構造一個完整的操作系統的運行環境，再通俗點說，就是“把一臺電腦虛擬成N臺電腦”。其中，虛擬化的資源包括 CPU、內存、網絡和存儲幾個部分。一般來說，在一個物理機上，通過虛擬化技術可以將多個完整的虛擬機以不同的形式售賣給不同的客戶，滿足客戶定制化的需求。

　　談到虛擬化技術，這其實并不是一個新鮮的詞匯，早在 60年代中期，IBM 就已經有了虛擬化技術。近十多年來，尤其是 2005年Intel 推出硬件輔助虛擬化，也就是在 CPU 指令上支持虛擬化，才讓這個技術有了一次重大的發展。

　　最初，虛擬化技術的主流是劍橋大學開發的 Xen。陳立東透露，2010 年騰訊做開放平臺時，采用的也是 Xen。之后推出騰訊云公有云產品時，騰訊云選擇了 KVM。之所以做出這個選擇，陳立東表示，主要的原因是 KVM 技術是一個完全開源且輕量級的技術，內核對其的支持也做得比較好，是后續技術發展的方向。

　　為了解虛擬化技術的作用與意義，我們從一張騰訊的云分布式調度系統 VStation 的整體架構圖中來看。VStation 作為騰訊云計算操作系統，承擔了資源調度、請求排隊的工作。

　　虛擬化則負責為每臺 CVM(云服務器(Cloud Virtual Machine))構造出完整的 PC 運行環境，包括 CPU、內存、網絡、存儲各個部分資源。主要包含 libvirt、qemu、kvm 三部分：

　　qemu與kvm構成hypervisor，負責CVM資源的虛擬化，在物理機上，虛擬出一個個完整的PC環境;

　　libvirt負責提供統一對外的接口，用于管理hypervisor。

　　圖1. 整體架構

　　騰訊云虛擬化技術演進路程

　　據陳立東介紹，在騰訊云的大規模云計算實踐過程中，他們遇到一些虛擬化方面的技術挑戰，也在不斷解決問題的過程中，走出了一條自己的虛擬化技術路線圖。

　　挑戰一：如何提高云服務器的可用性?

　　第一個挑戰體現在可用性方面。隨著目前硬件發展的趨勢，服務器的集成度越來越高，單臺物理機故障對云服務器的影響面越來越大。如何在云上規避物理服務器宕機對虛擬化的影響，是騰訊云面臨的第一個挑戰。

　　陳立東提到，在騰訊云規模達到一定規模時遇到了一個問題，當時某個游戲客戶投訴騰訊云云服務器故障率高，云服務器突然宕機，導致游戲玩家掉線，客戶甚至因此考慮遷移到其他云。這給了陳立東團隊非常大的壓力。

　　通過統計服務器常見的故障原因后，發現在服務器故障中最主要的故障原因是內存故障。當內存發生多 bit UCE錯誤時，就會導致整個物理機宕機，一臺物理機上所有的虛擬機都會隨之宕機。

　　然而，問題是內存硬件上本身存在失效率，低概率的發生多 bit UCE 錯誤是無法完全避免的。為了提升云服務器的可用性，騰訊云采用了多種優化方案，這里介紹其中兩個利器：內存高級 RAS 特性MCA recovery 和熱遷移。

　　首先是 MCA recovery。為了解決內存故障率的問題，騰訊云聯合了 CPU 廠商，包括 Intel，針對騰訊云單獨定制 CPU。在定制過程中，騰訊云要求服務器廠商為騰訊云提供一些更高端的 CPU 特性，其中一個叫做 MCA Recovery。

　　之前，如果發生了內存UCE錯誤，原有的服務器就會直接宕機，但在支持了 MCA Recovery后再發生內存錯誤時，服務器不會宕機，只會發出警告內存有問題，再由上層決定解決如何處理。

　　騰訊云是首家在數據中心中大規模使用MCA Recovery技術的云廠商，剛開始進展并不順利。啟用了MCA Recovery后，大量的UCE錯誤并沒有成功規避。當時服務器ODM廠商，Linux 內核對MCA Recovery支持并不完善。

　　針對硬件廠商缺陷導致的規避失敗案例，騰訊云開發故障注入工具，作為服務器 BIOS BMC 廠商引入標準。針對故障注入進行長時間壓力測試，確保硬件廠商都按照騰訊云的標準完成硬件引入。

　　同時，騰訊云還發現了多個 CPU架構優化的案例，通過修改 Linux 內核軟件盡量避免觸發，大大降低了不可恢復異常的觸發概率。同時，騰訊云在CPU廠商的下一代CPU中進行改進優化。

　　對于Linux內核對MCA Recovery的支持，騰訊云也針對性對內核的內存管理模塊和KVM進行優化。

　　相關的優化，在騰訊云基于Intel Skylake及其以后代次的云服務器上都以全面落地。

　　除了 Intel，騰訊云還聯合 AMD 落地多項內存RAS 特性，結合其他多項硬件可用性優化措施，提升騰訊云AMD云服務器SA2實例的可用性。

　　目前，騰訊云成為首家在數據中心中大規模使用MCA Recovery技術的公司，通過一系列的軟硬件結合優化，騰訊云 CVM 云服務器通過 MCA Recovery 已規避大量的內存 UCE 錯誤，大大降低了內存故障率，將騰訊云云服務器的可用性做到了業界領先。

　　第二個技術點是熱遷移技術。

　　支持了 MCA Recovery等高級RAS特性 后，騰訊云當物理服務器出現硬件隱患時，雖然不會宕機，但是已經存在隱患了，需要盡快下線維修。這個時候正在運行的云服務器怎么辦?

　　針對這個問題，騰訊云用熱遷移技術來解決，可以把云服務器從一臺物理機無感知遷移另一臺，當一臺物理機存在硬件隱患時，把云服務器遷移到另一臺正常的物理機上。因此，通過熱遷移技術，騰訊云將云服務器的可用性提升到高于物理機本身的可用性。

　　熱遷移示意圖

　　在大規模落地時，熱遷移的難度體現在兩個方面，一個是熱遷移的成功率，如果熱遷移所以來的服務器負載過高，則熱遷移可能失敗，為了提高熱遷移的成功率，騰訊云使用了包括RDMA 在內的多個熱遷移優化，將熱遷移成功率從原來的 70% 提升至 99%;第二個難點在于盡量減少熱遷移的停機時間，目前騰訊云可實現在 50 毫秒以內的熱遷移停機時間，基本上可以達到無感知的水平。

　　挑戰二：如何降低虛擬化帶來的損耗?

　　第二個挑戰是，虛擬化在同一個物理機虛擬多個虛擬機帶來靈活性，但同時虛擬化本身會有一些性能損耗，業務希望虛擬化技術要保證性能與物理機相匹配，盡量減少虛擬化的損耗，這也是虛擬化技術面臨的很大的挑戰。

　　在降低虛擬化性能損耗上，陳立東以騰訊內部自研上云的過程舉例。項目啟動不久，微信同事在測試時反饋其中一個模塊性能下降超過 30%。為此，騰訊云投入了多個資深開發工程師進行分析，共做了 7 輪優化，最終將 KVM 的虛擬化損耗降低到 5%。

　　針對 Linux 子機場景，騰訊云也做了一些與 KVM 虛擬化本身結合性的性能優化，對外推出了騰訊的 Linux 的發行版 Tencent Linux，目前已經開源。

　　另外，騰訊云還針對 Windows 子機進行了大量優化，逆向分析Windows內核邏輯，專門優化了 KVM 對 Windows內核的支持，大大提升了 Windows 云服務器在騰訊云上的性能。

　　挑戰三：如何提升虛擬化的穩定性?

　　第三點挑戰是在虛擬化后，包括 CPU 和內存都多出一個虛擬化層。業務希望虛擬化需要和物理機一樣的穩定性，滿足業務對響應延時的極致追求。

　　除了一些性能測試工具跑分的峰值性能，騰訊云更注重性能的穩定性和業務的實際體現。

　　陳立東提到，Linux本身的內核度算法是CFS，但是分析了以后，Linux本身的CFS調度算法并不適合完全滿足虛擬化場景的需求，因此騰訊云針對虛擬化場景，自研了一套Linux內核的調度的算法，在內部稱之為VMF。這套算法的核心思想要保證虛擬機的任務要優先執行。通過該技術，騰訊云將虛擬化場景下的調度延時做到和物理機持平的穩定性。

　　挑戰四：如何快速交付?

　　第四點就是交付的效率，使用云后，客戶希望盡可能快速地獲得大量計算資源，如何為客戶提供秒級交付體驗也是一個挑戰。

　　早期騰訊云的客戶反饋GPU機型，購買后啟動比較慢，需要等幾分鐘后才能啟動，影響使用體驗。虛擬機啟動的時候，提前分配并鎖住全部的虛擬機內存，而虛擬機內存越大，啟動就越慢。這給用戶帶來非常糟糕的體驗，當時也是所有云廠商都存在的一個問題。

　　在優化前，一臺700G規格的一個虛擬化啟動，在之前啟動需要大概270秒，優化以后，將其啟動時間縮短了22秒，大大提升了用戶的體驗，騰訊云將相關的優化補丁已經貢獻到了社區。

　　輕量級虛擬化是未來發展方向

　　從騰訊虛擬化技術的演進路線中，可以看到虛擬化技術當前存在的一些技術難點與熱點，希望對云計算開發者帶來一定的借鑒意義。

　　最后，陳立東還談到了虛擬化技術未來發展的趨勢和方向。他認為，虛擬化將來一個很大的發展方向就是輕量級虛擬化，而要實現這一點需要要把虛擬化層做得盡量簡單，從而降低損耗。

　　“總的來說，要實現把物理資源進行拆分的情況下，盡量減少虛擬化的損耗，這對整個底層的挑戰還是非常大的。”陳立東指出。

　　(全文完)

　　責任編輯:張華