五個Taurus垃圾回收compactor優化方案,減少系統資源佔用

簡介

TaurusDB是一種基於MySQL的計算與存儲分離架構的雲原生數據庫,一個集群中包含多個存儲幾點,每個存儲節點包含多塊磁盤,每塊磁盤對應一個或者多個slicestore的內存邏輯結構來管理. 在taurus的slicestore中將數據划為多個slice進行管理,每個slice的大小是10G,Taurus架構圖如下:

TauruDB的存儲層支持append-only寫和隨機讀,最小數據存儲邏輯單元為plog,每個slice中包含多個plog,默認每個plog的大小為64M。slice中的plog主要用來存放page。Plog中存放中不同版本的page,有些老page已經過期,需要刪除;有些page是新page,需要被保留下來。

Compator主要用來清理plog中過期的page,把一個plog上所有沒有過期的page搬移到一個新plog,老的plog刪除掉。

Compactor的任務需要頻繁訪問內存中索引結構和讀寫plog中的page頁,這兩部分都屬於整個系統中關鍵資源,鎖競爭的壓力比較大,會直接影響性能,所以compactor的優化方案主要圍繞減少內存訪問和磁盤IO,需要考慮以下幾個點:

A、 選取的清理的plog集最優問題,每次回收需要搬運有效page,搬運的有效page數越少,磁盤IO就越小。如何每次調度都選取到垃圾量最大的一批plog;

B、 垃圾量是否分佈均勻,如何讓垃圾集中到一起,回收垃圾集中的plog,提高回收效率;

C、 回收周期是固定的,怎麼樣保證在每個周期內,都能取到最優plog集。

當前,我們提出了幾個可以有效減少page搬運數,從而達到減少IO目的的方案。

關鍵點1:全局調度

全局調度的方案增大plog垃圾量的排序範圍,從slice的範圍增大到slicestore的範圍。因為考慮到後面需要針對單個磁盤進行“加速回收”,所以不擴大到一個存儲節點的全局範圍。

全局調度方案按照slicestore來選取回收plog,先遍歷所有的slicestore,然後在slicestore內部進行垃圾量排序,選取最多的若干個plog進行回收;

優點:有效避免一個slicestore中由於垃圾分佈不均勻引起的plog的無效搬運,減少對plog的讀寫產生的IO;

缺點:排序範圍增大后,排序算法會增加CPU的消耗;

關鍵點2:排序算法優化

原始方案中在slice內部對plog按照垃圾量排序採用C++標準庫排序(std::sort),該算法內部基於快速排序、插入排序和堆排序實現。原始方案中每個slice中最多存有160個plog,小數據量的排序或許效率影響不大,但是一個slicestore中存儲成百上千的slice,排序算法的效率問題就值得關注。

Taurus設計了一種topN算法,能夠提升該場景下的效率。假設需要在n個元素中選取m個最大的元素,兩種算法的時間複雜度和空間複雜度:

C++標準庫排序時間複雜度為O(nlogn),空間複雜度為O(nlogn);

topN算法排序時間複雜度為O(nlogm),空間複雜度為O(1);

Compactor應用場景中,n和m相差幾個數量級,topN算法在時間和空間上都更具優勢。

優點:減少時間複雜度和空間複雜度;

關鍵點3:調度數優化

公共線程池分配給compactor的線程數是固定的,每個周期調度器生成一次任務。原始方案中compactor的每次生成的任務數由slice個數決定,會導致任務隊列中的任務數過多或者過少。過多的話會失去時效性,也就是說plog的垃圾量會隨着時間改變,如果在隊列等待執行的時間太長,可能就不是當前最高垃圾量的plog,同時一次挑選的plog個數太多,會增加算法的時間和空間複雜度;過少的話,compactor線程沒有跑滿,會導致垃圾回收速度降低。

調度數優化也是基於全局調度優化,調度策略只需要保證在一個調度周期內,任務隊列中任務數剛好滿足compactor線程執行。假設有8個slicestore,分配了24個執行線程,每個線程每個調度周期完成一個plog的回收,則每個調度周期每個slicestore只需要生成3個任務。

調度數優化即記錄公共線程池中正在執行和準備執行的任務數,跟據記錄決定本輪調度生成多少個回收任務,從而保證執行線程剛好夠用,且不多不少。

優點:保證垃圾回收速度,最優回收的plog集,有效的減少page的搬運量。

關鍵點4:冷熱分區優化

在數據庫系統中,數據的更新並不是相同頻率,一些數據頁更新或者寫入會更加頻繁(例如系統頁),這部分頁面被稱作熱頁,另外一些更新不頻繁的稱作冷頁。如果把冷頁和熱頁混合放到一起,就會導致更高的寫放大。舉個簡單的例子,假設有100個熱頁和10個冷頁,冷頁基本不更新但是每次垃圾回收,都需要重複把冷頁搬運一次。如果把冷頁單獨寫入一個plog,那麼在垃圾回收階段,就可以減少重複搬運這部分冷頁,達到減少IO放大的效果。

優點:提高垃圾回收的效率和速度。

缺點:需要額外的內存記錄熱度信息。

關鍵點5:磁盤逃生優化

為了後台線程比如備份、快照、垃圾回收、頁面回放等線程有足夠的磁盤空間運行,在磁盤容量使用到達一定閾值,會置Full標誌位,同時停止前台IO。在極端情況下,磁盤使用到閾值前台IO會出現斷崖式下跌為零:

為了避免在磁盤容量達到一定閾值之後前台IO完全停止,在磁盤使用率未達到閾值時,就應該有相應的處理機制。比如說在磁盤使用率未達閾值時,增加如下處理:

A、 降低前台IO,減少磁盤的壓力;

B、 加速垃圾回收,也就是TaurusDB中的compactor機制;

A點不涉及compactor的功能,所以本文先不涉及,下面主要介紹兩種加速機制:

1.修改寫IO優先級

Compactor作為後台線程,考慮到整個系統的效率,正常運行時plog寫IO優先級默認為low。在加速回收階段,plog的IO需要修改為high。

2.提高執行速度

前文可知,公共線程池為compactor分配固定數目執行線程,而且運行過程中只支持擴容不支持恢復。如果壓縮其他後台任務的執行線程,對整個系統的影響太大,量也不易控制。所以不考慮。

考慮到過程中不能擴容,那就初始化就擴容,通過控制調度任務數控制任務執行速度。例如,假設compactor的運行線程在正常場景下為4個,加速狀態下需要增加到8個。可以在公共線程池中先分配8個線程,在正常場景下,控制任務隊列為4個,另外4個線程處於wait狀態,只會佔用文件句柄,並不影響CPU。而在加速狀態下,控制任務隊列中的任務數為8,就可以實現上述的加速邏輯。

所以,提升寫IO的優先級能夠加速page的搬運,提升垃圾回收速度。通過控制調度任務數控制任務執行速度卻很難控制很精準,上下會有一定的小波動。

最後

以上提到的垃圾回收compactor優化方案中,磁盤逃生優化能夠處理磁盤容量緊急情況。目前根據本地測試,在500G的小數據集情況下,IO放大能減少到原來的1/6。系統資源佔用減少到原來的1/3。

 

點擊關注,第一時間了解華為雲新鮮技術~

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※想知道最厲害的網頁設計公司"嚨底家"!

※別再煩惱如何寫文案,掌握八大原則!

※產品缺大量曝光嗎?你需要的是一流包裝設計!

面向對象存儲框架:Obase快速入門

在項目中完成對象建模后,可以使用Obase來進行對象的管理(例如對象持久化),本篇教程將創建一個.NET Core控制台應用,來展示Obase的配置和對象的增刪改查操作。本篇教程旨在指引簡單入門。
本篇教程將以此對象模型展開

class Blog{
    +BlogId:int[文章Id]
    +Url:string[文章地址]
    +Post:sList<Post>[文章評論]
}

class Post{
    +PostId:int[評論Id]
    +Title:string[評論標題]
    +Content:string[評論內容]
    +Blog:Blog[關聯文章]
}

Blog "1"-right-"*"  Post
hide empty member

從NuGet安裝Obase

  • 在VS的NuGet包管理器中添加程序包源:http://nuget.suiyiyun.cn:8081/nuget
  • 在NuGet包管理器中選擇Obase進行安裝

項目搭建

  • 打開 Visual Studio
  • 單擊“創建新項目”
  • 選擇帶有 C# 標記的“控制台應用 (.NET Core)” ,然後單擊“下一步”
  • 輸入“ObaseTutorial” 作為名稱,然後單擊“創建”
  • 添加對freep.Obase.dll的引用

定義領域實體類

	/// <summary>
    /// 文章
    /// </summary>
    public class Blog
    {
        private int blogId;
        private string url;
        private List<Post> posts;

        /// <summary>
        /// 文章Id
        /// </summary>
        public int BlogId { get => blogId; set => blogId = value; }
        /// <summary>
        /// 文章地址
        /// </summary>
        public string Url { get => url; set => url = value; }
       /// <summary>
       /// 文章評論(注意:關聯引用屬性需要定義為virtual)
       /// </summary>
        public virtual List<Post> Posts { get => posts; set => posts = value; }
    }

   /// <summary>
    /// 文章評論
    /// </summary>
    public class Post
    {
        private int postId;
        private string title;
        private string content;
        private int blogId;
        private Blog blog;

        /// <summary>
        /// 評論Id
        /// </summary>
        public int PostId { get => postId; set => postId = value; }
        /// <summary>
        /// 評論標題
        /// </summary>
        public string Title { get => title; set => title = value; }
        /// <summary>
        /// 評論內容
        /// </summary>
        public string Content { get => content; set => content = value; }
        /// <summary>
        /// 文章Id
        /// </summary>
        public int BlogId { get => blogId; set => blogId = value; }
        /// <summary>
        /// 關聯文章(注意:關聯引用屬性需要定義為virtual)
        /// </summary>
        public virtual Blog Blog { get => blog; set => blog = value; }
    }

自定義對象上下文

Obase直接與應用程序進行交互的便是ObectContext(對象上下文),項目中可以根據具體情況定義一個或者多個繼承於ObjectContext的自定義對象上下文。

	using freep.Obase;
	using freep.Obase.ExecuteSql;
	using freep.Obase.Odm.Builder;

	/// <summary>
    /// 自定義對象上下文
    /// </summary>
    public class MyContext : ObjectContext
    {
        /// <summary>
        /// 構造函數
        /// </summary>
        public MyContext() : base("user=root;password=;server=localhost;database=ObaseTutorial;SslMode = none;port=3306;", true)
        {
        }
    }

注意:自定義對象上下文通過繼承父類的構造函數設置數據源連接字符串(此處為了演示方便,直接將連接字符串作為參數進行傳遞,實際項目中可以定義到配置文件中)。

配置對象模型

在對象數據模型生成之前,可以對數據源的類型進行設置,以及對象數據模型的配置,配置的類型包括實體類型,關聯類型,關聯引用,關聯端,屬性等的配置,本篇只展示最基本的實體類型,關聯類型,關聯引用的配置。

    /// <summary>
    /// 自定義對象上下文
    /// </summary>
    public class MyContext : ObjectContext
    {
		/// <summary>
        /// 在即將生成對象數據模型並註冊到對象上下文之前調用此方法
        /// </summary>
        /// <param name="modelBuilder">建模器</param>
        protected override void OnModelCreating(ModelBuilder modelBuilder)
        {
            //設置模型映射目標源的類型(默認不設置未SQLServer)
            modelBuilder.HasTargetSourceType(eDataSource.MySql);
            //配置對象數據模型
            this.ModelConfiguratoin(modelBuilder);
            base.OnModelCreating(modelBuilder);
        }
        
        /// <summary>
        /// 配置對象數據模型
        /// </summary>
        /// <param name="modelBuilder">建模器</param>
        protected virtual void ModelConfiguratoin(ModelBuilder modelBuilder)
        {
        	//配置實體型
            var blogCfg = modelBuilder.Entity<Blog>();
            //設置實體型的映射數據表
            blogCfg.ToTable("Blog");
            //設置實體型的標識屬性
            blogCfg.HasKeyAttribute(p => p.BlogId);
            //設置實體型的標識屬性為自增
            blogCfg.HasKeyIsSelfIncreased(true);

            //配置實體型
            var postCfg = modelBuilder.Entity<Post>();
            //設置實體型的映射數據表
            postCfg.ToTable("Post");
            //設置實體型的標識屬性
            postCfg.HasKeyAttribute(p => p.PostId);
            //設置實體型的標識屬性為自增
            postCfg.HasKeyIsSelfIncreased(true);

            //配置對象間隱式關聯類型
            var blogAssPostCfg = modelBuilder.Association<Blog, Post>();
            //設置關聯類型的映射數據表
            blogAssPostCfg.ToTable("Post");
            //設置關聯映射端1(參照方)的鍵屬性以及在關聯表中映射的字段
            blogAssPostCfg.AssociationEnd<Blog>("End1").HasMapping("BlogId", "BlogId");
            //設置關聯映射端2(被參照方)的鍵屬性以及在關聯表中映射的字段
            //注意:HasDefaultAsNew方法設置一個值,該值指示是否把關聯端對象默認視為新對象。當該屬性為true時,如果關聯端對象未被顯式附加到上下文,該對象將被視為新對象實施持久化。
            blogAssPostCfg.AssociationEnd<Post>("End2").HasMapping("PostId", "PostId").HasDefaultAsNew(true);

            //配置實體類型的關聯引用屬性
            //參數一:關聯引用屬性的名稱 參數二:關聯引用是否具有多重性
            //注:此處在配置Blog實體與Post實體關聯引用屬性Posts
            var blogRefPosts = blogCfg.AssociationReference<Blog, Post>("Posts", true);
            //設置關聯引用的本端
            blogRefPosts.HasLeftEnd("End1");
            //設置關聯引用的對端
            blogRefPosts.HasRightEnd("End2");
            //設置關聯引用屬性延遲加載
            blogRefPosts.HasEnableLazyLoading(true);

            //配置實體類型的關聯引用屬性
            //參數一:關聯引用屬性的名稱 參數二:關聯引用是否具有多重性
            //注:此處在配置Post實體與Blog實體關聯引用屬性Blog
            var postRefBlog = postCfg.AssociationReference<Blog, Post>("Blog", false);
            //設置關聯引用的本端(注意此處Post是作為本端的)
            postRefBlog.HasLeftEnd("End2");
            //設置關聯引用的對端
            postRefBlog.HasRightEnd("End1");
        }
	}

定義對象集

最終對對象的操作和訪問是通過對象上下文提供的對象集,此處我們定義文章和文章評論對象集:

    /// <summary>
    /// 自定義對象上下文
    /// </summary>
    public class MyContext : ObjectContext
    {
        /// <summary>
        /// 文章對象集
        /// </summary>
        public ObjectSet<Blog> Blogs { get; set; }

        /// <summary>
        /// 文章評論對象集  
        /// </summary>
        public ObjectSet<Post> Posts { get; set; }
    }

對象的創建、讀取、更新和刪除

實例化對象上下文
var myContext = new MyContext();
創建
//實例化對象
Blog blog = new Blog()
{
    Url = "https://www.yuque.com/geekfish/obase/getting-started",
    Posts = new List<Post>() {
        new Post (){  Title= "請問Obase怎麼安裝?", Content = "暫時只提供dll文件"}
    }
};
//將對象附加到對象上下文
myContext.Blogs.Attach(blog);
//將對象保存到數據源
myContext.SaveChanges();
讀取
using System.Linq;

//從持久化源查詢數據
Blog firstBlog = myContext.Blogs.OrderBy(p => p.Url).First();
//訪問關聯引用屬性
List<Post> posts = firstBlog.Posts;
更新
 //修改屬性
firstBlog.Url = "http://www.test.com/aa.html";
//將對象保存到數據源
myContext.SaveChanges();
刪除
//刪除指定對象
myContext.Blogs.Remove(firstBlog);
//根據條件刪除指定對象
myContext.Blogs.Delete(p => p.BlogId == 1);
//將對象保存到數據源(只有在保存后,數據才真實刪除)
myContext.SaveChanges();

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

※別再煩惱如何寫文案,掌握八大原則!

※教你寫出一流的銷售文案?

※超省錢租車方案

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

※產品缺大量曝光嗎?你需要的是一流包裝設計!

技術人員該如何站好最後一班崗?

挑槽、入槽、跳槽,堪稱每個技術人員必奏的三部曲,而這三部曲在職場中來回奏,便構成了程序人生。

鐵打的硬盤,流水的碼農,離職時見人品,作為技術人員該如何做交接,到底該如何站好最後一班崗呢?

 

1. 人品不夠,文檔來湊。

 

從上家公司離職已經 5 年多啦,記得離職大概沒多久,前技術同事微信告訴我:你寫的交接文檔,在會議上公開表揚,讓其它組作為參考。

當時個人感覺沒啥,就是寫了一堆文檔罷了,近期看到其它團隊交接的效果,那麼的不盡人意。而且秉着吐露真心,認真分享的原則,不妨把那些年寫過的交接文檔,逐一呈現給你,萬一能助你積攢人品、升職加薪呢?

1.1. 作為技術人員離職前的交接,編寫交接進展表為了誰?

離職前的交接,非常能展現人品,最重要的原則是:交接時一定要儘力而為。

盡量能打造屬於自己的交接計劃,按照計劃一步一步去落實,並把交接進展維護在 excel 中,如圖中的《交接進展表.xlsx》。

編寫交接進展表,一方面讓大家明確知曉交接的過程與進度,另一方面可供後人按此方式進行無腦式交接(前人栽樹後人乘涼)。

1.2. 作為技術人員離職前的交接,編寫XX系統_新手入門文檔為了誰?

離職前的交接,希望都能編寫新手入門之類的傻瓜式文檔,該文檔編寫是個一勞永逸的事情。

倘若後續接手你的是一個新同事,那麼就更有價值,按照入門文檔,一步一步就能上手開發、提測、上線,這樣的文檔誰不喜歡?

僅以上面截圖為例,新手入門文檔中包含了系統的簡要說明、功能說明以及功能模塊劃分,可以讓接手的同事對系統有一個全局的認識。

當然,最重要的是要告訴要接手的同事,如何去幹活?文檔中的應用目錄結構介紹以及如何開發、如何編譯、如何提測、如何上線,這幾大塊就顯得很重要。

另外,站在團隊培養人的成本而言,新手入門文檔,不僅僅是為了做好交接,倘若項目組一直就具備該文檔,能夠讓新手快速上手開發業務需求,大概率會降低團隊溝通、培訓的成本。

1.3. 作為技術人員離職前的交接,編寫XX系統_開發生產部署文檔為了誰?

離職前的交接,當接手的同事能夠按照入門文檔開發需求之後,更一步的就是要了解開發、測試、生產部署環境相關的信息。

 

僅以上面截圖為例,開發及生產部署文檔,也可以理解成環境相關的文檔。其主要目的是匯總開發、生產環境部署的機器、應用部署的位置及應用該如何訪問的關鍵信息,讓接手的同事,能夠清楚當需求開發完成時,應用應該如何部署。

1.4. 作為技術人員離職前的交接,編寫XX系統_業務支撐文檔為了誰?

離職前的交接,當接手的同事了解完如何入門開發、開發生產部署環境,接下來就要花大量的時間,去了解支撐的業務。

鑒於支撐的業務會較多,作為接手的同事梳理起來會比較頭疼,那麼一個清晰的文檔索引就很重要。

業務支撐文檔就是把 SVN 或者 Git 上的產品相關的資料,分門別類把路徑整理到文檔中,以便接手的同事查閱,以便進行快速深入。

1.5. 作為技術人員離職前的交接,編寫XX系統_經驗匯總文檔為了誰?

離職前的交接,最重要的是分享前車之鑒,對於要接手的同事而言少走彎路,避免再掉坑,絕對是一筆財富。

僅以上面截圖為例,系統的經驗匯總文檔,主要記錄平時該注意的事項、項目團隊中以往遇到那些坑,以及如何把坑填平的。

有了經驗匯總文檔,無論是接手的同事,還是新招的同事,再去做需求開發,相信同樣問題出錯的概率應該會大幅降低。

不過該經驗文檔離不開一個長期積累的過程,所以程序員要養成一個善於記錄的習慣。

 

2. 人品不夠,分享來湊。

 

離職前的交接,梳理文檔是一方面,隔三差五的組織分享也是必不可少的環節。

如上面截圖所示,主要包含生產部署相關以及業務支撐相關,目的就是把重要的信息,以培訓會議的形式再次同步給大家,讓團隊中的每個人都做到心中有數。

當然,鑒於分享會耗費大家的時間,所以要提前準備好要分享的重要信息,合理安排時間去完成分享。

 

3. 離職之後,保持藕斷絲連。

 

如果你之前負責的是重要項目,即使交接做的很成功,但是之前的老同事,偶爾還會給你打電話諮詢項目的事情,至少會持續一個月甚至更長。

那麼請不要悲傷、憤怒,換個角度去思考,前同事有問題能想到你,說明你在他們心中還是有分量的,或許他們認為你了解的比較透徹,知道問題的解決方案,能夠快速幫其解決問題。

 

今日留情面,他日好相見。

 

互聯網的圈子真的很小,說不定哪一天又在下一家公司相見啦,所以一定要留有情面,把事情交接好,把最後一班崗站好。

最後一班崗站好,大家心中都有你,有機會就會向你拋橄欖枝。

 

曾經的那些人兒,那些事兒。

 

橄欖枝一:發生在 3 年前,上家公司的技術總監去了知名網購平台,電話問我能不能把簡歷發來,是否願意來承擔一些事兒?當我接到電話時,瞬間詫異,技術總監都拿到我手機號啦。

橄欖枝二:發生在去年,上家公司的某位高級經理被挖去了新的公司,擔任 CTO 職位,由於業務擴展,多次問我是不是可以一起搞一搞?

 

估計很多人都接過橄欖枝,聊橄欖枝不是為了裝 B,只是想反思一下橄欖枝背後,是不是和之前交接的過程有點關係呢?

 

4. 鐵打的硬盤,流水的碼農。

 

作為技術人員請不要:這個我交接給他啦,你直接去找他吧!

作為技術人員請不要:惡意製造交接困難,讓交接難上加難!

作為技術人員請做到:站好最後一班崗,今日留情面,他日好相見。

 

本次主要分享了之前交接時的思路以及寫過的一些文檔,如果感覺有一絲參考價值,那請拿去在團隊中實踐,沉澱下來的都是財富。

好了,分享就到這裏,希望對你有幫助。一起聊技術、談業務、噴架構,少走彎路,不踩大坑。歡迎關注「一猿小講」,會持續輸出原創精彩分享,敬請期待!

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※別再煩惱如何寫文案,掌握八大原則!

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※超省錢租車方案

※教你寫出一流的銷售文案?

※網頁設計最專業,超強功能平台可客製化

※產品缺大量曝光嗎?你需要的是一流包裝設計!

Vue數據雙向綁定原理

Vue數據雙向綁定

Vue是通過數據劫持的方式來實現數據雙向數據綁定的,其中最核心的方法便是通過Object.defineProperty()來實現對屬性的劫持,該方法允許精確地添加或修改對象的屬性,對數據添加屬性描述符中的getter與setter實現劫持。

描述

運行一個Vue實例並將data打印,可以看到對象中對於msg有了get與set,通過他們就可以實現數據的劫持,從而進行數據的更新,在Vue中get與set是通過ES5的Object.defineProperty()方法定義的,該方法的具體功能可以查閱https://github.com/WindrunnerMax/EveryDay/blob/master/JavaScript/defineProperty.md。

<!DOCTYPE html>
<html>
<head>
    <title>數據綁定</title>
</head>
<body>
    <div id="app">
        <div>{{msg}}</div>
    </div> 
</body>
<script src="https://cdn.bootcss.com/vue/2.4.2/vue.js"></script>
<script type="text/javascript">
    var vm = new Vue({
        el: '#app',
        data: {
            msg: 'Data'
        },
        created: function() {
            console.log(this.$data); //{__ob__: Observer} 
        }
    })
</script>
</html>
/*
{__ob__: Observer}
    msg: "Data"
    __ob__: Observer {value: {…}, dep: Dep, vmCount: 1}
    get msg: ƒ reactiveGetter()
    set msg: ƒ reactiveSetter(newVal)
    __proto__: Object
*/

分析實現

Vue的雙向數據綁定,簡單點來說分為以下三個部分:

  • Observer: 這裏的主要工作是遞歸地監聽對象上的所有屬性,在屬性值改變的時候,觸發相應的Watcher。
  • Watcher: 觀察者,當監聽的數據值修改時,執行響應的回調函數,在Vue裏面的更新模板內容。
  • Dep: 鏈接Observer和Watcher的橋樑,每一個Observer對應一個Dep,它內部維護一個數組,保存與該Observer相關的Watcher。

根據上面的三部分實現一個功能非常簡單的Demo,實際Vue中的數據在頁面的更新是異步的,且存在大量優化,實際非常複雜。
首先實現Dep方法,這是鏈接Observer和Watcher的橋樑,簡單來說,就是一個監聽者模式的事件總線,負責接收watcher並保存。其中subscribers數組用以保存將要觸發的事件,addSub方法用以添加事件,notify方法用以觸發事件。

function __dep(){
    this.subscribers = [];
    this.addSub = function(watcher){
        if(__dep.target && !this.subscribers.includes(__dep.target) ) this.subscribers.push(watcher);
    }
    this.notifyAll = function(){
        this.subscribers.forEach( watcher => watcher.update());
    }
}

Observer方法就是將數據進行劫持,使用Object.defineProperty對屬性進行重定義,注意一個屬性描述符只能是數據描述符和存取描述符這兩者其中之一,不能同時是兩者,所以在這個小Demo中使用getter與setter操作的的是定義的value局部變量,主要是利用了let的塊級作用域定義value局部變量並利用閉包的原理實現了getter與setter操作value,對於每個數據綁定時都有一個自己的dep實例,利用這個總線來保存關於這個屬性的Watcher,並在set更新數據的時候觸發。

function __observe(obj){
    for(let item in obj){
        let dep = new __dep();
        let value = obj[item];
        if (Object.prototype.toString.call(value) === "[object Object]") __observe(value);
        Object.defineProperty(obj, item, {
            configurable: true,
            enumerable: true,
            get: function reactiveGetter() {
                if(__dep.target) dep.addSub(__dep.target);
                return value;
            },
            set: function reactiveSetter(newVal) {
                if (value === newVal) return value;
                value = newVal;
                dep.notifyAll();
            }
        });
    }
    return obj;
}

Watcher方法傳入一個回調函數,用以執行數據變更后的操作,一般是用來進行模板的渲染,update方法就是在數據變更后執行的方法,activeRun是首次進行綁定時執行的操作,關於這個操作中的__dep.target,他的主要目的是將執行回調函數相關的數據進行sub,例如在回調函數中用到了msg,那麼在執行這個activeRun的時候__dep.target就會指向this,然後執行fn()的時候會取得msg,此時就會觸發msg的get(),而get中會判斷這個__dep.target是不是空,此時這個__dep.target不為空,上文提到了每個屬性都會有一個自己的dep實例,此時這個__dep.target便加入自身實例的subscribers,在執行完之後,便將__dep.target設置為null,重複這個過程將所有的相關屬性與watcher進行了綁定,在相關屬性進行set時,就會觸發各個watcher的update然後執行渲染等操作。

function __watcher(fn){
    this.update = function(){
        fn();
    }
    
    this.activeRun = function(){
        __dep.target = this;
        fn();
        __dep.target = null;
    }
    this.activeRun();
}

代碼示例

這是上述的小Demo的代碼示例,其中上文沒有提到的__proxy函數主要是為了將vm.$data中的屬性直接代理到vm對象上,兩個watcher中第一個是為了打印並查看數據,第二個是之前做的一個非常簡單的模板引擎的渲染,為了演示數據變更使得頁面數據重新渲染,在這個Demo下打開控制台,輸入vm.msg = 11;即可觸發頁面的數據更改,也可以通過在40行添加一行console.log(dep);來查看每個屬性的dep綁定的watcher。

<!DOCTYPE html>
<html>
<head>
    <title>數據綁定</title>
</head>
<body>
    <div id="app">
        <div>{{msg}}</div>
        <div>{{date}}</div>
    </div> 
</body>
<script type="text/javascript">

    var Mvvm = function(config) {
        this.$el = config.el;
        this.__root = document.querySelector(this.$el);
        this.__originHTML = this.__root.innerHTML;

        function __dep(){
            this.subscribers = [];
            this.addSub = function(watcher){
                if(__dep.target && !this.subscribers.includes(__dep.target) ) this.subscribers.push(watcher);
            }
            this.notifyAll = function(){
                this.subscribers.forEach( watcher => watcher.update());
            }
        }


        function __observe(obj){
            for(let item in obj){
                let dep = new __dep();
                let value = obj[item];
                if (Object.prototype.toString.call(value) === "[object Object]") __observe(value);
                Object.defineProperty(obj, item, {
                    configurable: true,
                    enumerable: true,
                    get: function reactiveGetter() {
                        if(__dep.target) dep.addSub(__dep.target);
                        return value;
                    },
                    set: function reactiveSetter(newVal) {
                        if (value === newVal) return value;
                        value = newVal;
                        dep.notifyAll();
                    }
                });
            }
            return obj;
        }

        this.$data = __observe(config.data);

        function __proxy (target) {
            for(let item in target){
                Object.defineProperty(this, item, {
                    configurable: true,
                    enumerable: true,
                    get: function proxyGetter() {
                        return this.$data[item];
                    },
                    set: function proxySetter(newVal) {
                        this.$data[item] = newVal;
                    }
                });
            }
        }

        __proxy.call(this, config.data);

        function __watcher(fn){
            this.update = function(){
                fn();
            }
            
            this.activeRun = function(){
                __dep.target = this;
                fn();
                __dep.target = null;
            }
            this.activeRun();
        }

        new __watcher(() => {
            console.log(this.msg, this.date);
        })

        new __watcher(() => {
            var html = String(this.__originHTML||'').replace(/"/g,'\\"').replace(/\s+|\r|\t|\n/g, ' ')
            .replace(/\{\{(.)*?\}\}/g, function(value){ 
                return  value.replace("{{",'"+(').replace("}}",')+"');
            })
            html = `var targetHTML = "${html}";return targetHTML;`;
            var parsedHTML = new Function(...Object.keys(this.$data), html)(...Object.values(this.$data));
            this.__root.innerHTML = parsedHTML;
        })

    }

    var vm = new Mvvm({
        el: "#app",
        data: {
            msg: "1",
            date: new Date(),
            obj: {
                a: 1,
                b: 11
            }
        }
    })

</script>
</html>

每日一題

https://github.com/WindrunnerMax/EveryDay

參考

https://www.jianshu.com/p/255d4dec710a
https://www.jianshu.com/p/c8186e9e027b
https://www.cnblogs.com/wangjiachen666/p/9883916.html
https://blog.csdn.net/wangshu696/article/details/84570886
https://blog.csdn.net/qq_43051529/article/details/82877673
https://github.com/liutao/vue2.0-source/blob/master/%E5%8F%8C%E5%90%91%E6%95%B0%E6%8D%AE%E7%BB%91%E5%AE%9A.md

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※教你寫出一流的銷售文案?

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

※回頭車貨運收費標準

※別再煩惱如何寫文案,掌握八大原則!

※超省錢租車方案

※產品缺大量曝光嗎?你需要的是一流包裝設計!

曹工改bug:centos下,mongodb開機不能自啟動,systemctl、rc.local都試了,還是不行,要不要放棄?

問題背景

最近裝個centos 7.6的環境,其中,基礎環境包括,redis、nginx、mongodb、fastdfs、mysql等,其中,自啟動使用的是systemctl,其他幾個組件,都沒啥問題,唯獨,這個mongodb,是死活啟動不了。

但是,我這裏說的,不是啟動不了,如果直接在shell里敲:

systemctl start  mongod.service

是沒啥問題的,是可以啟動的。

mongod.service大致如下,各文件夾的權限也已經仔細檢查過,應該是沒毛病:

[Unit]
Description=High-performance, schema-free document-oriented database
After=network.target
Documentation=https://docs.mongodb.org/manual

[Service]
User=mongod
Group=mongod
Environment="OPTIONS=-f /etc/mongod.conf"
ExecStart=/usr/bin/mongod $OPTIONS
ExecStartPre=/usr/bin/mkdir -p /var/run/mongodb
ExecStartPre=/usr/bin/chown mongod:mongod /var/run/mongodb
ExecStartPre=/usr/bin/chmod 0755 /var/run/mongodb
PermissionsStartOnly=true
PIDFile=/var/run/mongodb/mongod.pid
Type=forking
# file size
LimitFSIZE=infinity
# cpu time
LimitCPU=infinity
# virtual memory size
LimitAS=infinity
# open files
LimitNOFILE=64000
# processes/threads
LimitNPROC=64000
# locked memory
LimitMEMLOCK=infinity
# total threads (user+kernel)
TasksMax=infinity
TasksAccounting=false
# Recommended limits for for mongod as specified in
# http://docs.mongodb.org/manual/reference/ulimit/#recommended-settings

[Install]
WantedBy=multi-user.target

後邊換成了rc.local方式:

/etc/rc.d/rc.local  

#!/bin/bash
/usr/bin/mongod --fork -f /etc/mongod.conf &

但是,依然不行。

這两天,同事也在斷斷續續在弄,大家手裡有其他事,這塊暫時放下了。

轉機:strace命令

我一般瀏覽器開的tab比較多,有個幾天前的tab,是關於strace的,我當時主要是想:找一個命令,可以監控某個進程的網絡請求。

本來可以用tcpdump,但是,這個不是針對某個進程的,只能通過端口過濾,一般情況下,用端口過濾也足夠了,但是,總是覺得不爽。

然後找到了這個鏈接:

https://askubuntu.com/questions/11709/how-can-i-capture-network-traffic-of-a-single-process

裏面提到了strace可以做到。試了下,確實完美解決了我的問題。

比如說,我可以attach到某個進程,然後調用進程的某個接口,讓該進程調用某個微服務,然後看看我們能不能抓到:

(看不清可在單獨tab查看,這個是java應用,向註冊中心eureka發送的心跳,可以發現,完美抓到了)

strace的使用

可參考我的這篇簡單介紹:

Linux下,如何監控某個進程到底向哪個地址發起了網絡調用

大家也可以直接在服務器上直接執行以下shell,查看幫助文檔:

yum install strace
man strace

其主要支持兩種方式,一種是直接使用strace來包裝某個命令,使用strace來啟動該命令;另一種,就是上面說的,attach到某個已經在運行中的進程。

然後,我想到,既然strace可以監控系統調用,那麼,監控下mongodb吧,這裏可以用strace來包裝命令,我試着把命令換成了如下的樣子:

strace -tt -s 10000 -o  mongo.txt /usr/bin/mongod --fork -f /etc/mongod.conf

這塊命令,分兩塊看。

strace -tt -s 10000  -o  mongo.txt 

這部分是strace的參數,

-tt 打印時間

-s 設置字符串的長度,否則具體內容显示不出來

-o 將結果輸出到文件

另外部分,就是mongo的命令了:

/usr/bin/mongod --fork  /etc/mongod.conf

比較正常情況下,和異常情況下的strace輸出日誌

在同事建議下,我們先直接在shell中執行了以下命令:

strace -tt -s 10000  -o  mongo.txt /usr/bin/mongod --fork -f /etc/mongod.conf

然後,得到了mongo.txt。這個是正常的文件。

然後,我們reboot了服務器,然後不清楚文件生成到哪裡了,直接find查找了一把,然後找到后,把這兩個文件,都存到了pc上,用beyond compare進行對比。

下面是對比結果:

建議大圖查看。

可以發現,有問題的文件里,在打開以下文件時,報了錯,提示沒有權限:

/sys/fs/cgroup/memory/memory.limit_in_bytes   EACCES (Permission denied)

然後,我們只是知道了,有這個現象,但不知道為啥,然後就開始了一頓漫無邊際的面向搜索引擎找問題。找了半天,沒啥收穫。

後邊我們就決定再去看看官網,看看官網有沒有說,怎麼才是正統的服務自啟動方式(已經快放棄了。。。)

柳暗花明

結果在官網的如下鏈接:

https://docs.mongodb.com/manual/tutorial/install-mongodb-on-red-hat/#install-mongodb-community-edition

看到如下一段話,說SELinux,默認不讓mongo訪問/sys/fs/cgroup:

然後我一看,這個目錄有點熟悉啊,上面報沒有權限的文件,不就這個目錄下嗎?

/sys/fs/cgroup/memory/memory.limit_in_bytes   EACCES (Permission denied)

知道原因就好說了,原來是SELinux,我們這邊比較暴力,直接把這個關閉了。

關閉方式:https://www.cnblogs.com/activiti/p/7552677.html

總結

在華為的時候,組裡的大佬們有一句話:辦法總比困難多。

那時感覺,這也太雞湯了。。。

我現在也有這個感覺,每次在快要放棄時,問題結果被解決了,有點意思。

另外一個感悟:方法比結果重要

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※超省錢租車方案

※別再煩惱如何寫文案,掌握八大原則!

※回頭車貨運收費標準

※教你寫出一流的銷售文案?

※產品缺大量曝光嗎?你需要的是一流包裝設計!

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

日再傳禽流感疫情 東香川市將撲殺4.8萬隻雞

摘錄自2020年11月08日中央通訊社日本報導

日本香川縣養雞場5日發生高致死率的H5N8高病原性禽流感疫情,正在撲殺場內約33萬隻雞,今天又傳出同縣另一處養雞場也發現H5高病原性禽流感,將撲殺場內約4萬8000隻雞。

專家研判病毒可能經由西伯利亞進入日本,現階段傳染給人類的可能性很低。由於短期內出現第2例禽流感疫情,縣府為避免疫情擴散,已將東香川市這處養雞場半徑3公里範圍,列為禁止移動雞隻與雞蛋的「移動限制區域」,並將半徑10公里內列為禁止出貨的「搬出限制區域」。

東香川市這處養雞場,距三豐市發生疫情養雞場約50公里,農林水產省今天(8日)已派遣專家小組前往東香川市,與地方政府就傳染途徑等進行詳細調查。

生物多樣性
國際新聞
香川縣
日本
H5N8
禽流感

本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※網頁設計公司推薦不同的風格,搶佔消費者視覺第一線

※Google地圖已可更新顯示潭子電動車充電站設置地點!!

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

※別再煩惱如何寫文案,掌握八大原則!

※網頁設計最專業,超強功能平台可客製化

築壩迫遷、鄰近斷層帶 寮國執意於湄公河興建境內最大水壩

環境資訊中心綜合外電;黃鈺婷 編譯;林大利 審校

本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※想知道最厲害的網頁設計公司"嚨底家"!

※別再煩惱如何寫文案,掌握八大原則!

※產品缺大量曝光嗎?你需要的是一流包裝設計!

日本首見 蝙蝠糞便病毒基因近似武漢肺炎病毒

摘錄自2020年11月7日中央社報導

日本東京大學等組成的研究團隊公布,從日本國內的蝙蝠糞便中,發現基因近似新型冠狀病毒的病毒,是日本首度從國內野生動物上發現。這次發現的冠狀病毒並不會傳染給人類。

日本放送協會(NHK)報導,專精獸醫學的東京大學研究所副教授村上晉等人組成的研究團隊,對外公布這項調查結果。研究團隊詳細調查7年前在日本國內洞窟採集到的「角菊頭蝠」(Rhinolophus cornutus)糞便中所含病毒基因時,發現跟新型冠狀病毒有81.5%一致。研究團隊透過實驗確認,這種冠狀病毒不會傳染給人類。

目前已知從中國的蝙蝠等身上,發現跟新型冠狀病毒基因逾95%一致的病毒,但日本研究團隊表示,這應是日本國內發現到跟新型冠狀病毒基因最接近的病毒。村上說,雖然冠狀病毒被認為只有極少部分具有危險,但也不能否定日本國內存在著能傳染給人類的種類,必須調查野生動物,盡速掌握實際狀態。

生物多樣性
國際新聞
日本
蝙蝠
冠狀病毒
武漢肺炎
動物與大環境變遷

本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

※別再煩惱如何寫文案,掌握八大原則!

※教你寫出一流的銷售文案?

※超省錢租車方案

※FB行銷專家,教你從零開始的技巧

美國綠色新政與新任總統拜登的氣候計畫

環境資訊中心綜合外電;姜唯 編譯;林大利 審校

本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※別再煩惱如何寫文案,掌握八大原則!

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※超省錢租車方案

※教你寫出一流的銷售文案?

※網頁設計最專業,超強功能平台可客製化

香港開闊原野鳥類數量跌7成 香港觀鳥會促政府多保護農地、近郊荒地

摘錄自2020年11月5日香港01報導

香港觀鳥會為了更了解香港的鳥類分布,與義工及浸會大學協力作出為期3年(2016至2019)的研究。研究中發現開闊原野雀鳥的分布量大跌7成,調查中的281種鳥類,發現繁殖季中有29種鳥類分布範圍縮減,而冬季則有31種,當中佔大多數的為開闊原野鳥類。包括一年四季棲息在香港的喜鵲分布範圍收窄高達6成,而喜歡在農地棲息的理氏鷚及山斑鳩,前者約下跌6成,後者下跌超過8成。反映開闊原野的環境遭到破壞。

香港觀鳥會指出,鳥類分布的改變能說明環境指標實況,現時的開闊原野如農地、低地草坡、近郊荒地等大多未有受被劃在郊野公園,亦不受法律保護。棲息在開闊原野的鳥類眾多,惟政府過往未有好好關注這些地方。反而以往較為側重保護一些森林和濕地,希望政府日後能多關注及保護農地及近郊荒地。

生物多樣性
國際新聞
香港
鳥類調查
鳥類保育

本站聲明:網站內容來源環境資訊中心https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※教你寫出一流的銷售文案?

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

※回頭車貨運收費標準

※別再煩惱如何寫文案,掌握八大原則!

※超省錢租車方案

※產品缺大量曝光嗎?你需要的是一流包裝設計!