NiFi術語
一、DataFlow Manager
DataFlow Manager(DFM)是NiFi用戶,具有添加,刪除和修改NiFi數據流組件的權限。
【資料圖】
二、FlowFile
FlowFile代表NiFi中的單個數據。FlowFile由屬性(attribute)和內容(content)組成。內容是FlowFile表示的數據,屬性由鍵值對組成,提供有關數據的信息或上下文的特征。所有FlowFiles都具有以下標準屬性:
uuid:一個通用唯一標識符,用于區分各個FlowFiles。
filename:在將數據存儲到磁盤或外部服務時可以使用的可讀文件名
path:在將數據存儲到磁盤或外部服務時可以使用的分層結構值,以便數據不存儲在單個目錄中。
三、Processor
處理器是NiFi組件,用于監聽傳入數據、從外部來源提取數據、將數據發布到外部來源、路由,轉換或從FlowFiles中提取信息。
四、Relationship
每個處理器都有零個或多個關系。這些關系指示如何對FlowFile進行處理:處理器處理完FlowFile后,它會將FlowFile路由(傳輸)到其中一個關系。DFM能夠將每一個關系連接到其他組件,以指定FlowFile應該在哪里進行下一步處理。
五、Connection
Connection可以將不同的Processor連接在一起創建自動的數據處理流程。
六、Controller Service
控制器服務是擴展點,在用戶界面中由DFM添加和配置后,將在NiFi啟動時啟動,并提供給其他組件(如處理器或其他控制器服務)需要的信息。
七、Reporting Task
報告任務在后臺運行,以提供有關NiFi實例中發生情況的統計報告。
八、Funnel
漏斗是一個NiFi組件,用于將來自多個Connections的數據合并到一個Connection中。
九、Process Group
當數據流變得復雜時,在更高,更抽象的層面上管理數據流是很有用的。NiFi允許將多個組件(如處理器)組合到一個Process group 中。可以通過界面查看組和操作組中的組件。
十、Port
一般用于遠程連接NiFi組使用。
十一、Remote Process Group
遠程組可以實現將數據從一個NiFi實例傳輸到另一個NIFI實例。雖然NiFi提供了許多不同的機制來將數據從一個系統傳輸到另一個系統,但是如果將數據傳輸到另一個NiFi實例,遠程進程組實現是最簡單方法。
十二、Bulletin(公告)
NiFi用戶界面提供了大量有關應用程序當前狀態的監視和反饋。除了每個組件"黃色三角形"的警告以外,每個組件運行有錯誤時還會報告錯誤公告,這個錯誤會顯示在處理器的右上角,以紅色圖標顯示。系統級公告顯示在頁面頂部附近的狀態欄上。使用鼠標懸停在該圖標上將提供一個工具提示,顯示公告相關信息。
十三、Template
DataFlow由許多可以重用的組件組成,NiFi允許DFM選擇DataFlow的一部分(或整個DataFlow)并創建模板,達到復用的目的。
十四、flow.xml.gz
用戶界面畫布的所有組件內容都實時寫入一個名為flow.xml.gz的文件,該文件默認位于$NIFI_HOME/conf目錄中。在畫布上進行的任何更改都會自動保存到此文件中。此外,NiFi在更新時會自動備份此文件,您可以使用這些備份來回滾配置,如果想要回滾,先停止NiFi,將flow.xml.gz替換為所需的備份,然后重新啟動NiFi。在集群環境中,停止整個NiFi集群,替換其中一個節點的flow.xml.gz,刪除自其他節點的flow.xml.gz,然后重啟集群,節點之間會自動同步"flow.xml.gz"備份文件。