安徽三鳥科技有限公司，歡迎您！
銷售熱線：0551-65655075 24小(xiǎo)時售後
産品中(zhōng)心-安徽雲迪科技信息有限公司最新動态，讓您更多的了解雲迪

日志(zhì)服務

來源：雲迪科技日期：2019-06-29 11:03:07

本快速入門在Windows環境下(xià)，演示配置Logtail采集阿裏雲ECS日志(zhì)并投遞日志(zhì)到MaxCompute的基本流程。本快速入門涉及采集日志(zhì)、實時查詢、投遞日志(zhì)等日志(zhì)服務基本功能，是日志(zhì)服務的入門級操作指南(nán)。

日志(zhì)服務（Log Service）是阿裏雲提供的、針對海量日志(zhì)收集、存儲、查詢的平台化服務。您可以使用日志(zhì)服務來集中(zhōng)收集服務集群中(zhōng)所有的日志(zhì)，并支持實時消費(fèi)，實時查詢和投遞到OSS、MaxCompute等其他雲産品做進一(yī)步分(fēn)析。

日志(zhì)服務操作流程

圖 1. 操作流程


視頻(pín)介紹：阿裏雲日志(zhì)服務快速指南(nán)

步驟1 準備開(kāi)始

  1. 開(kāi)通日志(zhì)服務。

    使用注冊成功的阿裏雲賬号登錄 日志(zhì)服務産品頁，單擊 管理控制台。

  2. （可選） 創建密鑰對 。
    說明 如您需要通過SDK寫入數據，請創建主賬号或子賬号密鑰對。通過Logtail采集日志(zhì)不需要創建密鑰對。

    在日志(zhì)服務管理控制台，将鼠标移至頁面右上角您的用戶名上方，在顯示的菜單中(zhōng)單擊 AccessKey管理。創建密鑰對（AccessKey），确認狀态已設置爲啓用。



  3. 創建項目。

    當您第一(yī)次進入日志(zhì)服務管理控制台，系統會提示您創建一(yī)個項目（Project）。您也可以通過單擊右上角的創建Project進行操作。

    創建Project需要指定Project名稱與所屬區域，請根據您的實際需求進行創建。



  4. 創建日志(zhì)庫。

    在Project創建完成的同時，系統會提示您創建一(yī)個日志(zhì)庫（以下(xià)稱爲Logstore）。您也可以進入該Project，通過單擊右上角的創建進行操作。創建Logstore需要指定如何使用這些日志(zhì)。



步驟2 在ECS上安裝Logtail客戶端

  1. 判斷網絡環境。

    請參考選擇網絡，根據您當前的網絡環境和ECS所處地域選擇合适的Logtail安裝方式。

  2. 下(xià)載安裝包。

    下(xià)載Logtail安裝包到雲服務器ECS。單擊此處下(xià)載Windows安裝包。

  3. 安裝Logtail。

    将安裝包解壓縮到當前目錄，進入目錄logtail_installer。以管理員(yuán)身份運行cmd，并執行安裝命令.\logtail_installer.exe install cn_hangzhou進行安裝。

    說明 根據網絡環境和日志(zhì)服務所處Region的不同，您需要根據具體(tǐ)網絡部署執行對應的安裝命令。本文檔以華東1（杭州）的ECS經典網絡爲例，其他區域請參見安裝Logtail（Windows系統）。

    更多信息請參考安裝Logtail（Windows系統）和 安裝Logtail（Linux系統）。

步驟3 配置數據接入向導

在日志(zhì)服務管理控制台單擊目标Project進入Logstore列表。單擊目标Logstore對應的數據接入向導圖标。您也可以單擊管理，在Logtail配置列表中(zhōng)創建配置。

Logtail配置流程包含以下(xià)操作步驟：選擇數據類型、數據源設置、查詢分(fēn)析&可視化和投遞 & ETL。後兩個步驟爲可選步驟。

日志(zhì)服務支持多種雲産品、自建軟件和自定義數據的日志(zhì)收集。本文以采集文本日志(zhì)爲例，詳細步驟及說明請參考采集文本日志(zhì)。

  1. 選擇數據類型。

    單擊自定義數據中(zhōng)的文本文件。

  2. 數據源設置。
    • 指定配置名稱和日志(zhì)路徑。

      請按照頁面提示填寫配置名稱、日志(zhì)路徑和日志(zhì)文件名稱。文件名稱可以填寫完整名稱，也支持通配符模式匹配。

    • 指定日志(zhì)收集模式。
      日志(zhì)服務目前支持極簡模式、分(fēn)隔符模式、JSON模式、完整正則模式等方式解析日志(zhì)。本文以分(fēn)隔符模式爲例，關于收集模式的詳細說明請參考采集文本日志(zhì)和配置解析。
      圖 2. 設置數據源


    • 填寫日志(zhì)樣例。

      指定日志(zhì)收集模式爲分(fēn)隔符模式或完整正則模式時，需要您填寫日志(zhì)樣例。日志(zhì)服務支持在配置Logtail的同時，根據您選擇的配置對日志(zhì)樣例嘗試解析。如果解析失敗，需要您修改分(fēn)隔符配置或者正則表達式。請将需要解析的日志(zhì)樣例填寫到對應位置。

    • 指定分(fēn)隔符和引用符。

      您可以指定分(fēn)隔符爲制表符、豎線、空格，也可以自定義分(fēn)隔符。請根據您的日志(zhì)格式選擇正确的分(fēn)隔符，否則日志(zhì)數據會解析失敗。

    • 指定日志(zhì)抽取結果中(zhōng)的Key。
      填寫日志(zhì)樣例并選擇分(fēn)隔符後，日志(zhì)服務會按照您選擇的分(fēn)隔符提取日志(zhì)字段，并将其定義爲Value，您需要分(fēn)别爲Value指定對應的Key。
      圖 3. 日志(zhì)内容抽取結果


    • 酌情選擇高級選項。

      一(yī)般情況下(xià)，請保持高級選項的默認配置。如您有其他需求，請參考采集文本日志(zhì)中(zhōng)的高級配置相關說明。

    • 應用到機器組。

      如果您之前沒有創建過機器組，請先根據頁面提示創建機器組，然後将Logtail配置應用到機器組。

    完成以上步驟後，日志(zhì)服務即刻開(kāi)始收集阿裏雲ECS上的日志(zhì)，您可以通過控制台和API/SDK對已收集的日志(zhì)進行實時消費(fèi)。

    如您需要對日志(zhì)内容進行查詢、分(fēn)析或投遞消費(fèi)，單擊下(xià)一(yī)步。

    說明
    • Logtail配置推送生(shēng)效時間最長需要3分(fēn)鍾，請耐心等待。
    • Logtail收集錯誤可以參見診斷采集錯誤。
  3. 查詢分(fēn)析&可視化。

    完成采集配置後，您的ECS日志(zhì)正在被實時采集，如您需要對采集到的日志(zhì)進行查詢分(fēn)析，則需要執行本步驟，在數據采集向導中(zhōng)配置索引。

    您也可以在Logstore列表界面，單擊查詢進入查詢界面，并單擊右上角的開(kāi)啓索引，在右側彈出菜單中(zhōng)配置索引。

    • 全文索引屬性

      您可以選擇開(kāi)啓全文索引屬性，并确認是否啓用大(dà)小(xiǎo)寫敏感、确認分(fēn)詞符内容。

    • 字段索引屬性

      單擊鍵名稱右側的加号新增一(yī)行，填寫鍵名稱、類型、别名、大(dà)小(xiǎo)寫敏感、分(fēn)詞符、選擇是否開(kāi)啓統計。

    說明
    1. 全文索引屬性和字段索引屬性必須至少啓用一(yī)種。同時啓用時，以字段索引屬性爲準。
    2. 索引類型爲long/double時，大(dà)小(xiǎo)寫敏感和分(fēn)詞符屬性無效。
    3. 如何設置索引請參考開(kāi)啓并配置索引。個别字段爲日志(zhì)服務保留字段，請知(zhī)悉。
    4. 如需使用Nginx模闆或消息服務模闆，請在查詢界面的查詢分(fēn)析屬性中(zhōng)配置。
    圖 4. 查詢分(fēn)析

    設置查詢分(fēn)析之後，如果還需要配置日志(zhì)投遞或ETL，請單擊下(xià)一(yī)步。

  4. 投遞 & ETL。

    日志(zhì)服務不僅支持對多種來源、格式的數據進行批量采集和管理維護，還支持将日志(zhì)數據投遞到OSS、MaxCompute等雲産品進行計算分(fēn)析。另外(wài)，日志(zhì)服務提供流式的全托管數據加工(gōng)服務，依托于函數計算服務，即ETL。通過配置一(yī)個ETL Job，日志(zhì)服務将定時獲取數據更新并觸發函數執行：增量消費(fèi)日志(zhì)服務Logstore的數據，在函數裏完成自定義加工(gōng)任務。用于數據加工(gōng)的函數可以是日志(zhì)服務提供的模闆或者用戶自定義函數。

    如您需要投遞日志(zhì)到OSS、MaxCompute，或者配置ETL，請單擊對應的開(kāi)啓投遞按鈕。

    本文檔以投遞MaxCompute爲例。爲把日志(zhì)服務内的日志(zhì)投遞到MaxCompute，您需要首先準備好相應的MaxCompute環境。

    • 準備步驟
      1. 開(kāi)通MaxCompute服務。您需要在阿裏雲管理控制台上啓用MaxCompute服務。
      2. 創建存儲投遞日志(zhì)的MaxCompute表。請參考 MaxCompute了解表的結構和相關注意事項。
    • 操作步驟
      開(kāi)啓投遞後跳轉至LogHub —— 數據投遞頁面，在該頁面需要配置投遞大(dà)數據計算服務 MaxCompute（原 ODPS）的相關内容。
      圖 5. 開(kāi)啓投遞


      說明 __source__、__time__、__topic__、__extract_others__和__partition_time__是日志(zhì)服務的系統保留字段，建議使用。對于映射配置的限制詳情請參見通過日志(zhì)服務投遞日志(zhì)到MaxCompute。

      填寫完成後，單擊确認即可開(kāi)始投遞。

查詢日志(zhì)

分(fēn)析在步驟3 配置數據接入向導中(zhōng)配置了索引，可以對采集到的日志(zhì)數據進行實時查詢與SQL分(fēn)析。

請返回至Logstore列表，單擊查詢進入查詢界面。輸入關鍵字、Topic或者查詢分(fēn)析語句，并設定日志(zhì)時間範圍、單擊查詢/分(fēn)析來查詢日志(zhì)，詳細說明請參考查詢日志(zhì)。

另外(wài)，日志(zhì)服務支持上下(xià)文查詢、快速查詢、快速分(fēn)析等查詢功能，還支持通過SQL語句獲取多種格式的分(fēn)析圖表、通過儀表盤自制數據分(fēn)析大(dà)盤等多種方式的可視化分(fēn)析手段，更多功能請參考其他功能。

例如，查詢指定時間段的PV，并以表格形式表示。