一、什么是數據標注

首(shou)先談(tan)(tan)(tan)談(tan)(tan)(tan)什么(me)(me)是(shi)數(shu)據(ju)(ju)標(biao)注(zhu)(zhu)(zhu)。數(shu)據(ju)(ju)標(biao)注(zhu)(zhu)(zhu)有(you)許(xu)多類(lei)型(xing)(xing)，如(ru)分(fen)(fen)類(lei)、畫框、注(zhu)(zhu)(zhu)釋、標(biao)記等等，我(wo)們(men)會在下面(mian)詳談(tan)(tan)(tan)。要(yao)理(li)(li)解數(shu)據(ju)(ju)標(biao)注(zhu)(zhu)(zhu)，得(de)(de)先理(li)(li)解AI其實是(shi)部分(fen)(fen)替代人的(de)(de)(de)(de)(de)(de)認(ren)(ren)(ren)知功能(neng)(neng)。回想(xiang)一(yi)(yi)下我(wo)們(men)是(shi)如(ru)何學習的(de)(de)(de)(de)(de)(de)，例(li)如(ru)我(wo)們(men)學習認(ren)(ren)(ren)識(shi)蘋(pin)(pin)(pin)(pin)果(guo)(guo)，那么(me)(me)就(jiu)需要(yao)有(you)人拿(na)(na)著(zhu)一(yi)(yi)個(ge)(ge)(ge)蘋(pin)(pin)(pin)(pin)果(guo)(guo)到(dao)(dao)你(ni)(ni)面(mian)前(qian)告(gao)訴你(ni)(ni)，這(zhe)(zhe)是(shi)一(yi)(yi)個(ge)(ge)(ge)蘋(pin)(pin)(pin)(pin)果(guo)(guo)。然(ran)(ran)后(hou)以(yi)后(hou)你(ni)(ni)遇到(dao)(dao)了(le)(le)蘋(pin)(pin)(pin)(pin)果(guo)(guo)，你(ni)(ni)才知道這(zhe)(zhe)玩(wan)意(yi)兒叫做“蘋(pin)(pin)(pin)(pin)果(guo)(guo)”。類(lei)比機(ji)器(qi)學習，我(wo)們(men)要(yao)教他認(ren)(ren)(ren)識(shi)一(yi)(yi)個(ge)(ge)(ge)蘋(pin)(pin)(pin)(pin)果(guo)(guo)，你(ni)(ni)直接給它一(yi)(yi)張蘋(pin)(pin)(pin)(pin)果(guo)(guo)的(de)(de)(de)(de)(de)(de)圖片，它是(shi)完全不知道這(zhe)(zhe)是(shi)個(ge)(ge)(ge)啥玩(wan)意(yi)的(de)(de)(de)(de)(de)(de)。我(wo)們(men)得(de)(de)先有(you)蘋(pin)(pin)(pin)(pin)果(guo)(guo)的(de)(de)(de)(de)(de)(de)圖片，上面(mian)標(biao)注(zhu)(zhu)(zhu)著(zhu)“蘋(pin)(pin)(pin)(pin)果(guo)(guo)”兩(liang)個(ge)(ge)(ge)字，然(ran)(ran)后(hou)機(ji)器(qi)通過學習了(le)(le)大量(liang)的(de)(de)(de)(de)(de)(de)圖片中(zhong)的(de)(de)(de)(de)(de)(de)特征，這(zhe)(zhe)時候再給機(ji)器(qi)任意(yi)一(yi)(yi)張蘋(pin)(pin)(pin)(pin)果(guo)(guo)的(de)(de)(de)(de)(de)(de)圖片，它就(jiu)能(neng)(neng)認(ren)(ren)(ren)出來了(le)(le)。這(zhe)(zhe)邊可以(yi)順帶提一(yi)(yi)下訓(xun)練(lian)集(ji)(ji)和測試(shi)集(ji)(ji)的(de)(de)(de)(de)(de)(de)概念。訓(xun)練(lian)集(ji)(ji)和測試(shi)集(ji)(ji)都(dou)是(shi)標(biao)注(zhu)(zhu)(zhu)過的(de)(de)(de)(de)(de)(de)數(shu)據(ju)(ju)，還(huan)是(shi)以(yi)蘋(pin)(pin)(pin)(pin)果(guo)(guo)為例(li)子，假設我(wo)們(men)有(you)1000張標(biao)注(zhu)(zhu)(zhu)著(zhu)“蘋(pin)(pin)(pin)(pin)果(guo)(guo)”的(de)(de)(de)(de)(de)(de)圖片，那么(me)(me)我(wo)們(men)可以(yi)拿(na)(na)900漲(zhang)作為訓(xun)練(lian)集(ji)(ji)，100張作為測試(shi)集(ji)(ji)。機(ji)器(qi)從900張蘋(pin)(pin)(pin)(pin)果(guo)(guo)的(de)(de)(de)(de)(de)(de)圖片中(zhong)學習得(de)(de)到(dao)(dao)一(yi)(yi)個(ge)(ge)(ge)模型(xing)(xing)，然(ran)(ran)后(hou)我(wo)們(men)將剩下的(de)(de)(de)(de)(de)(de)100張機(ji)器(qi)沒有(you)見過的(de)(de)(de)(de)(de)(de)圖片去給它識(shi)別，然(ran)(ran)后(hou)我(wo)們(men)就(jiu)能(neng)(neng)夠得(de)(de)到(dao)(dao)這(zhe)(zhe)個(ge)(ge)(ge)模型(xing)(xing)的(de)(de)(de)(de)(de)(de)準確率了(le)(le)。想(xiang)想(xiang)我(wo)們(men)上學的(de)(de)(de)(de)(de)(de)時候，考試(shi)的(de)(de)(de)(de)(de)(de)內容總(zong)是(shi)不會和我(wo)們(men)平時的(de)(de)(de)(de)(de)(de)作業一(yi)(yi)樣，也(ye)只有(you)這(zhe)(zhe)樣才能(neng)(neng)測試(shi)出學習的(de)(de)(de)(de)(de)(de)真(zhen)正(zheng)效(xiao)果(guo)(guo)，這(zhe)(zhe)樣就(jiu)不難(nan)理(li)(li)解為什么(me)(me)要(yao)劃(hua)分(fen)(fen)一(yi)(yi)個(ge)(ge)(ge)測試(shi)集(ji)(ji)了(le)(le)。

我(wo)們知道(dao)機器學習(xi)(xi)(xi)分為(wei)有(you)監(jian)(jian)督學習(xi)(xi)(xi)和無(wu)監(jian)(jian)督學習(xi)(xi)(xi)。無(wu)監(jian)(jian)督學習(xi)(xi)(xi)的(de)(de)(de)效果是(shi)(shi)不可控的(de)(de)(de)，常常是(shi)(shi)被用(yong)(yong)來(lai)做探索性(xing)的(de)(de)(de)實驗(yan)。而在實際產品應用(yong)(yong)中，通常使(shi)用(yong)(yong)的(de)(de)(de)是(shi)(shi)有(you)監(jian)(jian)督學習(xi)(xi)(xi)。有(you)監(jian)(jian)督的(de)(de)(de)機器學習(xi)(xi)(xi)就需要有(you)標(biao)注的(de)(de)(de)數據(ju)來(lai)作(zuo)為(wei)先(xian)驗(yan)經驗(yan)。

在進(jin)行(xing)數(shu)(shu)(shu)據(ju)標(biao)注之(zhi)前，我們首先(xian)要對數(shu)(shu)(shu)據(ju)進(jin)行(xing)清洗(xi)(xi)，得到符(fu)合我們要求的數(shu)(shu)(shu)據(ju)。數(shu)(shu)(shu)據(ju)的清洗(xi)(xi)包括去除無效(xiao)的數(shu)(shu)(shu)據(ju)、整(zheng)理(li)成(cheng)規(gui)整(zheng)的格(ge)式等等。具體的數(shu)(shu)(shu)據(ju)要求可以(yi)和算法人員確(que)認。

二、常見的幾種數據標注類型

1.分類標(biao)注：分類標(biao)注，就是我們常見的打標(biao)簽(qian)。一般是從既定(ding)的標(biao)簽(qian)中選擇數據對應的標(biao)簽(qian)，是封閉集合。如下圖(tu)，一張圖(tu)就可以(yi)有很(hen)多分類/標(biao)簽(qian)：成人、女、黃(huang)種人、長發等(deng)。對于文(wen)字，可以(yi)標(biao)注主(zhu)語、謂語、賓語，名詞動詞等(deng)。