作為在一家公司中從事算法,數(shù)據(jù)挖掘,機(jī)器學(xué)習(xí)的小伙伴們,似乎會(huì)有一些感覺(jué),我現(xiàn)在做到的東西感覺(jué)好土啊,一點(diǎn)也不高大上,明明有那么多吊炸天的算法,為啥我們現(xiàn)在還要用這么土的方法呢?不行我要嘗試這些吊炸天的算法,而有的時(shí)候卻往往是吃力不討好。
就個(gè)人感覺(jué)而言,工業(yè)算法工程師其實(shí)是要求蠻高的一個(gè)崗位,雖然從業(yè)七年多了,但是是否已經(jīng)入門(mén)還真的不敢說(shuō)。因?yàn)樗婕暗念I(lǐng)域太多,經(jīng)典的已經(jīng)被反復(fù)證明有成熟套路的應(yīng)用場(chǎng)景就包括了,搜索效果優(yōu)化,個(gè)性化推薦,計(jì)算廣告,智能風(fēng)控等等。而每一個(gè)場(chǎng)景背后雖然有著比較共同的基礎(chǔ)算法理論支持,但真要把某一個(gè)領(lǐng)域做好,卻真的不是那么容易的事情。
拿推薦的場(chǎng)景舉例吧。
常見(jiàn)的推薦手法有幾種,那么拿基于標(biāo)簽畫(huà)像的方法來(lái)做個(gè)引子。
設(shè)計(jì)一套標(biāo)簽體系;對(duì)待推薦的目標(biāo)實(shí)體,通過(guò)運(yùn)營(yíng)打標(biāo),用戶ugc打標(biāo),實(shí)體本身附屬的文本內(nèi)容,圖像內(nèi)容進(jìn)行標(biāo)簽抽??;對(duì)用戶通過(guò)瀏覽、購(gòu)買、加購(gòu)物車,評(píng)論等行為將實(shí)體標(biāo)簽關(guān)聯(lián)到用戶身上。這樣,當(dāng)用戶有新的行為的時(shí)候,就可以通過(guò)標(biāo)簽和權(quán)重集合作為特征向量,計(jì)算消費(fèi)者和推薦實(shí)體的相似度,離線或?qū)崟r(shí)的生成推薦列表了。
這樣似乎沒(méi)有啥問(wèn)題,其實(shí)是有問(wèn)題的。
如果我們的應(yīng)用的展示位很豐富,推薦展示位只是其中一小部分,那么問(wèn)題可能還不會(huì)那么明顯。但是如果我們的應(yīng)用是高度依賴算法智能推薦的的話,那就好玩了,因?yàn)轳R太效應(yīng),越推越窄,很快一些標(biāo)簽的權(quán)重就高的沒(méi)法看了。
這該怎么辦呢?
可以有一些不同的路子去嘗試,可以通過(guò)標(biāo)簽擴(kuò)展(其實(shí)效果不容易控制,粒度太粗);或者引入其它的推薦算法作為推薦源(svd,itmbase,userbase,contentbase等等)。這個(gè)時(shí)候,就要想辦法去合理安排這些算法了。
后面會(huì)有越來(lái)越多的問(wèn)題接踵而來(lái):哪些算法適合放在基礎(chǔ)層面去負(fù)責(zé)初試粒度的召回呢,哪些算法適合把各個(gè)基礎(chǔ)找回算法結(jié)果進(jìn)行精排序呢,用戶主動(dòng)搜索了一個(gè)東西我如何快速反饋到其它展示位的推薦結(jié)果中呢,我該如何設(shè)計(jì)日志打點(diǎn),以方便后續(xù)的效果跟蹤呢,如何可以更自動(dòng)化的去測(cè)試不同的算法組合,算法參數(shù)而不應(yīng)總是人手動(dòng)abtest呢,如何能夠給運(yùn)營(yíng)以合理的干預(yù)權(quán)限以增加業(yè)務(wù)邏輯而又不會(huì)影響算法本身的效果呢,我如果請(qǐng)求失敗了有沒(méi)有降級(jí)方案呢,集群job似乎越跑越慢了是不是要單獨(dú)申請(qǐng)個(gè)queue防止其他人干擾我呢……
哈哈,想做好效果這些全都是要考慮到的事情啊,靠單純的一個(gè)算法,很難去最好一個(gè)場(chǎng)景。我更喜歡稱算法工程師為效果優(yōu)化工程師,因?yàn)樵谄髽I(yè)當(dāng)中,你第一核心要?jiǎng)?wù)不是把某個(gè)算法研究的特別透徹,而是要讓你的整套效果優(yōu)化的流程跑順,在此基礎(chǔ)上,用實(shí)際業(yè)務(wù)指標(biāo)去說(shuō)話。
回歸前面的算法同學(xué)們的苦惱,其實(shí)算法也是技術(shù)的一種,而技術(shù)的本質(zhì),按科學(xué)技術(shù)哲學(xué)中的理論是:技術(shù)是一種解蔽的過(guò)程,解蔽嘛,就是實(shí)打?qū)嵉淖龀鰧?shí)際效果。所以經(jīng)過(guò)大家無(wú)數(shù)次實(shí)際使用并證明行之有效的方法就特別受歡迎,新奇的算法,注定是在回去效果達(dá)到一定瓶頸的時(shí)候去做突破而用的了。
-
算法工程師
+關(guān)注
關(guān)注
2文章
31瀏覽量
6396
發(fā)布評(píng)論請(qǐng)先 登錄
電子工程師的雙標(biāo)瞬間 #電子 #電子愛(ài)好者 #電子工程師 #揚(yáng)興科技 #雙標(biāo)
算法工程師需要具備哪些技能?
電子工程師設(shè)計(jì)要點(diǎn)與經(jīng)驗(yàn)分享
電子工程師設(shè)計(jì)要點(diǎn)與經(jīng)驗(yàn)分享
想成為硬件工程師?我教你??!你得先學(xué)會(huì)這些...... #硬件工程師 #電子工程師 #電子愛(ài)好者 #電子行業(yè)
硬件工程師面試必會(huì):10個(gè)核心考點(diǎn)#硬件設(shè)計(jì) #硬件工程師 #電路設(shè)計(jì) #電路設(shè)計(jì)
作為一名PCB質(zhì)檢工程師,我為什么在用手持式面銅測(cè)試儀?
硬件工程師看了只會(huì)找個(gè)角落默默哭泣#硬件工程師 #MDD #MDD辰達(dá)半導(dǎo)體 #產(chǎn)品經(jīng)理 #軟件工程師
如何成為一名合格的KaihongOS南向驅(qū)動(dòng)開(kāi)發(fā)工程師
如何成為一名合格的KaihongOS北向應(yīng)用開(kāi)發(fā)工程師
如何成為一名嵌入式軟件工程師?
一名算法工程師的自述
評(píng)論