賽靈思在去年底推出了新的開發(fā)者計劃(Xilinx Developer Program),提供了一個全新的開發(fā)者網(wǎng)站,開發(fā)者可以在這里找到包括Vivado、Vitis、Vitis AI等開發(fā)資源。還提供給開發(fā)者40多個免費訓(xùn)練模塊,根據(jù)賽靈思平臺創(chuàng)建了很多點播培訓(xùn)課程。此外,該公司還將推出開發(fā)者認證計劃,針對不同的開發(fā)者有不同的培訓(xùn)課程,這個計劃對于所有開發(fā)者都是免費的。
今年初,賽靈思的應(yīng)用商店 (Xilinx App Store)上線了,目前有200多個面向Alveo加速卡和云相關(guān)的應(yīng)用。6月,賽靈思還推出了Kria SoM 自適應(yīng)系統(tǒng)模塊產(chǎn)品組合,在應(yīng)用商店里已經(jīng)擁有7個面向Kria SoM的應(yīng)用。
在工具采用方面,Vitis下載量已經(jīng)超過15萬次,Vitis AI下載量超過10萬次。開發(fā)者計劃推出8個月以來,目前有超過10000的注冊人數(shù)。
新工具也在不斷問世,今年6月底推出了基于機器學(xué)習(xí)的 VivadoML版本,在 Vivado 環(huán)境里使用了很多機器學(xué)習(xí)技術(shù)來進一步提升布線時延的優(yōu)化,并進行一些模塊化設(shè)計,從而將結(jié)果質(zhì)量 (QoR)平均提升10% (在不同的測試的用例中甚至?xí)岣?/span>50%)。此外,還推出了一個基于可重配置模塊的層級化編譯,用戶可以定義自己的模塊,可以進行增量編譯和并行編譯,編譯時間會大大縮短。
用于視頻分析的AI推理市場前景廣闊
賽靈思于9月初推出了一個新的工具叫 Vitis Video Analytics SDK,,主要用于構(gòu)建和部署基于AI的智能視頻分析。目前,AI推理市場有很大發(fā)展空間,從2020到2027年,該市場以年均35%的復(fù)合增長率增長。AI推理可分為兩大類應(yīng)用:一是與視頻圖像相關(guān)的,另外一類是語音,包括自然文本的處理,推薦類的應(yīng)用。據(jù)公開的市場分析報告和賽靈思預(yù)測,大概有55% 的AI推理是基于圖像視頻應(yīng)用,所以,視頻分析是這里面增長速度最快的細分市場。很多客戶有這方面的需求。
視頻分析的具體應(yīng)用案例很多:如智能泊車,對停車廠的智能管理、空位分析、數(shù)據(jù)提取等;在智慧城市里面,對行人和車輛的流量分析,交通路口的壅塞分析,可以關(guān)聯(lián)到智能交通燈系統(tǒng);還有一些重要的基礎(chǔ)設(shè)施建設(shè),如電力自動巡檢。
羅霖表示:“我們看到一個趨勢:過去,在這些領(lǐng)域里有不少用戶采用傳統(tǒng)的計算機視覺,目前,AI分析正在迅速取代這些傳統(tǒng)的計算機視覺,因為它可以提取更多特征,而且在很多場合下,它的精度更高。”
Vitis Video SDK就是為了滿足這方面的市場需求。如下圖所示,底層是基于賽靈思的嵌入式平臺,如Alveo,上面是基于賽靈思的Vitis、Vitis AI,中間提供了基于主流的Gstreamer這樣一個開放的多媒體協(xié)議,它提供了各種各樣的插件,如視頻編解碼插件,圖像預(yù)處理插件,還有DPU插件,這是專門用來運行這些AI模型的。Vitis Video SDK提供了C++和python編程接口,無需用RTL進行編程,可以實現(xiàn)很高的開發(fā)效率,開發(fā)者可以基于它來構(gòu)建很多應(yīng)用,如智慧城市、智慧零售、智慧醫(yī)療、智慧建筑等。
據(jù)羅霖介紹,在性能方面,賽靈思做了一些評測,包括兩部分:一是針對嵌入式平臺,比如賽靈思最新的Kria SoM,根據(jù)視頻解碼預(yù)處理加上車牌識別這樣一個案例場景,在一個Kria SoM里面可以運行三路,而英偉達的Jetson Nano和TX2只能運行1-2路,所以,賽靈思可以提供比他們高1.5到3倍的性能;二是基于Alveo加速卡,如Versal VCK5000,運行視頻解碼預(yù)處理加上目標檢測和目標分類這樣一個案例場景,一個VCK5000可以做到32路,而一個主流的T4大概是16路,所以,賽靈思可以提供2倍的吞吐率。