大華股份取得KITTI Sceneflow排行榜第一名：

（圖片來源自網(wǎng)絡(luò)甲捏，如有侵權(quán)演熟，請聯(lián)系刪除。）

大華股份取得KITTI Flow排行榜第一：

（圖片來源自網(wǎng)絡(luò)司顿，如有侵權(quán)芒粹，請聯(lián)系刪除。）

關(guān)于KITTI：KITTI數(shù)據(jù)集由德國卡爾斯魯厄理工學(xué)院和豐田美國技術(shù)研究院聯(lián)合創(chuàng)辦大溜，是目前國際上最大的計算機(jī)視覺算法評測數(shù)據(jù)集之一化漆。數(shù)據(jù)集用于評測立體匹配(stereo)、光流(flow)钦奋、場景流(sceneflow)座云、視覺里程計(visual odometry)、物體檢測(object detection)和跟蹤(tracking)付材、道路分割(road)离春、語義分割(semantics)等計算機(jī)視覺技術(shù)的性能。KITTI包含市區(qū)帜焰、鄉(xiāng)村和高速公路等場景采集的真實圖像數(shù)據(jù)集圈，每張圖像中最多包含15輛車和30個行人，且存在不同程度的遮擋與截斷味爷。

場景流與光流：

場景流算法能夠同時估計場景中物體的三維位置與三維運動矢量恩奢，是感知環(huán)境空間幾何結(jié)構(gòu)的核心算法，與感知語義信息的算法結(jié)合后稍呛，能夠全面地理解環(huán)境哈涣。三維場景流的估計結(jié)果能夠進(jìn)一步分解為立體匹配結(jié)果與光流匹配結(jié)果吹对，可以認(rèn)為，光流是場景流映射到二維圖像坐標(biāo)系的投影勺处。

在本次比賽中暮戏，大華股份AI團(tuán)隊為提升場景流估計精度，增加了一系列算法模塊痪酸。首先垃散，基于Mask-RCNN網(wǎng)絡(luò)進(jìn)行實例分割，從場景中分割出行人授嘀、車輛物咳、自行車等前景目標(biāo)。接下來蹄皱，基于GC-Net計算初始視差圖览闰，使用分段多權(quán)重loss函數(shù)、利用實例分割結(jié)果和多尺度特征圖優(yōu)化初始視差結(jié)果巷折，得到更加精細(xì)的視差圖压鉴，進(jìn)而改善了初始的proposal NRT集合。最后锻拘，引入移動前景目標(biāo)的剛體運動一致性約束油吭，針對場景流不連續(xù)區(qū)域，采用多閾值融合的策略署拟，優(yōu)化場景流估計結(jié)果婉宰。

在評測中，采用場景流和光流算法的效果和計算結(jié)果如下所示：

（圖片來源自網(wǎng)絡(luò)推穷，如有侵權(quán)心包，請聯(lián)系刪除。）

輸入圖像

（圖片來源自網(wǎng)絡(luò)懊霹，如有侵權(quán)冈瞪，請聯(lián)系刪除。）

T0時刻視差圖

（圖片來源自網(wǎng)絡(luò)凹田，如有侵權(quán)，請聯(lián)系刪除糜谒。）

經(jīng)光流反向映射后的T1時刻視差圖

（圖片來源自網(wǎng)絡(luò)链坝，如有侵權(quán)，請聯(lián)系刪除狸岁。）

T0時刻到T1時刻的光流圖

在大華實際產(chǎn)品和未來產(chǎn)品中的應(yīng)用

本次競賽中使用的技術(shù)已在大華股份的雙目攝像機(jī)饿婴、全景攝像機(jī)等產(chǎn)品上得到應(yīng)用，提升多目攝像機(jī)的捕獲目標(biāo)深度數(shù)據(jù)泛滔、目標(biāo)分離等算法性能腌馒。同時堂憔，該技術(shù)也成功應(yīng)用于AR融合應(yīng)用，實現(xiàn)單個與多個攝像機(jī)圖像的AR語義融合掐划，極大提升行業(yè)解決方案的用戶體驗奥猎。

雙目攝像機(jī)立體匹配應(yīng)用場景

以下為致密物體堆積下立體匹配的效果：

（圖片來源自網(wǎng)絡(luò)，如有侵權(quán)掸屡，請聯(lián)系刪除封寞。）

雙目圖像左圖

（圖片來源自網(wǎng)絡(luò)，如有侵權(quán)仅财，請聯(lián)系刪除狈究。）

視差圖估計結(jié)果

AR語義融合應(yīng)用場景

以下為路面圖像的AR語義融合效果，可供增強(qiáng)的信息：目標(biāo)類別盏求、位置抖锥、運動矢量等

（圖片來源自網(wǎng)絡(luò)，如有侵權(quán)碎罚，請聯(lián)系刪除磅废。）

真實圖像

（圖片來源自網(wǎng)絡(luò)，如有侵權(quán)魂莫，請聯(lián)系刪除还蹲。）

AR語義融合后的效果