“鐵蛋鐵蛋，握個手”

“鐵蛋鐵蛋，作個揖”

“鐵蛋鐵蛋，跳支舞”

作為小米科技園里的新晉團寵，鐵蛋都有哪些秘密功能？如果擁有一只鐵蛋，你將會獲得怎么樣的新奇體驗？

這次，我們邀請了幾位初入職場的小米同學，一起來體驗擁有鐵蛋的一天。每個同學都可以認領(lǐng)一只屬于自己的鐵蛋，他們將攜鐵蛋一起，通過闖關(guān)的方式，去解鎖鐵蛋的技術(shù)盲盒。當智能的鐵蛋和熱愛技術(shù)的同學強強聯(lián)手，他們會帶來哪些精彩的技術(shù)故事呢？

小米鐵蛋這些神秘超能力的背后都有哪些秘密？來看看工程師們的介紹！

Q：鐵蛋的相機技術(shù)應用在哪些方面？能實現(xiàn)哪些功能？

A：基于小米自研的人體檢測、人體重識別、人臉檢測識別、室內(nèi)建圖導航等算法的應用，鐵蛋可以實現(xiàn)人臉識別、智能跟隨、自主避障，以及拍照、錄像等功能。

在跟隨時，結(jié)合人體ReID算法，可以對主人進行實時跟隨；當目標人體脫離鐵蛋可視范圍（如拐角），再次出現(xiàn)時，鐵蛋依舊能夠準確的識別和跟隨；當有其他人出現(xiàn)在主人和鐵蛋中間時，也不會誤跟蹤到路人身上。

此外，鐵蛋可實現(xiàn)自動規(guī)劃到下一目標點的前進路線，并在導航運動過程中自主規(guī)避遇到的障礙物。

Q：為什么鐵蛋能夠做到快速、準確的識別主人？

A：鐵蛋頭部配備了一顆1300萬像素的廣角相機，根據(jù)鐵蛋和人體的相對高度，我們設(shè)計了一個合適的仰角，使機器狗可以最大化的捕捉到前方的人臉和人體信息。用戶在拿到鐵蛋的第一時間，可以通過APP錄入主人的人臉特征信息，因此鐵蛋就可以通過視覺算法對畫面中出現(xiàn)的每一個人進行比對識別，這樣鐵蛋就可以通過人臉來識別主人了。

小米自研的人臉識別算法是基于最新的深度學習算法，可實現(xiàn)實時對輸入畫面進行人臉檢測，當檢測到人臉后對人臉上關(guān)鍵點，進行識別和分析最終對每一個人進行ID識別。目前人臉關(guān)鍵點最高可支持216個，擁有百萬級的訓練數(shù)據(jù)，速度極快，只需要2毫秒。

Q：當主人在人群復雜場景移動時，為什么鐵蛋能夠?qū)崟r準確的跟隨主人？同時能夠自主避障？

A：鐵蛋配備的AI交互相機和2個150°的超廣角魚眼相機，搭配深度攝像模組，使得鐵蛋具有超強的視覺空間感知能力，為鐵蛋的智能跟隨功能奠定了硬件基礎(chǔ)。鐵蛋的自主跟隨功能是多個算法模塊協(xié)作完成的，涉及的軟件算法模塊包括：人臉識別、人形檢測、人體ReID、人體位置計算、SLAM建圖、路徑規(guī)劃、導航避障等算法模塊。

鐵蛋在開啟主人跟隨模式后，首先通過人臉識別將主人和人體對應起來，在跟隨的過程中實時進行人體ReID保證鐵蛋不會被陌生人領(lǐng)走；在跟隨前行過程中，我們會實時計算主人與鐵蛋的相對位置關(guān)系，計算主人的前行速度并預測主人的行徑路，根據(jù)這些信息鐵蛋會實時的調(diào)整自己的速度和方向以實現(xiàn)智能的等距跟隨，特別是當主人前進過快，或者拐彎鐵蛋會通過語音提示主人。在跟隨前行過程中，鐵蛋會實時的進行SLAM導航避障，跟隨過程中鐵蛋檢測到前方有障礙物時，會根據(jù)地圖進行局部的路徑規(guī)劃和導航，自主的繞開障礙物，找到一條最優(yōu)的路徑跟上主人的步伐。

Q：鐵蛋是怎么做到認識路的？

A：鐵蛋具有自主定位導航的功能。在鐵蛋頭部裝有AI交互相機、雙目超廣角相機、Intel Realsense D450深度攝像頭等傳感器。利用這些傳感器通過SLAM技術(shù)實現(xiàn)鐵蛋的定位和環(huán)境感知，建立導航地圖。通過APP，用戶可查看地圖，選擇目的地。目的地確認后，鐵蛋通過導航規(guī)劃技術(shù)可自動規(guī)劃到目標點的前進路線，并自主規(guī)避運動過程中遇到的障礙物。簡單講就是，SLAM技術(shù)告訴鐵蛋你在哪兒，你周圍環(huán)境是什么樣。導航告訴鐵蛋你去哪兒，以及怎么去。

Q：在復雜環(huán)境里中準確尋找到物品，鐵蛋是如何做到的？

A：鐵蛋有探索未知環(huán)境和目標檢測功能，實現(xiàn)邊走邊找的功能。利用頭部視覺模組實時感知局部環(huán)境，發(fā)現(xiàn)環(huán)境中邊界和可通行區(qū)域，同時，在行走過程中不斷通過目標檢測算法來對場景中的物體進行實時的定位及分類，檢測到場景中有特定物品時，把此位置作為導航目標，規(guī)劃出一條可行路徑并走過去。

Q：開發(fā)過程中最大的挑戰(zhàn)是什么？

A：第一點：從0到1，歷時10個月完成了小米第一代四足機器人視覺功能的技術(shù)預研與量產(chǎn)交付；

第二點：基于NVIDIA平臺而非我們熟悉或者有一定積累的高通平臺，在此過程中我們一邊擴大團隊，一邊學、探索和開發(fā)，大部分的算法都是自己開發(fā)的，過程非常艱辛；

第三點：鐵蛋是第一個直播發(fā)布的仿生機器人平臺，量產(chǎn)并發(fā)售給普通用戶的機器人平臺，在安全性和可靠性方面，我們做了充足的工作。

Q：鐵蛋未來還會有可能開發(fā)出哪些功能？

A：鐵蛋匯集了小米的核心技術(shù)積累，包括但不限于機器學習、生物識別、計算機視覺等。在高端硬件模組和多種軟件算法的應用下，鐵蛋可以實現(xiàn)更真實的生物反應以及環(huán)境觀察和辨識能力。未來，在視覺交互層面，我們將會創(chuàng)造更有趣的玩法，開辟更多新功能，讓鐵蛋的交互場景也更加豐富；并會不斷的開發(fā)和優(yōu)化適合鐵蛋平臺的SLAM和導航的算法框架，使其有更優(yōu)異的性能，在復雜的環(huán)境下依舊具備精準的建圖定位能力和導航避障能力。此外，機器視覺、導航避障、人機交互、Al語音算法等技術(shù)可以反哺手機、智能家居等產(chǎn)品。

劉慈欣表示：“科技與科幻都是人類想象力的延伸，和人類未來的生活息息相關(guān)。科技在很多方面將科幻變成現(xiàn)實。”

鐵蛋融合了仿生機器人的特性，在動物屬性上增加了高科技的智能算法，賦予它人類最期待的智能功能，包括但不限于機器學習、生物識別、計算機視覺等，支持超感視覺探知系統(tǒng)，是科技和現(xiàn)實載體的結(jié)合。基于小米自研的人臉識別、人體檢測、室內(nèi)建圖導航等算法的應用，內(nèi)置高性能超感視覺探知系統(tǒng)和AI語音交互系統(tǒng)，搭配深度攝像模組，使得鐵蛋具有科技感的同時，兼具真實的生物反應。

我是Cyberdog鐵蛋，未來我會不斷學習更多的技能，融入更多的前沿新興科技，變成一個“全能鐵蛋”，讓全球每個人都能享受科技帶來的美好生活，請大家敬請期待吧！

原文標題：聽說，有人向鐵蛋發(fā)起了挑戰(zhàn)

文章出處：【微信公眾號：小米公司】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
責任編輯:pj