Nový obrazový snímač vás rozpozná od psa a spozná, že nemáte rúško

Priamo v ňom tak môže bežať spracovanie snímaného obrazu pomocou modelov umelej inteligencie, a to nevídanou rýchlosťou - vyhodnotiť dokáže 30 snímok za sekundu a vďaka tomu spozná, čo práve vidia.

Analýza obrazu prebieha veľmi rýchlo

Spoločnosť Sony dnes predstavuje prvý čip, ktorý do obrazového snímača integruje procesory pre spracovanie obrazu pomocou umelej inteligencie. 

Na jeho výstupe tak nie je len obrazový signál, ale aj metadáta zodpovedajúce použitému modelu - napríklad informácia, že v zábere je pes na lúke, snímaný človek je mladá žena, ľudia v zábere nemajú rúška a ochranné okuliare, že je v danom priestore prekročený maximálny počet návštevníkov, alebo že sa v továrni do vyhradeného koridoru dostala prekážka.

Takéto veci zatiaľ buď spracovávala ďalšia výkonná elektronika v zariadení, v ktorom bol obrazový snímač namontovaný, alebo cloudový systém, na ktorý boli dáta z kamery posielané.

Výhodou integrácie priamo v čipe je predovšetkým rýchlosť - vďaka spoločnej integrácii snímača, procesorov a pamäti prebieha analýza obrazu veľmi rýchlo. 

Podľa výrobcu zvládne systém vytvoriť inferencií pre 30 snímok za sekundu a v MobileNet V1 dosiahol výsledok 3,1 ms. To všetko údajne s veľmi priaznivou spotrebou energie. 

Sony introduced two new camera sensors IMX500 & IMX501 with Built-in AI processing.

Both are 12MP with 1/2.3" size
Can shoot video in 4K at 60 fps
FullHD at 240 fps
IMX500 ($93) ready to ship this month
IMX501 ($186) will ship from June.#TechSciCo#Sony #IMX500 #IMX501 pic.twitter.com/SpLYcIK6mS

— Tech SciCo (@techscico) May 17, 2020

Čoskoro v mobiloch?

Jej presnejšiu hodnotu, rovnako ako bližšie informácie o výkone procesorov zástupcovia firmy neprezradili. Vieme ale, že čip má rozlíšenie 12,3 Mpix, takže na výstupe ponúkne 4K obraz, pre AI zpracovní ide ale o nižšie, FullHD, rozlíšenie.

Mimo rekordnej rýchlosti spracovania môže byť táto integrácia aj dôležitým bezpečnostným prvkom. Systém môže byť totiž nastavený tak, že čip žiadne obrazové dáta von neposiela - iba metadátový výstup z AI modelu. 

K záberom a fotografiám by sa tak len ťažko mohla dostať neautorizovaná tretia strana, pretože tieto dáta vôbec neopustí čip a po spracovaní obrazovým procesorom sú z vnútornej pamäte zahodené.

Na otázku, či sa tieto čipy v dohľadnej dobe dostanú aj do spotrebnej elektroniky, nie je známe. V kamere pre PlayStation alebo napríklad v inteligentných telefónoch by mohli priniesť rad dnes len ťažko realizovateľných aplikácií.

Sony intros IMX500, IMX501 Intelligent Vision Sensors with AI functionality --https://t.co/a9TQKEWTzg pic.twitter.com/vvdOOgnfdE

— YugaTech (@yugatech) May 15, 2020

Začiatok novej éry?

Sony je popredným výrobcom obrazových čipov, len na poli inteligentných telefónov má podľa dostupných údajov ľahko cez polovicu trhu. 

Podľa zástupcov spoločnosti teraz nastáva zlom, kedy obrazové snímače nebudú predovšetkým zdrojom obrazu pre jeho opätovné zhliadnutie, ale najmä zdrojom dát. 

Napríklad autonómne systémy a rôzne roboty tak budú môcť kombinovať ohromné ​​dátové zázemie cloudových "backend" s vizuálnymi dátami získanými v reálnom čase.