AI, Machine Learning, Deep Learning - настояще и бъдеще

[Nickelback]

Не успях да го изгледам подробно, но ще го видя после, интересно

Иначе аз не изключвам използването на RGB камера. Най-малкото смятам, че е редно да се ползва за цвят, и semantic segmentation Просто няма да е нужно да е толкова бърза чак... май

Sent from my M2102J20SG using Tapatalk

[steeN Профил]

Може да посмятаме после, но интуцията ми е, че за да реагира колата наравно или по-добре от шофьор, който вижда смяна на сигнала на светофар (или светване на стопове или мигач и т.н.) са нужни повечеко кадри.

Специално за разпознаване на обекти не съм сигурен, че цветът е толкова необходим. Казано шеговито, цветът на автобуса, които се движи срещу теб и ще те премаже всеки момент не е съществен...

[enigma Профил]

И аз не отричам използването на РГБ камери, не виждам къде е разминаването. А за semantic segmentation си е много важен цветът. Точно за блър и попълване на липсващи данни трябват тия ивент камери. Достатъчно е да има само една отпред. И на 100фпс да работят стандартните камери - не е достатъчно при скоростите , с които се движи един автомобил. И както каза Никълбек - това е също кошмарен дейтарейт, нагряване и т.н. С внедряването не един малко по-скъп компонент може да се окаже, че цвлата система се опростява и поевтинява.
Сценарият не е само нещо рязко да ти пресече пътя. Нещо движещо се пред теб и променящо позицията си в сцената също обърква системата като няма достатъчно информация от сензорите. Като примерно моториста дето е отнесен в Сиатъл. И други, като цяло по-малки обекти, които при движение могат да се слеят с фона като имаш само ргб.

И да, радарите също (ще) имат голяма роля, и там виждам по конференциите доста напредват технологиите.

[Jordana Профил]

А защо не използвате хипер позитронна BFC с тера пикселна холограмна матрица и трифокална оптика ? Цените им вече са доста поносими . Така лидарите стават излишни и ще имат само съпорт режим на главния мулти семплиращ процесинг за обработка на петабайтови пакети импулси . Ясно че има само няколко човека на земята които са способни да го имплементират това в работещ алгоритъм но трябва да се опитват и нови макар алогични методи за моделиране на физичния времеви континиум .

[steeN Профил]

...

Написал съм къде е разминаването и защо не мисля, че ще поевтинее в момента. Ако цветът е наистина много важен И за разпознаване на обекти, само усилва, моят аргумент. Вероятно може да имат полза от една камера отпред, но повечето катастрофи от мои наблюдения са в неподвижни или бавно движещи се обекти, които просто не са разпознати изобщо. Например тази - https://www.washingtonpost.com/technolo ... -analysis/. Това е вероятно с предната версия на хардуера им с някаква отвратителна камера, което си е скандално само по себе си.

Това намерих за сегашният им -

https://www.sony-semicon.com/files/62/p ... IMX490.pdf.
https://thinklucid.com/tech-briefs/sony ... itigation/

Много интересен чип. Явно е 40 fps, не 60.

За deblurring... от това видео, ясно се вижда, че е нужда много по-голяма резолюция и/или чувствителност за да е надеждно. Има доста дълги периоди, в които интензитета не се променя достатъчно за да бъде хванат от камерата и кордажът практически изчезва от картинката. Естествено за демото е "cherry picked" най-походящият кадър.... което не значи, че няма потенциал да се развие разбира се.

[Е.Димитров Профил ICQ]

Аз пък имам бизнес модел
Ще пусна в продажба стикерчета , подобно на медальончета за врата , дето ще излъчват сигнал да не ви бутат автономните автомобили, когато пресичате улиците

[Jordana Профил]

Нещо като джамер за Ентелегентни електрички ? Натискаш копчето и около тебе вече има само нормални автомобили , основно образование така да се каже по класацията за авто ентелегенция ...

[Nickelback]

Много интересен чип. Явно е 40 fps, не 60.

За deblurring... от това видео, ясно се вижда, че е нужда много по-голяма резолюция и/или чувствителност за да е надеждно. Има доста дълги периоди, в които интензитета не се променя достатъчно за да бъде хванат от камерата и кордажът практически изчезва от картинката. Естествено за демото е "cherry picked" най-походящият кадър.... което не значи, че няма потенциал да се развие разбира се.

Природата на blur-a в основата си е поради необходимостта да експонираш (за необходимо и достатъчно време) пиксела (коренна разлика спрямо event sensor - брутална чувствителност в това отношение), след което да го изчиташ (което не става мигновенно), ами пак отнема (доста) време. Просто защото щеш, не щеш, трябва да изчетеш всииички други пиксели от матрицата Та колкото и да вдигаш резолюцията и фреймрейта на един конвенционален ("readout") сензор няма как да постигнеш кой знае какъв напредък всъщност, за да нямаш размазване Да не говорим пък, ако е поставен един такъв сензор на тъмно как трябва всъщност да му понижиш фреймрейта, че можеш да го експонираш за адекватно време, така че да можеш криво-ляво да различиш обекта. А както знаем, вдигайки резолюцията намалява площта на пикселa, което води до понижен SNR... А бе загубена кауза Два тотално различни свята са двата видa камери

Искам да кажа, че дори и 5 пъти по-малко сменили състоянието си пиксели, да ти дава ивент камерата, може да се окаже, че ще можеш пък 5 пъти по-консистентно, акуратно и с повишен confidence level да кажеш "да, такива моушън вектори видях" (със съответния алгоритъм) - спекулирам само, тук Енигмата може да разкаже предполагам

[steeN Профил]

Очевидно говоря за резолюцията и чувствителността на event camera-та във конкретното видео. Какъв е смисъла да се коментира, като всеки си пише неговото? Кордажът е през дълги периоди е една черна дупка. Какво ще деблърнеш с нула информация?

[Nickelback]

Очевидно говоря за резолюцията и чувствителността на event camera-та във конкретното видео.

Ясно, ама сравняваш технология еволюирала 50 години, с вероятно има-няма 5-годишна технология Концептуалната разлика (това обяснявам, ама се фръцкаш, не съм сигурен защо ), определя "високия старт" на ивент камерата, и вярвам че ще се развие още повече, на нормална цена. Поне не виждам технологична и ресурсна пречка това да се случи (както да речем, е проблем при термалните камери)

[enigma Профил]

Искам да кажа, че дори и 5 пъти по-малко сменили състоянието си пиксели, да ти дава ивент камерата, може да се окаже, че ще можеш пък 5 пъти по-консистентно, акуратно и с повишен confidence level да кажеш "да, такива моушън вектори видях" (със съответния алгоритъм) - спекулирам само, тук Енигмата може да разкаже предполагам

Точно така
Аз говоря от опит и практика как могат да помогнат тия сензори.

Когато твоята система се движи също имаш blur. Като са евтини камерите едва ли имат кой знае каква стабилизация. Имат вероятно софтуерен деблърринг с motion модела на автомобила, ама това няма как да е без артефакти.

Та от моя опит, да подчертая пак не е от автоиндустрията , но е нещо подобно:
Ако се движиш с пешеходна скорост, или хайде до 30тина км/ч , 60 херца са достатъчни да взимаш бързо жизненоважни решения според фийда във 100% от случаите. За скорости 60-100 започва да има все повече проблеми. За над 120 и 100 херца не е задоволително.

Повечето катастрофи може да са в неподвижни обекти, но май фаталните са все в нещо друго движещо се, което както казах лесно може да се слее с фона на сцената като имаш само РГБ… или теслата да се хвърли в дерето, защото моделът сънува някакъв сценарий. Никоя катастрофа не е съвсем проста “не разпознаваш нещо и го удряш”. В реалността е chain event, където се стига до грешен сценарий.

Най-общо казано моделът не може да възпроизведе правилния сценарий с достатъчно висок confidence, за да вземе решение навреме. Ако имаш ивент камера цикълът ще работи доста по-бързо.

[steeN Профил]

Ясно, ама сравняваш технология еволюирала 50 години, с вероятно има-няма 5-годишна технология Концептуалната разлика (това обяснявам, ама се фръцкаш, не съм сигурен защо )

Естествено за демото е "cherry picked" най-походящият кадър.... което не значи, че няма потенциал да се развие разбира се.

Сравнявам това, което е момента и правя предположение кога ще навлезе масово в автомобилните приложения. За мен това ще е най-вече момента, в който има цвят, тогава може да се реализират тези ползи от потребление на енергия и изчислителна мощ. Ти това го игнорираш и ми обясняваш ненужно тривиални неща. CMOS сензорите може да ги има от 50 години, но никога не се е искало толкова от тях колко в момента... за да се развива нещо, трябва да има мотивация. Освен това както много добре знаеш, дълго време бяха зарязани и предимство имаха CCD и там се наливаха всички пари.

Най-общо казано моделът не може да възпроизведе правилния сценарий с достатъчно висок confidence, за да вземе решение навреме. Ако имаш ивент камера цикълът ще работи доста по-бързо.

Да, но това е бизнес и няма как да имаш всичко възможно, независимо от цената. Този фактор защо не се отчита? А мен ме обвиняваш, че ги виждам нещата много опростено.

[enigma Профил]

Отчита се. Нали и аз казах, че имам business case. Щом аз мога да докарам COGS, с който да докарвам добавена стойност - може и в автоиндустрията.
Аз не казвам, че утре ще стане или изобщо ще стане, но чисто технически няма причина да не стане.
В момента единственият проблем е скалируемостта на производството.

Дискусията тръгна оттам, че казах ще станат надеждни изцяло вижън системи ако имат ивент камера. В контекста на тия скорости.


https://www.nature.com/articles/s41586-024-07409-w

We show that the use of a 20 frames per second (fps) RGB camera plus an event camera can achieve the same latency as a 5,000-fps camera with the bandwidth of a 45-fps camera without compromising accuracy.
…

In an automotive setting, it covers the blind time intervals of image-based sensors while keeping a low bandwidth. In doing so, it provides additional certifiable snapshots of reality that show objects before they become visible in the next image (Fig. 1c) or captures object movements that encode the intent or trajectory of traffic participants.

А радарите са важни също, но там както знаеш подписите не са твърде детайлни, особено близкия хоризонт т.е.

IMG_2699.gif

.

Другият вариант е слагат навсякъде ограничение 30 и проблемите са решени

[steeN Профил]

5000 фпс и разпознаване на обекти без реконструиране на фрейма (само с делтите от ивент камерата) е впечатляващо.
Това трябва да го прочета по-подробно, защото си е доста тежък пейпър и със сигурност има доста трейдофс в това решение.

Тука са ми спестили малко ровене. Т.е. ивент камерта, която ползват е 0.3 мегапиксела, което май е еквивалент на ВГА. Силно подозирам, че това ще работи само за къси разстояния.



p.s. в съветска русия е обратно... радара те вижда теб

[Nickelback]

...

Естествено за демото е "cherry picked" най-походящият кадър.... което не значи, че няма потенциал да се развие разбира се.

Сравнявам това, което е момента и правя предположение кога ще навлезе масово в автомобилните приложения. За мен това ще е най-вече момента, в който има цвят, тогава може да се реализират тези ползи от потребление на енергия и изчислителна мощ. Ти това го игнорираш и ми обясняваш ненужно тривиални неща. CMOS сензорите може да ги има от 50 години, но никога не се е искало толкова от тях колко в момента... за да се развива нещо, трябва да има мотивация. Освен това както много добре знаеш, дълго време бяха зарязани и предимство имаха CCD и там се наливаха всички пари.

Нищо не игнорирам, ето ми го цитата - нарочно не съм отрязал увереността ти за развитие:

Много интересен чип. Явно е 40 fps, не 60.

За deblurring... от това видео, ясно се вижда, че е нужда много по-голяма резолюция и/или чувствителност за да е надеждно. Има доста дълги периоди, в които интензитета не се променя достатъчно за да бъде хванат от камерата и кордажът практически изчезва от картинката. Естествено за демото е "cherry picked" най-походящият кадър.... което не значи, че няма потенциал да се развие разбира се.

Природата на blur-a...

Какво искаш да ти напиша - на всяко твое изречение "да, steeN, така е" Естествено, че има потенциал да се развие.
Просто (ти) обяснявам принципните разлики в двете концепции (които изобщо не са "тривиални неща", дори за хора които уж "това им е работата", повярвай ми ). И аз лично съм сметнал за нужно да ти ги обясня, защото разбирам всъщност, че не схващаш разликите в дълбочина, за да пишеш подобни неща Показваш произволно видео без никаква метрика в него, и казваш "ми то гроздето малко е кисело, ама ще узрее" Да, ама гроздето не е грозде, ами е... амброзия, п'а била тя и малко увехнала още За "високия старт" на ивент камерата споменах...
Извинявам се, ако са "тривиални" за теб, но форума се чете не само от теб, а и от други хора, И съм сметнал, че би било интересно за тях, изрично да го напиша Прощавай за което По принцип мога и да не пиша "тривиални неща", за да си остане "все така високо и съдържателно" нивото в темата, както като епизодично се включват "трети лица" със "супер ценни" коментари "на място"

И не, нито класически CMOS, нито CCD, има шанс да се доближи до, и да реши проблемите на юзкейса, който дискутираме, колкото и "да се иска от тях" Просто защото юзкейса е тотално друг при автономните машини, спрямо consumer imaging-a, да речем. Ако имаш предвид пък бъдещия demand към event камерите, пак прощавай (понеже не те разбрах дали CMOS/CCD мислиш, че ще се развият "още много", или залагаш на Event камерите, ако има demand за тях)

И за цвета - ти очакваш да се адресира тоя "проблем" по някакъв различен начин от добавянето на прост Bayer/RGBW филтър ли (за по-евтините варианти, да речем)? Подразбирам, че смяташ, че е някакво сериозно предизвикателство, според теб, или бъркам..? Аз смятам, че няма да е нещо по-различно - естествено ще пострада резолюцията, която и сега почти... я няма

Като цяло, малко по-ведро го давай, според мен Не се хващай за думата, и не мисли, че коментарите ми са с цел да те дискредитирам, или да омаловажавам написаното от теб Нищо подобно. Знаеш, че обичам да си пиша, пък който чел - чел, който се заинтригувал и прочел още по темата - прочел, който пък и разбрал, и осмислил - браво, баш ми е драго

Аз например, ценя супер високо това, което споделя Енигмата. Изключително ценно е да имаме човек тук, занимаващ се "hands-on" с подобни технологии, от който да почерпим информация и опит наготово, и с който можем да обсъдим почти всичко до най-малкия детайл