Як і навіщо Google і "Яндекс" знімають панорами міст

1. сурогатний туризм
2. невирішені проблеми
3. очі Google
4. Тривимірні карти Tele Atlas
5. Панорами вулиць для Росії
6. Право на зйомку

Коли з'ясувалося, що в Росії нарешті відкрився сервіс Google Street View з панорамами Москви і Санкт-Петербурга, я згадав про статтю про це і інших подібних сервісах, яку я написав для "Компьютерра" в кінці 2009 року. Хоча з тих пір пройшло два роки, вона майже не застаріла (і не дивно - історія питання і проблеми залишилися тими ж). Оскільки той номер журналу на сайт чомусь так і не виклали, виправляю упущення - читайте статтю про те, що відбувається за лаштунками Google Street View і панорам "Яндекса".

За легендою, ідея Google Street View належить особисто Ларрі Пейджу, одному з двох засновників Google і автору пошукового алгоритму Pagerank. Для проби він навіть відзняв на власну відеокамеру кілька вулиць Стенфорда. З тих кадрів все і почалося.

Про те, що в Google знімали панорами Москви і Санкт-Петербурга, все дізналися тільки зараз. Але я здогадувався про це куди раніше!

Тепер в Google Street View можна подивитися панорами десятків міст. Хтось використовує цей сервіс для того, щоб навчитися орієнтуватися в незнайомому місці, але нітрохи не рідше Street View розглядають для забави: шукають знайомі вулиці або дивуються на незвичайні ситуації, які випадково потрапили в кадр (до останнього типу належить левова частка відгуків про сервіс, які можна зустріти в інтернеті). В Google здогадуються, що саме приваблює користувачів, недарма ж влітку в Street View з'явилися панорами розважального парку "Леголенд" у Каліфорнії і гоночної траси Лагуна Сека. А ось російських міст там як і раніше немає, хоча сервіс відкрився більше двох років тому.

C кожним місяцем автомобілі Street View підбираються все ближче і ближче до кордонів Росії. У 2008 році вони роз'їжджали по Західній Європі, а навесні 2009 року стали помічати в Польщі, Чехії і Фінляндії. Цілком можливо, що ми такі [Примітка: Google Street View відкрився в Росії на початку 2012 року]. Втім, для користувачів Рунету цей сервіс вже не стане великим відкриттям. Панорами декількох десятків російських міст давно опубліковані на сайті gdeetotdom.ru, а у вересні 2009 року схожий сервіс відкрила компанія "Яндекс". Для нього поки відзнята лише частина Москви, зате - c неперевершеною якістю.

сурогатний туризм

Чи не першим проектом в дусі Street View була система Aspen Movie Map, розроблена в Массачусетському технологічному інституті тридцять років тому. Її творці сподівалися, що технологія, яку вони охрестили "сурогатне подорож", з часом перетвориться на популярна розвага. Пентагон же, який виділив гроші на роботу, переслідував зовсім інші цілі. Військові розраховували, що такі пристрої виявляться корисними для тренування солдатів.

Суть проекту полягала в створенні віртуальної копії американського містечка Аспен. Користувач Movie Map бачив Аспенський вулиці з точки зору водія автомобіля - майже як в Google Street View. Він міг рухатися по дорозі в будь-якому напрямку, вирішувати, куди згорнути на розвилці, і дивитися по сторонах, вибираючи один з чотирьох жорстко заданих кутів огляду.

Щоб зібрати необхідну інформацію, учасники проекту спорудили камеромобіль. На дах джипа була піднята конструкція, що складається з гироскопического стабілізатора і чотирьох кінокамер, заправлених шістнадцятиміліметрову плівкою. Ззаду до машини приладнали велосипедне колесо з датчиком кута повороту. Під час руху датчик дистанційно включав камери кожні три метри. Протягом декількох місяців за допомогою камеромобіля відзняли всі вулиці Аспена, включаючи кожен можливий варіант повороту на кожному перехресті.

невирішені проблеми

Багато проблем, які стояли перед творцями Aspen Movie Map в 1979 році, до цих пір не мають остаточного рішення. Наприклад, як позиціонувати знімки на карті? Здавалося б, поява загальнодоступних цивільних приймачів GPS має закрити це питання раз і назавжди. Але не все так просто. По-перше, точність даних, отриманих подібним чином, відносно невелика, та й сам GPS доступний не скрізь. По-друге, в ідеалі необхідно знати не тільки географічні координати точки, де зроблений знімок, але і точну орієнтацію камери. Для цього потрібні додаткові датчики - акселерометри, швидкісні гіроскопи, енкодери - і програмне забезпечення, здатне відновити картину того, що відбувається за їх показниками.

В області автоматичної обробки зображень теж вистачає роботи: калібрування камер без участі людини, автокоррекция кольору і балансу білого, вирівнювання зображень, а тепер ще й розпізнавання образів. Навіть організація роботи автопарку, коли мова йде про проекти такого масштабу, перетворюється в диявольськи важку проблему. Оптимальні маршрути по місту повинні бути прокладені так, щоб камеромобілі якомога рідше виявлялися на тих вулицях, відзнятих вже завершена, - щось на зразок завдання комівояжера з рівнем складності, збільшеним до максимуму.

Отримані зображення записали на аналогові лазерні відеодиски, які тоді вважалися останнім словом техніки. На одному диску вміщувалося лише тридцять хвилин відео або 54 тисячі окремих кадрів, тому до мінікомп'ютером Interdata 7/32, який керував переглядом Movie Map, довелося підключити відразу декілька програвачів. Знімки та графічний інтерфейс виводилися на кольоровий сенсорний дисплей. Отримана система і зараз справляє враження, а вже в 1979 році, напевно, здавалася справжньою фантастикою.

Інший важливий попередник Street View з'явився в 2005 році, коли зйомкою вулиць американських міст зайнявся найбільший онлайновий магазин Amazon. Методи, по суті, були тими ж, що і при виготовленні Movie Map, але з поправкою на чверть століття розвитку комп'ютерної техніки. На дахах позашляховиків Amazon стояли сучасні цифрові камери, а п'яте колесо з енкодером замінив приймач GPS.

Відмінності теж були: оскільки Amazon були не потрібні панорами або інтерактивність, камер було не чотири, а дві, і кожна знімала свою сторону вулиці. Та й задум був зовсім іншим: таким чином компанія намагалася автоматизувати виготовлення фотографій будівель для онлайнової версії довідника "Жовті сторінки". За символічну плату потрібні кадри в знятому матеріалі вручну відшукували добровольці, найняті через Mechanical Turk.

Менше ніж через два роки Amazon звернув цей проект. Втім, на той час в Google вже працювали над власною реалізацією тієї ж ідеї.

очі Google

У Google, як правило, вважають за краще не поширюватися про свої технології, але зі Street View цей фокус не пройшов. Автомобілі з камерами, що снують по дорогах світу у всіх на виду, приховати важче, ніж секретні алгоритми в охоронюваних дата- центрах. Хоча офіційні відомості про пристрій апаратури Street View дуже мізерні, відомо, що вона витримала декілька ітерацій.

У 2007 році, коли сервіс тільки відкрився, переважна більшість панорам для Google виготовляли фахівці фірми Immersive Media. Потім автомобілі Street View оснащувалися спеціалізованими камерами Point Grey, але в кінці кінців Google перейшов на обладнання власної конструкції.

Панорамні камери Dodeca, які випускає Immersive Media, схожі на маленькі морські міни, тільки замість шипів у них об'єктиви. Всередині невеликого сферичного корпусу ховаються одинадцять мініатюрних відеокамер - по одній на кожну грань додекаедру, форму якого має підсумкова панорама (сама нижня, дванадцята грань залишається порожній).

Клієнтів у Immersive Media вистачало і до співпраці з Google. У вісімдесяті роки її технічний директор займався спецефектами в Голлівуді, тому перший напрямок діяльності компанії було очевидно з самого початку - розваги та реклама. Крім того, техніку Immersive Media закуповували військові для установки на пересувні командні пункти, а спецслужби і охоронні агентства використовували продукцію фірми в системах стеження.

Головний недолік Dodeca - не дуже висока якість зображення. Пристрій коштує майже 50 тисяч доларів, а видає знімки з сумарним дозволом всього лише 2400х1200 пікселів (640х480 з кожної з одинадцяти камер). Панорами Street View, які робила Immersive Media, виглядали гірше фотографій, знятих дешевої мильницею. Не дивно, що Google швидко відмовився від її послуг. До кінця 2007 року на Street View не залишилося жодного кадру, отриманого за допомогою техніки Immersive Media.

Наступний етап - пристрої Ladybug компанії Point Grey Research. Як і Dodeca, Ladybug є збіркою з декількох цифрових камер в загальному корпусі. П'ять з них знімають все навколо в горизонтальній площині, а шоста завжди спрямована в небо. Спеціальне програмне забезпечення склеює кадри, що надходять з різних камер, в сферичну панораму.

Дозвіл панорам, які можна отримувати за допомогою моделі Ladybug 2, що використовувалася для зйомки Street View, становить 4,8 Мп. Це краще, ніж у Dodeca, але все одно замало. У Google не стали чекати наступної моделі, двенадцатімегапіксельной Ladybug 3. На той час, коли Point Grey Research випустив її, автомобілі Street View вже оснащувалися обладнанням, яке інженери Google розробили самі.

Тривимірні карти Tele Atlas

Постачальники цифрових географічних карт, такі як Tele Atlas або Navteq, теж збирають дані за допомогою спеціальних автомобілів з камерами і датчиками. Більш того, Tele Atlas використовує практично таке ж обладнання, яким Google знімає Street View. Кожен автомо- біль компанії оснащений панорамним камерою Point Grey, парою лазерних далекомірів, які спрямовані в протилежні сторони, і декількома окремими камерами високого дозволу.

На відміну від таємного Google, Tele Atlas робить секрету з того, як будуть використовуватися накопичені дані. По-перше, по створених матеріалів з'ясовується точне розташування дорожніх знаків, а лазерні далекоміри визначають ширину вулиць, висоту мостів і тунелів. По-друге, далекоміри служать свого роду 3D- сканерами. Інформації, яку вони повідомляють, досить, щоб реконструювати тривимірний вигляд будівель.

Тепер значна споруда на даху автомобілів Street View складається з декількох модулів. На самій верхівці знаходиться незграбний "акваріум" з цифровими камерами, схема розміщення яких запозичена у Point Grey: вісім по периметру і одна нагорі. Нижче закріплені три однакових пристосування, в яких вгадуються лазерні далекоміри фірми SICK, один спереду і пара з боків. Ззаду замість далекоміра приладнані жовта коробочка, від якої до автомобіля тягнеться пучок кабелів.

Камери для Street View розробила фірма Elphel (свого часу "Компьютерра" публікувала інтерв'ю з її засновником ). Це вкрай цікаві пристрої: фактично кожне з них являє собою повноцінний комп'ютер, що працює під управлінням Linux. Навіть старі моделі Elphel забезпечували більш високу якість зйомки, ніж пристрої Immersive Media або Point Grey, а в нинішніх камерах Elphel 353 стоять матриці з роздільною здатністю від п'яти мегапікселів - це в 2,5 рази більше, ніж у камер Ladybug 3 (мова йде лише про можливе відхилення певних камер, так як про дозвіл панорам Google Street View, склеєних з кадрів, знятих усіма дев'ятьма камерами, точної інформації немає).

Панорами вулиць для Росії

Одна з головних причин, по якій в компанії Gdeetotdom.ru вирішили зайнятися панорамної зйомкою міст, така: це простіше і дешевше, ніж фотографувати кожну будівлю вручну. Раніше знімки будинків для однойменного сервісу по нерухомості, який розвиває компанія, доводилося робити саме таким способом. У Москві на неї працювали близько шістдесяти фотографів, в Санкт-Петербурзі - тридцять.

Перш ніж почати проект, Gdeetotdom звернувся в Google, щоб з'ясувати, чи планується запуск Street View в Росії. У Google не відповіли нічого певного, і братися за справу довелося самим. Досвіду бракувало, тому питання виникали на кожному кроці. Як закріпити камеру на даху автомобіля? Як не пошкодити її під час руху? Де взяти 220 вольт для живлення бортового комп'ютера? Як домогтися високої якості зйомки? ..

Google робить апаратуру для зйомки панорам самостійно, але такий підхід не для всіх. Панорами вулиць - аж ніяк не найважливіша функція Gdeetotdom. Чи варто витрачати на неї стільки сил і займатися непрофільної діяльністю? Навряд чи. "Ми ж все-таки портал по нерухомості, - говорить генеральний директор компанії Рубен Акопов. - Ми не стали створювати своє власне рішення ". Замість цього Gdeetotdom придбав камери фірми Point Grey.

Для зйомок переобладнали звичайні легкові автомобілі. На передньому пасажирському сидінні лежить комп'ютер для контролю інформації та управління камерою - звичайний системний блок з Windows, до якого підключені невеликий рідкокристалічний дисплей і клавіатура з мишкою; конвертор, що перетворює 12 вольт постійного струму в 220 вольт змінного, захований в багажнику. Ноутбуки тут не годяться: щоб обробляти і зберігати такі потоки інформації, потрібна хороша відеокарта і значної ємності накопичувачі.

За допомогою камер Ladybug 2 Gdeetotdom.ru оцифрував 61 місто Росії - все мільйонники, за винятком Пермі. Тепер знімають заново, вже більш досконалою моделлю Ladybug 3. У Москві повторна зйомка зайняла шість місяців; до кінця жовтня всі панорами московських вулиць на сайті Gdeetotdom.ru будуть оновлені.

Спершу екіпаж автомобілів з камерами складався з двох чоловік, але потім зйомку автоматизували, і тепер з нею справляється сам водій. Хоча Gdeetotdom.ru публікує максимум однієї панорами на дванадцять метрів дороги, в дійсності камери записують відео з частотою від 7-8 до 16 кадрів в секунду; попутно приймач GPS зберігає географічні координати. Під час обробки поста по ним відбираються знімки, зроблені в потрібних точках вулиці.

Панорами обходяться недешево. На кожну камеру Point Grey компанія витратила приблизно 20 тисяч доларів. Крім того, у Gdeetotdom.ru п'ять автомобілів для зйомки: три Skoda Roomster і пара Volkswagen Golf. Ще одна важлива стаття витрат - створення програмної системи обробки і відображення інформації. Правда, оскільки Gdeetotdom.ru переслідує досить вузькі цілі, витрати на розробку софта вдалося утримати в розумних межах.

"Яндекс" пішов іншим шляхом. "Готового рішення не було, воно розроблялося спеціально для нас", - розповідає менеджер сервісу "Панорами вулиць" Марія Орлова. Роботу доручили компанії neq4, що займається створенням віртуальних турів, а замість спеціалізованих або промислових камер, назви яких нікому нічого не говорять, вирішили використовувати професійні цифрові фотоапарати - такі ж, як у звичайних фотографів.

Для зйомок на даху автомобіля (саме "автомобіля", а не "автомобілів" - він був один) встановили систему з чотирьох фотоапаратів, спрямованих в різні боки. Системою керував спеціальний програмний комплекс. Кожні 20-30 метрів все камери синхронно робили знімки з роздільною здатністю 10 Мп. Панорами, зібрані з отриманих кадрів, не можна назвати сферичними - кут огляду по вертикалі відносно невеликий. Зате "Яндексу" вдалося уникнути сильних спотворень, що зустрічаються в Google Street View, та й чіткість зображення, здається, трохи вищий, ніж у конкурентів (це суб'єктивне враження, проте навіть якщо дозвіл Street View в дійсності вище, враження псують раз у раз трапляються навіть на найсвіжіших панорамах Google пересвеченние кадри, колірний шум і тому подібні недоліки).

Робота над проектом почалася ще в 2008 році. Зйомка велася близько місяця восени 2008 року і ще три тижні влітку 2009 року. Справа в тому, що для виготовлення якісних панорам потрібні хороші умови. Часті осінні дощі і короткий світловий день тільки заважають. З цією проблемою знайомі і в Gdeetotdom.ru: навіть в хороші дні до третини відзнятого матеріалу виявляється шлюбом. Зіпсувати знімок може будь-яка дрібниця, навіть сховалося за хмару сонце. Вічні московські пробки теж не сприяють підвищенню продуктивності праці.

Право на зйомку

Google не питає дозволу перед індексацією сайтів в інтернеті. Якщо веб-сторінка доступна для всіх, то вона доступна і для пошукових роботів. До зйомки міст в Google підійшли з тією ж логікою. Якщо перехожого на панорамі Street View легко дізнатися, що з того? Він же знаходився на вулиці, де його і без всякого Street View міг побачити хто завгодно. Знімки, зроблені в громадських місцях, за визначенням не можуть порушувати таємницю приватного життя.

Далеко не всі згодні з такими міркуваннямі. Як только Street View Відкрився, его відразу ж стали крітікуваті за Порушення приватності. Google не сперечався и слухняно прати неугодні кадри, а влітку 2008 року ставши автоматично затушовуваті на своих панорамах лица перехожих и номери автомобілів. Розроблення в Google алгоритм успешно Знаходиться и пріховує понад 89% осіб и около 95% автономерів. Однак і це не допомогло - потік скарг не слабшав.

Найбурхливішу реакцію Street View чомусь викликав у Великобританії - країні з найбільшою кількістю вуличних камер на душу населення. Спочатку Google атакувала правозахисна організація Privacy International, після чого відома на весь світ британська жовта преса роздула навколо Street View такий скандал, що на горезвісні автомобілі з камерами стали звертати увагу навіть далекі від Інтернету люди. Дійшло до того, що в одному з сіл в годині їзди від Лондона жителі перекрили дорогу, щоб не пустити автомобіль Street View. Потім вони пояснювали злетілося журналістам, що, з їхньої точки зору, Google пособниками грабіжникам, які за допомогою панорам вулиць вибирають собі жертв.

В Японії Street View теж зустріли в штики, але тут, схоже, причина в культурних відмінностях, про які в Google не подумали заздалегідь. Виявилося, що камери Street View, закріплені на висоті 2,5 метра, з легкістю зазирають через високі паркани і знімають приватні двори, які зазвичай недоступні для чужих очей. До того ж звідкись взявся слух, що Street View - це, насправді, щось на зразок веб-камери, безперервно транслює все в bнтернет.

Тепер Google збирається переробити все панорами, зняті в Японії, опустивши камеру на сорок сантиметрів - так в кадр не потрапить нічого, що не видно звичайним перехожим. А щоб заспокоїти недовірливих японців, зняли рекламний ролик, в якому мультяшний чоловічок-камера спочатку роз'їжджає по іграшковому місту і фотографує будинки, а потім працьовито зафарбовує на знімках імена на поштових скриньках та номери автомашин.

Російські аналоги Street View поки обходяться без цензури. Правда, і претензій їм ще ніхто не пред'являв. «Практично завжди ми зустрічали доброзичливе ставлення людей, яких знімаємо, - говорить Рубен Акопов. - Дуже часто наших водіїв запитують, що вони роблять, цікавляться самими камерами, дізнаються, коли зйомка буде опублікована ». Можливо, все ще попереду. У Gdeetotdom.ru не виключають, що коли-небудь їм доведеться наслідувати приклад Google і почати затирати на панорамах обличчя перехожих.

Втім, найближчі плани розвитку панорам на сайті Gdeetotdom.ru інші: крім вулиць, будуть зняті ще й двори. Це дозволить користувачам сервісу побачити ті будівлі, які знаходяться в стороні від проїжджої частини. Цілком зрозуміла мета, якщо згадати, чому Gdeetotdom.ru зайнявся зйомкою панорам.

Наступний етап розвитку сервісу «Панорами вулиць» на «Яндексі» неважко вгадати. Ретельно відзнято лише центр Москви, а на околицях міста панорами зустрічаються лише на найбільших вулицях. Було б логічно виправити це упущення, а потім перейти до зйомки інших міст.

Передбачити майбутнє Google Street View складніше. Цей сервіс цілком здатний на сюрпризи. Навіть з боку ясно, що автомобілі Street View збирають куди більше даних, ніж необхідно для виготовлення звичайних панорам. Які сервіси можна побудувати на їх основі? Про це можна тільки гадати.

Пару років тому в статті, опублікованій в журналі IEEE Computer, технічний керівник Street View Люк Вінсент підраховував сумарну довжину асфальтованих доріг Землі (19,4 млн. Км) і час, який буде потрібно, щоб зробити їх панорами (дуже довго). Він жартував, але його жарт цілком укладається в місію Google: упорядкувати всю інформацію в світі. Судячи з наcтойчівості, з якої розвивається Street View, це не порожні слова.