Do you remember Project Sidekick? It ‘s the name of the collaboration between Microsoft HoloLens headset and NASA: two samples of Microsoft’s new product for augmented reality vision have been sent to ISS, the International Space Station, for testing and studying the use of alternative realities in space.

The first step, actually, was to test the headset off the coast of Florida during a NEEMO (NASA Extreme Environment Mission Operations) mission, held underwater to simulate absence of gravity  and extreme conditions. After this test, HoloLens reached the international team of astronauts to be tested in orbit. Sidekick Project has two modes: Remote Expert Mode and Procedure Mode; the first one lets experts on the ground see through Skype what the astronauts are doing, helping them with difficult and delicate tasks, the second helps astronauts learn how tools and machines work. All this is possible taking advantage of augmented reality.

Sam Scimemi, director for International Space Station at NASA headquarters, said about these tests that “HoloLens and other virtual and mixed reality devices are cutting edge technologies that could help drive future exploration and provide new capabilities to the men and women conducting critical science on the International Space Station.”

For sure HoloLens is pretty handy in situations in which it’s necessary to be supported by the ground base o to fix a broken machine, but this doesn’t kill the recreational side of the device; Tim Peake and Scott Kelly, part of the ISS Team, took advantage of this to have a pause from work and test augmented reality in space, but another kind than the one you could expect: in the video they play an interesting Space Invaders match in the air 😉

 

Ricordate il Progetto Sidekick? Si tratta di quello che vede in collaborazione Microsoft con il suo visore HoloLens e la Nasa: due esemplari del nuovo prodotto per la visione a realtà aumentata sono stati infatti spediti sulla ISS, la Stazione Spaziale Internazionale, per essere testati e per lo studio dell’uso delle realtà alternative nello spazio.

Il primo passo, in realtà, è stato quello di testare il visore al largo delle coste della Florida nella missione NEEMO (NASA Extreme Environment Mission Operations), tenutasi sott’acqua in profondità per simulare assenza di gravità e condizioni estreme. In seguito HoloLens ha raggiunto il team internazionale di astronauti per essere testato in orbita. Il Progetto Sidekick prevede due modalità: il Remote Expert Mode e il Procedure Mode; il primo permette agli esperti a terra di vedere tramite Skype cosa il team in orbita stia facendo, aiutandoli nei compiti più difficili e delicati, il secondo, invece, aiuta gli astronauti a comprendere il funzionamento di determinati strumenti. Tutto questo è possibile  sfruttando la realtà aumentata.

Sam Scimemi, direttore del quartier generale della Stazione Spaziale Internazionale alla NASA, ha dichiarato a proposito di questi test che “HoloLens e altri dispositivi a realtà mista e virtuale sono tecnologie d’avanguardia che possono aiutare a guidare future esplorazioni e fornire nuove capacità a uomini e donne che conducano azioni scientifiche delicate sulla Stazione Spaziale Internazionale.”

Certo, HoloLens sarà molto utile in situazioni nelle quali sia necessario avere un appoggio dalla base terra o in cui si debba aggiustare macchinari in avarìa, ma questo non cancella il lato ludico del dispositivo; ce lo ricordano i due membri del Team ISS Scott Kelly e Tim Peake, che non hanno perso l’occasione di testare la realtà aumentata nello spazio, ma di altro tipo: eccoli durante un’interessante partita di Space Invaders nell’aria 😉

One of the most famous augmented reality headsets (even if it’s not yet sold to the public) is surely Microsoft HoloLens; here on Experenti’s blog we talked about it more than once: from the news saying it will be soon on the market to the important collaborations (we talked just few weeks ago about the last one with Volvo for its augmented showroom), to the crucial partnership with NASA for their use inside the International Space Station ISS.

Specifically, we followed the interplanetary sequence of events step after step: in June it was announced the SideKick program to launch the famous headsets to the ISS together with the supplies, and also were announced the tests held during the underwater expedition NEEMO (NASA Extreme Environment Mission Operations) to understand until what point HoloLens could be used in more complex missions, as the ones on Mars.

During last days some other HoloLens headsets reached the ISS, and astronauts Scott Kelly and Mikhail Kornienko answered to some questions asked by the magazine Popular Science on the use of these devices in space.

Kelly declared:

“You know I actually got the opportunity to try that out before I launched, and it seems like there are certain capabilities that would be good for us onboard the space station. One would be, you know right now we look at the computer or an iPad to look at procedures. And if you could have a procedure right in your field-of-view, something that was command-able with your voice, you know where you could scroll through the different steps, that would be helpful. It also has this capability where somebody on the ground perhaps could be looking basically at what you’re looking at, and be able to write in your field of view. So let’s say we’re working on a piece of hardware, and we’re not that familiar with it, but we have an expert on the ground, you know that person could basically see what we’re seeing and make annotations, point to things, and kind of lead us through a particular activity. You know that’s one of the many capabilities of that, or similar hardware, that we’re excited about.”

You can watch the video with the complete interview here.

Continue to follow us for more stories about augmented reality 🙂

Uno dei visori a realtà aumentata più famosi (nonostante ancora non sia uscito in vendita al pubblico) è di sicuro Microsoft HoloLens; qui sul blog di Experenti ne abbiamo parlato più volte: dalle news che lo darebbero presto in commercio alle collaborazioni importanti (l’ultima per lo showroom aumentato di Volvo, della quale abbiamo scritto proprio qualche settimana fa), al cruciale accordo con NASA per essere utilizzati all’interno della Stazione Spaziale Internazionale ISS.

In particolare abbiamo seguito la vicenda interplanetaria passo dopo passo: a giugno era infatti stato annunciato il programma SideKick che avrebbe spedito i famosi visori sulla Stazione Spaziale insieme alle provviste, nonché i test effettuati durante la spedizione subacquea NEEMO (NASA Extreme Environment Mission Operations) per comprendere sino a che punto HoloLens possa essere usato in missioni più complesse, quali quelle su Marte.

Adesso altri HoloLens hanno raggiunto la stazione spaziale ISS e gli astronauti Scott Kelly e Mikhail Kornienko hanno risposto alle domande del magazine Popular Science sull’utilità di questi strumenti in campo spaziale.

Kelly ha dichiarato:

“Sapete che io ho avuto l’opportunità di provarli prima della partenza, e sembra vi siano alcune potenzialità che potrebbero esserci utili a bordo della stazione spaziale. Una sarebbe: al momento guardiamo sul computer o su un iPad per controllare le procedure, se potessimo averle invece direttamente nel nostro campo visivo, in un modo che potesse essere comandato con la voce e che sai di poter scorrere attraverso i diversi punti, sarebbe davvero utile. (Il dispositivo) ha anche questa possibilità per cui qualcuno a terra potrebbe vedere esattamente ciò che stai guardando tu, e potrebbe scrivere nel tuo campo visivo. Quindi, per esempio: stiamo lavorando a un hardware ma non lo conosciamo bene, però abbiamo un esperto a terra; quella persona potrà vedere esattamente quel che vediamo noi e scrivere note, indicare oggetti, e in qualche modo guidarci attraverso una particolare attività. Questa è una delle possibilità di HoloLens, o di dispositivi simili, che ci piacciono.”

Potete guardare il video dell’intervista completa qui.

Continuate a seguirci per saperne di più 🙂

Non c’è che dire: il visore per realtà aumentata di Microsoft, l’ormai famosissimo HoloLens, sa come stare sulla bocca di tutti. Dopo le presentazioni alle conferenze di gamers nelle quali ci mostrava il futuro di Minecraft implementato con la realtà aumentata, si è passati direttamente alla collaborazione con NASA e missioni spaziali. Infatti, come già detto in un precedente articolo, HoloLens verrà utilizzato sulla ISS, la Stazione Spaziale Internazionale, per aiutare gli astronauti soprattutto nella risoluzione dei problemi tecnici; in particolare verrà usato nelle spedizioni su Marte, dove a causa della distanza le comunicazioni subiscono ritardi (sino a ben 24 aminuti!) e questo potrebbe creare difficoltà in caso di guasti.

Un visore HoloLens avrebbe già dovuto raggiungere la Stazione Spaziale Internazionale, ma purtroppo è andato distrutto nell’esplosione della navetta Dragon il 28 giugno. Ad ogni modo, anche se non nello spazio, i test sono comunque in corso: parte dell’attrezzatura da testare, infatti, era destinata ad essere messa alla prova sott’acqua, nella stazione sottomarina della NASA chiamata NEEMO (NASA Extreme Environment Mission Operations) che è in azione al largo della Florida.

Questo mese la stazione NEEMO ospiterà quattro “acquanauti” per 14 giorni: il capitano della missione, Luca Parmitano (veterano delle spedizioni 36-37 nel 2013), gli astronauti (ancora mai stati in orbita) Serena Auñón (NASA) e Norishige Kanai (Japan Aerospace Exploration Agency) e David Coan, Ingegnere NASA EVA. Due tecnici, che sono anche piloti professionisti, vivranno con questa crew per aiutare a far funzionare l’ambiente. La Missione, iniziata il 20 Luglio, servirà a testare alcune attrezzature (tra cui, appunto, un visore HoloLens ed un secondo visore di altro produttore) in condizioni estreme, simili a quelle in orbita, e ad abituare gli astronauti alle condizioni di gravità sugli asteroidi (gravità molto bassa) e su Marte (circa 1/3 che sulla Terra).

“Possiamo imparare molto sull’interazione tra i membri della crew e la torre di controllo”, ha dichiarato Parmitano a proposito della missione durante un’intervista. “Possiamo imparare le procedure e i modi per rendere il nostro lavoro efficace.”

There’s nothing to say: Microsoft’s augmented reality headset, the famous HoloLens, knows how to make people talk. After the demonstration at gamers’ conference, during which Microsoft showed us the future of Minecraft when implemented with augmented reality, we passed directly to the collaboration with NASA and the space missions. In fact, as already said in a previous post, HoloLens will be used on the ISS, the International Space Station, to help astronauts especially for solving technical issues; in particular it will be used in the missions to Mars, where, since of the distance, the communication are delayed (up to 24 minutes!) and this could create complications in case of malfunctioning.

A HoloLens headset would have reached already the International Space Station, but unluckily it was destroyed in the explosion of the Dragon spacecraft the 28th June. Anyway, even if not in space, the device is being tested: part of the equipment to test, in fact, was destined to be tried underwater, in the NEEMO (NASA Extreme Environment Mission Operations) station, operative 45 feet (17 meters) underwater off the coast of Key Largo, Florida.

This month NEEMO will house four “waternauts” for 14 days: the captain of the mission, Luca Parmitano (a veteran of Expeditions 36-37 in 2013), never-flown astronauts Serena Auñón (NASA) and Norishige Kanai (Japan Aerospace Exploration Agency) and David Coan, NASA EVA management office engineer. Two technicians, who are also professional divers, live with them in the habitat to run the facility. The mission, started the 20th July, will test some equipment (between which a HoloLens headset and a second headset from another manufacturer) in a extreme environment, similar to the space one, and will help the astronauts getting used to the gravity conditions on asteroids (very low) and on Mars (about 1/3 of Earth gravity).

“We can learn about interaction between crewmembers and the ground control,” Parmitano said of the mission in a televised interview on NASA Television. “We can learn about procedures and ways to make our work effective.”

Microsoft HoloLens è di nuovo sulla bocca di tutti, e questa volta ci porta nello spazio!

Il famoso visore verrà utilizzato per aiutare gli astronauti della NASA durante le missioni fuori dalla Terra: il gadget verrà testato immediatamente sulla Stazione Spaziale Internazionale ISS grazie al Sidekick Project, il progetto che mira a migliorare la vita ed il lavoro degli astronauti, specialmente per quel che riguarda l’addestramento e l’efficienza nel risolvere i problemi, grazie ad un’assistenza costante che li seguirà in ogni momento del bisogno.

Infatti HoloLens servirà proprio a questo: usato nella modalità “Remote Expert Mode”, renderà possibile la connessione via Skype tra un esperto sulla Terra e colui che indossa il visore: l’esperto vedrà con gli occhi dell’astronauta e sarà dunque in grado di aiutarlo nel momento del bisogno. Poiché nello spazio la connessione non è sempre stabile, e spesso è rallentata o in ritardo, il visore sarà operativo anche nella modalità “Procedure”, con istruzioni e video caricati in locale per aiutare gli astronauti a risolvere i problemi principali immediatamente.

“HoloLens e gli altri dispositivi di realtà virtuale e mista sono tecnologie all’avanguardia che possono aiutare a guidare esplorazioni future e fornire nuove competenze a uomini e donne che conducono le difficili ricerche scientifiche sulla ISS,” ha detto in una dichiarazione Sam Scimemi, direttore del programma ISS. “Questa nuova tecnologia può anche potenziare i futuri esploratori che hanno bisogno di maggiore autonomia per il proprio viaggio su Marte.”

Gli HoloLens verranno testati in due diversi momenti e modi:

– un visore è appena partito (il 28 Giugno) con la settimana missione di rifornimento dell’ISS; gli astronauti potranno provarlo e vedere con i propri occhi le sue potenzialità.

– gli HoloLens verranno testati durante la spedizione NEEMO (Extreme Environment Mission Operations) 20, che partirà il prossimo 21 Luglio; i visori verranno provati per due settimane nell’unica stazione di ricerca sottomarina al mondo, Aquarius, da un team di astronauti ed ingegneri.

In questo video potete dare un’occhiata ai primi test del Sidekick Project:

Microsoft’s HoloLens reaches the augmented reality news again, this time taking us to space.

The famous headset will be used to help NASA Astronauts during the missions out of Earth: they will test the gadget straight away aboard the International Space Station as part of Project Sidekick, a project that will enhance astronauts work and life, especially in the fields of training and task efficiency, through the availability of assistance when and where they need it.

HoloLens, infact, used in “Remote Expert Mode”, will make it possible to connect an expert on Earth via Skype with the wearer: the controller will see what the astronaut is seeing and so will be able to help with maintenance and problems. Since in space the connection isn’t always at its best and often delayed , the headset will also operate in “Procedure Mode”, with local instructions and videos that will help solve the main problems immediately.

“HoloLens and other virtual and mixed reality devices are cutting edge technologies that could help drive future exploration and provide new capabilities to the men and women conducting critical science on the International Space Station,” Sam Scimemi, director of the ISS program, said in a statement. “This new technology could also empower future explorers requiring greater autonomy on the journey to Mars.”

Microsoft HoloLens will be tested in two different times and modalities:

– one headset has just departed June 28, with the SpaceX’s seventh commercial resupply mission to the International Space Station; the astronauts will be able to try it and see its potentialities.

– HoloLens will be tested also during NEEMO (Extreme Environment Mission Operations) expedition 20, starting July 21, where they will be tried for two weeks in the world’s only undersea research station, Aquarius, by a team of astronauts and engineers.

Here you can see the first tests of the Sidekick Project:

Augmented Reality can be very useful for many operations; during these months, we saw it used for various purposes, sometimes on mobile devices, sometimes on headsets. If it can be so useful daily on earth, think how much it could improve the life of astronauts in space. This is why NASA is testing a pair of Augmented Reality glasses that, if successful, are going to be used on the International Space Station.

At first, NASA tried to approach repeatedly Google trying to get them to work on a pair of special Google Glasses, but the Company said they were working only on consumers.

So NASA has partnered with San Francisco-based Osterhout Design Group (ODG) to develop augmented reality glasses that could supplement computers for astronauts. The ODG Company has been building high-tech glasses for commercial and government use for the past six years, and the latest model pack HD displays and cameras, Wi-Fi, GPS, positional sensors and headphones. Currently these glasses have been used mostly for military use, but now the company, while testing also with NASA, is preparing a version for the consumer market.

The primary objective is to help astronauts fixing equipment in space: now they do that just reading printed instructions, but with these new glasses, they would be able to get the directions directly in front of their eyes since they will be uploaded in the headset. This will leave their hands free, also, making it easier to fix.

“As electronic directions and instructions replace paper checklists and longer duration missions are considered, there is a need for tools that can meet evolving demands. ODG’s technology provides an opportunity to increase space mission efficiencies and we are pleased to explore its potential in human spaceflight while also advancing its use here on earth.” said NASA Johnson Space Center Engineering Director Lauri Hansen. “Just put the glasses on and say ‘Next step,’ and you’re looking through an instruction manual”.

The glasses are currently being tested in NASA’s underwater Extreme Environment Mission Operations lab before being used on the ISS.