Come With Me

Qui ne s'est jamais senti seul·e?

ComeWithMe est une exploration ludique et virtuelle des espaces entre les gens. ComeWithMe traduit vos mouvements physiques dans un étrange monde virtuel fait de formes sculpturales animées et d'interactions virtuelles. À l'aide d'une caméra, d'une détection du corps par intelligence artificielle (LivePose), de projection cartographiée (projection mapping) et d'un environnement sonore immersif, ComeWithMe explore comment on se rapproche les un·e·s des autres, comment on se lie, et comment, parfois, on n'arrive pas à se lier aux gens qui nous entourent.

ComeWithMe prolonge mes œuvres précédentes (Closer, Common, Follow) autour des thèmes de la connexion et de la collaboration, et invite les gens à se réunir et à jouer dans l'espace physique et virtuel.

Pourquoi ça compte : technologie et lien humain

Depuis une vingtaine d'années, on a vu monter les géants des médias sociaux, et le fait de devenir « ami·e » ou de « se connecter » avec quelqu'un s'est réduit à un clic. Aujourd'hui, on est connecté·e·s et surveillé·e·s sans relâche par la technologie. Sous cette connexion de surface grandit une solitude. ComeWithMe explore les relations à travers la vision par ordinateur, un domaine de l'intelligence artificielle qui nous aide à tirer du sens des images d'une caméra.

ComeWithMe pose la question : comment êtes-vous relié·e aux gens autour de vous? Comment tendez-vous la main vers les autres, et comment tendent-ils la main vers vous?

Vivre ComeWithMe : à quoi ça ressemble

ComeWithMe prend place dans un espace physique. Un monde virtuel étrange est projeté sur les murs qui vous entourent, créant une sensation d'immersion. Vous êtes représenté·e par un avatar aquatique insolite. Quand vous bougez les bras, vous remarquez que les tentacules de l'un des avatars ondulent eux aussi. Vous pouvez déplacer votre avatar dans le monde en bougeant votre corps, et créer des liens temporaires, comme des cordes, avec les autres en vous rapprochant d'eux et en tendant la main vers eux. Vous pouvez attraper ou esquiver des sphères volantes. Avec les autres, vous naviguez dans ce monde étrange.

Résidence au Metalab

J'ai réalisé ce prototype de ComeWithMe pendant une résidence de six mois au Metalab de la SAT, en 2022, avec l'outil de détection de pose à code ouvert développé par le Metalab (LivePose) et l'outil de projection cartographiée à code ouvert (Splash). J'ai toujours adoré les résidences. Il n'y a pas de meilleure façon de s'immerger dans une communauté et de faire partie d'un monde que d'y plonger pour de vrai.

Je rêve de développer ComeWithMe plus loin, par une expérimentation plus poussée.

Pour l'instant, ComeWithMe est une installation ludique et immersive, projetée sur deux murs adjacents de l'aire d'installation, ce qui donne un sentiment visuel d'immersion. Une caméra spéciale de profondeur LiDAR est pointée vers l'aire. Des haut-parleurs sont disposés tout autour de l'installation, créant un paysage sonore spatialisé.

Sans participant·e·s, ComeWithMe est un monde solitaire, baigné d'une douce lumière violette, de formes organiques discrètes évoquant des plantes, et d'une musique douce aux longues réverbérations.

Quand les participant·e·s entrent dans l'aire d'installation, ComeWithMe prend vie. Chaque personne présente est représentée à l'écran par un « personnage » humanoïde, vibrant et organique, qui bouge ses membres en même temps qu'elle et flotte dans le monde immersif, comme un avatar virtuel.

Lorsque les personnages tendent la main vers des choses dans le monde virtuel, des cordes fluides jaillissent de leurs mains. Quand deux participant·e·s tendent la main l'un·e vers l'autre, ils et elles se retrouvent relié·e·s par des brins de corde multicolores qui ondulent, accompagnés de vagues mélodiques de son ambiant.

Les participant·e·s cherchent à tisser ces liens (ces cordes numériques ondulantes) en tendant la main les un·e·s vers les autres. De plus grands groupes peuvent se former, ou les gens peuvent se regrouper par petites grappes. En tendant mutuellement et à répétition la main, les participant·e·s renforcent des liens qui, autrement, se défont visiblement et de façon audible avec le temps. Ce délitement est lent et doucement rythmé, invitant les participant·e·s à un mouvement tout en douceur, proche de la danse.

Deux sortes de petits objets sculpturaux passent périodiquement près des participant·e·s : certains sont vifs et pointus, d'autres sont arrondis et pulsent. On évite les objets pointus, car ils rompent les liens et retirent temporairement toutes les couleurs d'une grappe. On tend la main vers les objets arrondis et pulsants, car ils libèrent de délicieuses coulées de couleurs et de sons.

Un paysage sonore ambiant et immersif offre une trame de fond qui se transforme subtilement au fil des liens qui se tissent et se défont.

Chaque groupe de participant·e·s apporte sa propre présence relationnelle à ComeWithMe; aucune rencontre ne se ressemble, parce qu'au fond, l'œuvre explore l'espace entre des personnes précises, à un moment précis. Cet espace, je le vois comme un espace aux possibilités infinies. Comment fonctionne-t-il? Comment peut-on l'activer? Que se passe-t-il quand tout un réseau de ces espaces s'anime? Qu'est-ce qui change, hors de nous et en nous, quand on se sent relié·e aux gens autour de nous?

Objectifs

Après avoir développé un prototype de ComeWithMe en 2022, mes objectifs pour 2023 portent sur une expérimentation plus profonde. C'est merveilleux d'avoir un prototype qui fonctionne, parce qu'à partir d'ici, chaque direction est une amélioration.

Mon intention, c'est d'utiliser mon prototype actuel de ComeWithMe comme échafaudage et terrain de jeu pour une recherche sur le lien, tout en expérimentant avec les technologies et les outils du Metalab. Le projet pourrait changer radicalement au fil de mes expérimentations, de mes prises de risque et de mes apprentissages.

Accessibilité

Je tiens à rendre ComeWithMe accessible au plus grand nombre de personnes possible. J'explore l'accessibilité en testant l'œuvre avec des publics variés, et je prends des décisions de conception en conséquence : la vitesse ou la lenteur, un contrôle indulgent (plutôt que précis), le fait de transmettre l'information essentielle à la fois par le son et par l'image (pour qu'on puisse participer avec l'un ou l'autre seulement), et la réduction de la charge cognitive. Cela dit, l'accessibilité est un processus continu, qui n'est jamais terminé.

Logiciel libre

ComeWithMe utilise des outils à code ouvert développés par le Metalab de la SAT : LivePose et Splash.

Communauté

Mon travail se fait toujours en communauté. J'aime apprendre et transmettre à mesure que j'apprends. Le prototype, c'est moi qui l'ai fait, mais avec le soutien de ma communauté. Un immense merci à Julia Evans (qui m'a aidée avec l'OSC), Steven Sych (art technique et mise en beauté), Kristian North (conception sonore, pour que tout sonne bien), Jonathan Carroll (qui m'a enseigné Unity), l'aînée Nina de Shane, Ida Toft, Mike Daoust (aide avec Unity), Adam Streck (aide avec Unity), Aaron Levin, Matthew Gooding et Monique Gurule (soutien au quotidien), Luis Miguel Barbosa Costa Leite (conversations sur les marionnettes), George Batchelor, Cabbibo (conversations sur la rotation), Leslie Predy et Jenn Kitagawa (tests). Aux gens du Metalab, en particulier Michal Seta (soutien d'un bout à l'autre), Alexandra Marin, Édith Viau, Emmanuel Durand, Mourad Bennacer, Christian Frisson, Nicolas Bouilllot, Farzaneh Askari, Thomas Piquet, Eduardo Meneses, Émile Ouellet-Delorme, Victor Comby, Elies Jurquet et Eva Decorps.

Come With Me

Who has never felt alone?

ComeWithMe is a playful virtual exploration of the spaces between people. ComeWithMe translates your physical movements into a strange virtual world of animated sculptural forms and virtual interactions. Using a camera, AI-based body sensing (LivePose), projection mapping, and immersive sound, ComeWithMe explores how we get closer to each other, how we connect, and how we sometimes fail to connect with the people around us.

ComeWithMe builds on my previous work (Closer, Common, Follow) on the themes of connection and collaboration and invites people to come together and play in physical and virtual space.

Why this matters: technology and connection

Over the last 20 years, we have watched the rise of social media giants, and seen the act of becoming a “friend” or “connecting” with someone reduced to a click of a button. These days, we are relentlessly connected and surveilled through technology. Underlying this superficial connection is a growing loneliness. ComeWithMe explores relationships through the lens of computer vision, a field of artificial intelligence that helps us to derive meaningful information from cameras.

ComeWithMe asks: how are you connected to the people around you? How do you reach for people, and how do they reach for you?

What is it like to experience ComeWithMe

ComeWithMe is set up in physical space. A strange virtual world is projected on the walls around you creating an immersive feeling. You are represented by a strange aquatic avatar. When you move your arms you notice that the tenticles of one of the avatars wobble too. You can move your avatar through the world by moving your body, and you can create temporary rope-like connections with others by moving closer to them and reaching for them. You can catch or evade flying spheres. Together with other people you navigate the strange world.

Metalab Residency

I made the above prototype of ComeWithMe during a 6-month residency at the Metalab at the SAT in 2022, using the Metalab-developed open source pose estimation tool (LivePose) and open source projection-mapping tool (Splash). I’ve always loved doing residencies. There’s no better way to immerse in a community and become part of a world than to literally dive in.

I’m dreaming of developing ComeWithMe further through deeper experimentation.

Currently, ComeWithMe is a playful, immersive, installation that is projected onto two adjoining walls in the installation area, creating a visual sense of immersion. A special LiDAR depth-sensing camera is pointed into the area. Audio speakers are be arranged around the installation area, creating a spatial soundscape.

Without participants, ComeWithMe is a lonely world, with soft purple lighting, subtle organic plant-like shapes, and soft, deeply reverberating music.

When participants enter the installation area, ComeWithMe comes to life. Each participant in the installation area is represented on the screen by a vibrant, organic, humanoid “character” that moves its limbs as the participant does, and floats around the immersive world, like a virtual avatar.

As the characters reach for things in the virtual world, flowing ropes emerge from their hands. When two participants reach for each other, they become connected by flowing strands of multicoloured rope and matching melodic waves of ambient sound.

Participants try to build these connections (flowing digital ropes) by reaching for each other. Larger groups can form or people can pair into smaller groups. By mutually and repeatedly reaching for each other, participants can strengthen connections, which otherwise visibly and audibly decay over time. The decay are slow and gently rhythmic, inviting gentle dance-like motion from the participants.

Two kinds of small sculptural objects float past the participants periodically: some sharp and bright, some rounded and pulsing. Participants avoid the sharp objects as these sever connections and temporarily remove all colours from a cluster. Participants reach for the rounded, pulsing objects as they create delightful washes of colour and sounds.

An ambient, sonically immersive soundscape provides a subtly shifting audio backdrop as connections form and decay.

Each participant group brings its own relational presence to ComeWithMe, no two encounters are the same because, at its core, it explores the space between specific people in a specific moment in time. I see this space as a space of incredible possibility. How does it work? How can it be activated? What happens when a whole network of these spaces becomes active? What changes occur outside of and within us when we feel connected with the people around us?

Goals

Having developed a prototype of ComeWithMe in 2022, my goals for 2023 are related to deeper experimentation. It's wonderful to have a working prototype because every direction from here is an improvement.

My aim is to use my current prototype of ComeWithMe as a scaffold and playground for research into connection while experimenting with the technologies and tools at the Metalab. The project may shift drastically as I experiment, take risks, and learn.

Accessibility

I am interested in making ComeWithMe accessible to as many people as possible. I explore accessibility through testing with diverse audiences and make design decisions accordingly about elements like speed/slowness, forgiveness of control (rather than precision), communicating critical information through both sound and sight (allowing people to engage using only one or only the other), and reducing cognitive load. All that said, accessibility is an ongoing process and is never done.

Open Source

ComeWithMe uses open source tools developed by the MetaLab at the SAT: LivePose and Splash.

Community

My work is always made in community. I like to learn and teach as I learn. The prototype was made by me, but with the support of my commmunity. Huge thanks to Julia Evans (helping me with OSC) Steven Sych (technical art and making things pretty), Kristian North (sound design and making things sound good), Jonathan Carroll (teaching me Unity stuff), Elder Nina de Shane, Ida Toft, Mike Daoust (Unity help), Adam Streck (Unity help), Aaron Levin, Matthew Gooding and Monique Gurule (daily support), Luis Miguel Barbosa Costa Leite (conversations about puppets), George Batchelor, Cabbibo (rotation conversations), Leslie Predy and Jenn Kitagawa (testing). To the people of the Metalab, especially Michal Seta (support throughout), Alexandra Marin, Édith Viau, Emmanuel Durand, Mourad Bennacer, Christian Frisson, Nicolas Bouilllot, Farzaneh Askari, Thomas Piquet, Eduardo Meneses, Émile Ouellet-Delorme, Victor Comby, Elies Jurquet, and Eva Decorps.