G2 # Rabisco - Desenhe seus personagens e controle pela voz e expressões faciais

Que tal transformar qualquer desenho em um personagem animado, em poucos segundos? Com o Rabisco, você pode dizer como os personagens vão se movimentar, e controlar as suas falas e expressões faciais do jeito mais fácil possível: com a sua própria voz e expressões faciais.

O Rabisco é um jogo, um sistema, e uma forma de transformar as crianças - e por que não adultos também - em animadores de um jeito fácil e divertido.

Para isso, o Rabisco tem três funções:

• o desenho, onde a criança cria, um a um, os personagens e elementos que deseja animar.
• o “rigging”, onde o sistema reconhece elementos desenhados e calibra com ajuda da criança
• a animação a partir do reconhecimento facial: as expressões e falas da criança são transpostas para os personagens.  

Fase 1 - Desenho

Caneta Rabisco

Uma caneta digital e analógica é o começo de tudo: com ela, a criança pode desenhar em qualquer papel. A caneta registra e digitaliza os traços, que são emitidos wireless para o aplicativo Rabisco - em um computador, tablet ou até mesmo em uma TV digital ou telão. Se a criança preferir, ela pode usar a caneta rabisco direto em um tablet - é só mudar a pontinha para a versão digital.

Caso a criança não esteja online, é possível memorizar os desenhos feitos no papel e fazer o upload no futuro, como já acontece com a caneta Jot Script da Evernote.

Quando terminar o desenho, é só clicar no botao no topo da canetinha, que o upload é feito. Se o pequeno animador quiser fazer mais de um personagem, ele deve fazer o upload para cada um deles em separado. Então digamos que ele tenha feito esse personagem aqui, o Totó:

Fase 2 - Rigging

Assim que o Totó for digitalizado, ele já passa por um rigging inicial. O desenho pode ser um rosto, um corpo inteiro ou até um monstro com vários braços, patas, rabo ou tentáculos. 

O algoritmo do Rabisco vai reconhecer esses elementos e criar movimentos para eles. Esse reconhecimento pode não ser perfeito nesse primeiro render pois o próprio desenhista vai calibrar essas primeiras interações. 

Isso acontece assim em uma conversa super simples:

O Totó, já animado, cumprimenta o desenhista. Só que ele ainda não tem nome. É a Lola, a desenhista, que vai dar o nome para ele nessa fase:

• Oi Lola! Tudo bem?
• Oi!

• Como você quer me chamar?
• Totó.
• Totá?

Nesse momento, a tela mostra o nome identificado escrito. A desenhista pode escolher falar o nome mais uma vez ou digitar na interface ou escrever com a caneta o nome correto. A partir daí, o Totó vai começar a conferir o rigging feito automaticamente.

• Lola, esses são as minhas patinhas?
• São!
• E essas são as minhas orelhas?
• Não, totó! Esses são chifrinhos.
• Chifres?
• É!

O reconhecimento de voz vai incluir vocabulário infantil e ser atualizado à medida que novas pessoas vão usando o aplicativo. A partir da confirmação da Lola, as orelhas do Totó passam a ter o comportamento de chifres.

Caso alguma parte do corpo não possa ser reconhecida, o sistema pergunta se a criança quer mostrar como essa parte do corpo se movimenta. Se a criança não quiser, ele cria um comportamento aleatório. Caso a criança queira, uma interface bem simples de rigging aparece na tela:

A Lola vai "colar" os pontinhos na parte do corpo e fazer com que eles se mexam. Depois disso, se ainda não deu, vai dar o nome à parte do corpo e ela entra para um cadastro geral de rigging, que pode ser usado por outros usuários.

Banco de dados de personagens/rigging

Nesse cadastro, sempre que possível, vamos tentar diferenciar o nome do personagem e sua "categoria" (se ele é um animal real ou um personagem imaginário): um cachorro, um dragão, um pônei ou uma formiguinha.

Ao ser salvo na nuvem (o banco de dados geral do rabisco), que acontece depois da confirmação do rigging, o personagem vai ser unido a personagens da mesma categoria, o que vai ajudar o sistema a compreender melhor o tipo de personagem e melhorar as interações a cada novo uso.

Cenário e trilha

Lola pode desenhar ou escolher um cenário já pronto do sistema e trilha sonora já pronta ou fazer o upload ou 'linkar' um arquivo de música, a partir daí, pode contar sua história.

Fase 3 - Animação

Movimento, voz e reconhecimento facial

A partir daí, uma historinha pode começar a ser contada. Lola conta a história e os personagens vão reagindo em tempo real. Para isso, o mesmo sistema de reconhecimento de voz vai ser útil, aliado a um banco de dados de movimentos.

Cada personagem vai ter as falas gravadas pela criança e a voz vai ser ligeiramente alterada (tom, frequência, velocidade etc) para que os personagens soem diferentes.

Para diferenciar comandos (o que o personagem deve fazer) de falas (o que o personagem vai falar) é só a Lola apertar um botão no topo da caneta rabisco. Tudo o que ela enquanto o botão estiver apertado vale como fala. O sistema vai repetir a fala ao fim da gravação, junto com a animação do personagem, para conferir se é isso mesmo. É só a Lola confirmar que sim ao final da reprodução.

Além das animações e movimentos do corpo, os rostos vão ter animações inspiradas nos movimentos faciais da criança. Ou seja: enquanto a criança emite a fala do personagem para a gravação, suas expressões faciais são reconhecidas e transformadas nos movimentos dos elementos do rosto do personagem: olhos, sobrancelha e boca.

Um dos desafios desse processo é fazer com que os movimentos sejam naturais na animação. Para isso, é importante que o sistema reconheça sutilezas nos movimentos faciais. Já existe uma ferramenta da Microsoft, por exemplo, que identifica sutilezas e mistura de emoções nas expressões faciais.

É importante que o sistema não somente capture as expressões e as reproduza nos personagens. O Rabisco deve interpretar e traduzir as emoções registradas e as recrie nos personagens de uma forma simpática, talvez até um pouco mais exagerada que o normal. 

Isso porque nem todas as crianças têm uma desenvoltura grande em expressões faciais e isso não precisa comprometer a qualidade da animação final.

As estorinhas criadas pelas crianças podem ser compartilhadas pelas redes sociais, enviadas para amigos ou projetadas para visitas na televisão digital da sala. As crianças também podem compartilhar versões editáveis de suas criações para amigos, ou seja, os arquivos “abertos”, com todos os componentes inclusos em maior definição. 

Assim, os amigos podem modificar, continuar a estorinha ou até criar filminhos totalmente novos a partir dos personagens do amigo. Criações coletivas remotas também são possíveis e recomendadas - um amigo pode fazer o cenário enquanto outro desenha os personagens e um terceiro anima e faz as falas. Depois, todos assistem a versão final, mesmo a quilômetros de distância.

--

Depois da apresentações, no dia 19 de Novembro, a Wired publicou uma notícia super interessante sobre uma pesquisa relacionada a desenhos infantis. Uma cientista da Ecole Polytechnique Federale de Lausanne, na Suiça, tem analisado desenhos de crianças de idades e países diferentes e comparado as variações de elementos como a àrea da página que as crianças preferem desenhar, a intensidade das cores, e a complexidade dos rabiscos infantis. 

A equipe faz uma "média" dos desenhos e compara as médias de diferentes grupos de crianças. Os aprendizados são bem interessantes e mostram que, em certas idades, os desenhos ficam mais ou menos complexos e que existem semelhanças de estrutura dos desenhos entre culturas parecidas. 

Caso o nosso Rabisco tenha oportunidade de se tornar um produto internacionalmente comercializado, essas são questões que devem ser analisadas com bastante cuidado. 

--

Outra referência que encontramos algum tempo depois é o aplicativo "Draw Your Game", para Android. 

A ideia de transformar um desenho do papel para o digital é a mesma, mas nesse app ela é bem mais específica. O usuário vai criar um jogo de plataforma. 

Para isso, ele tem quatro "building blocks": o personagem do jogador, o cenário, objetos e inimigos. Cada elemento deve ser desenhado com uma cor específica - o jogador em azul e seus inimigos em vermelho; o cenário em preto e objetos em verde. 

Depois de desenhada em papel essa tela do jogo com todos os elementos, ela deve ser fotografada e é convertida pelo app em uma fase jogável. Cada elemento adquire um comportamento específico, de acordo com a cor em que foi desenhado. 

Assim:

Apesar de ser uma ideia mais restrita que o Rabisco, porque não deixa o usuário livre para desenhar o que quiser, esse app é uma ótima referéncia de funcionalidade por bastante claro sobre o que é e não capaz de fazer. Outro ótimo exemplo a considerarmos caso continuemos desenvolvendo esta ideia.