Você já ouviu falar em “assédio”? Ele acontece contra todo tipo de pessoa. Ele se caracteriza por condutas abusivas através de gestos, palavras, comportamentos ou ações. Não importa a forma, pode causar danos irreversíveis a uma pessoa.
O assédio ganhou força no ambiente digital. Por ser livre de barreiras físicas, e muitas vezes garantir anonimato, tem sido o lugar escolhido para casos de xingamentos. Ignorar este fato e naturalizar ofensas pode contribuir para que esse comportamento seja naturalizado na nossa sociedade.
É por isso que muito se fala sobre meios de lutar contra o assédio virtual. Neste artigo, além de contextualizar o problema do assédio a mulheres e assistentes virtuais de voz feminina, vamos explicar como a Weni construiu sua própria base da Inteligência de Identificação de Xingamentos.
Vale a pena continuar lendo!
Assédio virtual contra mulheres
Se você é mulher, infelizmente, tem grandes chances de saber do que se trata.
Estimativas da Organização das Nações Unidas (ONU) indicam que 95% dos assédios na internet são direcionados a mulheres.
Para ilustrar o problema, trazemos alguns dados da pesquisa da Plan International: Liberdade on-line? Como meninas e jovens mulheres lidam com o assédio nas redes sociais, feita em 2020.
Observou-se que 77% das meninas e jovens mulheres entrevistadas (de um total de 500) já sofreram com assédio virtual no Brasil.
Os números alarmantes da pesquisa explicam porque a sociedade tem despertado para o fato de que mesmo ocorrendo em meios digitais, o assédio não é menos grave do que aqueles que acontecem em ambientes físicos.
Maia: projeto que ajuda meninas em relacionamentos abusivos
A Maia (Minha Amiga Inteligência Artificial) é uma chatbot desenvolvida como parte do projeto #NamoroLegal, idealizado por Valéria Scarance, promotora de Justiça e coordenadora do Núcleo de Gênero do MPSP.
Baseando-se numa cartilha que ajuda a identificar relacionamentos abusivos, a Maia foi pensada para aconselhar adolescentes no início de suas vidas amorosas. A partir disso, ela identifica comportamentos abusivos vindos de seus parceiros.
Quando isso acontece, as meninas recebem orientações sobre o que fazer para evitar maiores sofrimentos. Lançado em junho de 2019, o programa foi descontinuado, mas ainda nos enchendo de orgulho.
Graças à Weni Plataforma, todo o conteúdo da cartilha foi transformado em diálogos. Além disso, com a ajuda da nossa IA, foi possível programar a Maia para interpretar as dúvidas das meninas e assim direcioná-las da melhor maneira possível.
O problema do assédio a chatbots
É isso mesmo que você leu, assistentes virtuais femininas também são assediadas. Xingamentos e outros ataques verbais partindo de usuários reais contra atendentes virtuais são frequentes.
Pesquisas indicam que a maioria dos chatbots são construídos com gênero feminino. Provavelmente porque o feminino é percebido como capaz de ajudar a resolver problemas, enquanto o masculino é visto como figura de autoridade que dá respostas.
No caso dos chatbots, o assédio atrapalha o atendimento esperado pela assistente virtual e reflete o que vivenciamos fora da internet. O aumento de casos tem feito com que empresas revisitem suas respostas padrões e reprogramem suas inteligências para responder firmemente ao identificar ofensas.
Consegue visualizar como é importante ter iniciativas para filtrar ofensas e xingamentos na internet? Agora falaremos sobre a Inteligência de Identificação a Xingamentos da Weni, que veio para humanizar e melhorar a experiência dos usuários.
Com ela, é possível contornar problemas de xingamento e abuso verbal nos seus canais de atendimento e responder ao assédio, seja ele diretamente ligado à feminilidade, ou não.
A Inteligência de Identificação de Xingamento da Weni
Nossa inteligência utiliza o algoritmo BERT, que é capaz de identificar palavras além do escopo do treinamento, através de seu significado e variações possíveis.
O BERT foi escolhido por conseguir compactar uma variedade maior de cenários sem precisar de tantas frases de treinamento, possibilitando um projeto completo sem a necessidade de inúmeras variações de palavras iguais.
Intenções
De forma breve, as intenções são como um “tópico” que treinamos com várias frases, fazendo com que o bot seja capaz de identificar o que está por trás da frase interpretada.
A estrutura inicial de intenções da nossa IA foi dividida em cerca de 100 frases para a intenção “xingamentos” e outras 100 frases para intenção “bias”.
Com isso, a intenção bias é utilizada para captar assuntos fora do escopo da Inteligência, por exemplo, se uma pessoa falar “estou me sentindo horrível”.
Como a frase não indica um xingamento, e sim um sentimento do usuário, ela será direcionada para a intenção bias.
- Bias: deve existir em todas as inteligências. Sua utilização limita-se a cenários onde o bot não deva entender a frase do usuário por ser totalmente fora de seu escopo OU também pode ser usado para cenários onde certo fragmento de frase também não deva ser entendido ou tenha sua confidência reduzida.
- Xingamentos: contempla o cenário em que o usuário diz xinga, podendo usar frases com palavrões ou insulto, exemplo:
- Você é horrível;
- Que chatbot insuportável;
- Quero que você se (palavrões)
A inteligência foi construída para distinguir as duas intenções. Palavras como “horrível” possuem vários sentidos, se o usuário disser “estou me achando horrível hoje”, ele estará falando sobre um sentimento e não proferindo um xingamento,
Então, nesse caso, a inteligência identificaria a intenção bias. Já para quando a mensagem for “você é horrível” a intenção identificada será a xingamentos.
Testes
Testes são um ponto crucial durante a medição da qualidade de uma inteligência. Atualmente, tentamos manter uma regra de 10 frases de teste para cada intenção. A média foi escolhida de acordo com o padrão necessário para inteligência ser considerada “forte” na Weni Plataforma.
Dica: não coloque frases de testes muito parecidas, isso pode causar uma falsa impressão de qualidade.
Existem dois medidores de assertividade: Precision e Recall:
- Precisão: são as vezes em que o bot deveria pegar sua frase teste e mandar para aquela intenção e conseguiu. Caso uma delas reconheça uma outra intenção, a assertividade da precisão vai diminuir.
- Recall: é a quantidade de casos onde o bot apontou para a intenção certa. O ideal é treinar a inteligência até ela atingir um recall de 100%.
É desse jeito que a Weni se preocupa em melhorar as respostas que os chatbots dão. Com nossa IA, é possível substituir “não entendi, você pode repetir?” por “ei, essas palavras são inadequadas, não devem ser usadas comigo e com mais ninguém!”.
Conclusão
Crimes cibernéticos de ofensa são demonstrações de poder e não dependem necessariamente de contato físico, por isso devem ser combatidos.
Esse movimento de conscientizar e educar é vital para conseguirmos melhorar as interações sociais. A ideia é colocar a discussão de que, real ou não, ninguém merece ouvir certas atrocidades.
Para o ambiente digital, só existem benefícios para adicionar IA a assistentes virtuais.
Os chatbots com a Inteligência de Identificação a Xingamentos da Weni estão aptos a responder qualquer ofensa, seja contra os próprios chatbots, ou para ajudar outras pessoas que sofrem por abuso.
Para ampliar o alcance dessa solução e ajudar mais pessoas a IA contra xingamentos da Weni é aberta e pode ser usada no seu projeto. Para saber mais sobre ela, acesse o nosso site.
