Nudify Apps vs Free Speech

Last week, a San Francisco attorney general sent cease-and-desist letters, demanding Apple and Google remove 13 “nudification” apps from their app stores. Nudification apps have the ability to transform ordinary photos of real people into explicit images. The apps can remove clothing, change a person’s features, place them in sexualized positions, and swap victims’ faces onto other people’s naked bodies.

While eliminating deepfake pornography sounds like a good thing, I’m not sure a complete ban is the answer. For purely personal use between two or more consenting adults, I don’t see an issue. “Remember when I use to look like this?” “I’m thinking about implants. Here’s what they would look like.” “Could you imagine if my…. “ This is all fine and well for consenting adults and perhaps even helpful in making personal health decisions. It’s free speech when not used for perversion and visual libel.

However, such apps have a much darker side. No one should fall prey to having their image nefariously altered and put on display for the world to see.

The attorney general stated app stores were violating “California’s laws that prohibit supporting services that create deepfake pornography. These images are used to bully, humiliate, and threaten women and girls. [It] has a horrific impact on one’s reputation, mental health, loss of autonomy. There have been victims who’ve been suicidal.”

With all the digital technology out there today, one would think that most deepfakes would be seen as just that – a deepfake, not real, something to be ignored. Sadly, people can be mean and ignorant, believing what is obviously false.

One of the apps mentioned by the attorney general had more than a million downloads and advertised features to sexualize images of women or make “free and uncensored” videos. His office estimated that Apple and Google have likely “made millions of dollars in fees” by ignoring the harmful apps rather than taking stronger actions or developing better detection to avoid profiting off a public nuisance.

Google states the five apps flagged on Google Play Store were suspended for violating policies against harmful content. “Google Play does not allow apps that contain sexual content, and we continually take proactive steps to detect and remove apps with harmful content. When violations are reported to us, we investigate and take swift action, which in the case of these apps has included suspending hundreds of violating apps and restricting related search terms like ‘nudify’ on our store.”

Though Apple has removed some apps flagged by researchers, the iPhone maker otherwise has remained notably silent amid calls to monitor nudification apps more aggressively. In there defense, tech experts note harmful apps have gotten better at avoiding app store removals by only promoting face-swapping features while hiding nudifying features. In 70 percent of face-swapping apps tested, nudification was possible.

Like all pornography, deepfakes can be used to enhance sexual relationships among consenting adults, or used destructively. Such software probably shouldn’t be in app store accessible to youth, but rather at an adult website. People using it for nefarious reasons should receive stiff penalties to deter any further usage.

Source used: arstechnica.com

****

Traduccion: Quillbot

La semana pasada, el Fiscal General de San Francisco envió cartas de cese y desistimiento exigiendo que Apple y Google eliminaran 13 aplicaciones de "nudificación" de sus tiendas de aplicaciones. Estas aplicaciones tienen la capacidad de transformar fotos normales de personas reales en imágenes explícitas. Las aplicaciones pueden quitar la ropa, modificar las características de una persona, colocarla en poses sexualizadas y cambiar las caras de las víctimas por las de otras personas desnudas.

Aunque eliminar la pornografía "deepfake" parece un paso positivo, no estoy seguro de que una prohibición total sea la solución. Para el uso puramente personal entre dos o más adultos que consienten, no veo ningún problema. "¿Te acuerdas de cuando yo era así?" "Estoy pensando en ponerme implantes." Así es como se verían." "¿Te imaginas si mi...?" Todo esto está muy bien para adultos con consentimiento y puede ser incluso útil para tomar decisiones sobre la salud personal. Se trata de la libertad de expresión cuando no se utiliza para fines perversos o difamación visual.

Sin embargo, estas aplicaciones tienen un lado mucho más oscuro. Nadie debería ser víctima de que su imagen sea alterada maliciosamente y expuesta a la vista de todos.

El Fiscal General declaró que las tiendas de aplicaciones estaban violando "las leyes de California que prohíben los servicios que facilitan la creación de pornografía deepfake." "Las tiendas de aplicaciones están violando las leyes de California que prohíben los servicios que facilitan la creación de pornografía con deepfakes." Estas imágenes se utilizan para acosar, humillar y amenazar a mujeres y niñas. [Esto] tiene un impacto terrible en la reputación, la salud mental y la pérdida de autonomía de las personas. Ha habido víctimas que han llegado a tener pensamientos suicidas."

Con toda la tecnología digital que existe hoy en día, uno podría pensar que la mayoría de los deepfakes serían considerados precisamente eso: un deepfake, algo que no es real, algo que debe ser ignorado. Desafortunadamente, las personas pueden ser crueles e ignorantes, y creer en lo que es obviamente falso.

Una de las aplicaciones mencionadas por el fiscal general tenía más de un millón de descargas y anunciaba funciones para sexualizar imágenes de mujeres o crear videos "gratuitos y sin censura". Su oficina estimó que Apple y Google probablemente "han ganado millones de dólares en comisiones" al ignorar estas aplicaciones dañinas, en lugar de tomar medidas más decisivas o desarrollar mejores sistemas de detección para evitar beneficiarse a expensas del malestar público.

Google afirma que las cinco aplicaciones marcadas en Google Play Store fueron suspendidas por violar las políticas contra contenido dañino. "Google Play no permite aplicaciones que contengan contenido sexual, y tomamos medidas proactivas de manera continua para detectar y eliminar aplicaciones con contenido dañino." Cuando se nos notifica sobre violaciones, investigamos y tomamos medidas rápidas, lo que en el caso de estas aplicaciones ha incluido la suspensión de cientos de aplicaciones infractoras y la restricción de términos de búsqueda relacionados, como "nudify," en nuestra tienda.

Aunque Apple ha eliminado algunas aplicaciones señaladas por los investigadores, el fabricante del iPhone ha permanecido notablemente en silencio ante los llamados a monitorear más estrictamente las aplicaciones de "nudificación". En su defensa, los expertos en tecnología señalan que las aplicaciones dañinas han mejorado su capacidad para evitar ser eliminadas de la App Store, promoviendo solo las funciones de intercambio de rostros y ocultando las de "nudificación". En el 70% de las aplicaciones de intercambio de rostros analizadas, era posible la "nudificación".

Como toda la pornografía, los "deepfakes" pueden ser utilizados para mejorar las relaciones sexuales entre adultos consentidos, o pueden ser utilizados de manera destructiva. Este tipo de software probablemente no debería estar disponible en la tienda de aplicaciones, al alcance de los jóvenes, sino en un sitio web para adultos. Las personas que lo utilicen con fines maliciosos deberían recibir severas penas para disuadir cualquier uso futuro.

Fuente utilizada: arstechnica.com

Get in touch:

newsfolder19@protonmail.com