[Actu] L'Université de Cambridge étudie le risque des super-intelligences dans Civilization V

Répondre
Partager Rechercher
Uther a publié le 8 janvier 2018 cette actualité sur JeuxOnLine :

Citation :
https://jolstatic.fr/www/captures/1796/1/128271-240.png
L'intelligence artificielle est de plus en plus présente dans nos vies et certains s'en inquiètent. Le Centre d'étude des risques existentiels de l'Université de Cambridge illustre les effets possibles de l'IA sur l'humanité dans un mod pour Civilization V.

C'est une évidence, le développement des intelligences artificielles s'inscrit dans les grands chantiers technologiques d'avenir, les IA trouvent d'ores et déjà de plus en plus d'applications dans nos vies quotidiennes et...

Une réaction ? Une analyse ? Une question ? Ce fil de discussion est à votre disposition.
les civ ont historiquement permis de test des scenarios apocalyptiques
une voie supplémentaire encore un peu trop hollywoodienne donc peu crédible

perso j'aurai préféré que les gars de Cambridge se sortent les doigts pour créer une vrai IA dans les jeux vidéo , certe c'est un projet en cours (openAI) mais ça avance très lentement
mais ça fait toujours plaisir que des universitaires utilisent de bon jeux dans leurs recherches

Dernière modification par egos ; 09/01/2018 à 01h03.
C'est un peu de la foutaise à ce stade quand on sait que le Pentagone comme d'autres entités militaires étrangères ont toutes déclarées que des situations de crise ( type crise des missiles de Cuba, Corée du Nord ) excluait toutes décisions préprogrammées donc toutes interventions d'une IA ou d'un quelconque programme.

Le feu nucléaire est aujourd'hui entre les mains d'hommes et c'est bien heureux. Ce que ces états majors savent également, c'est qu'une IA prendra une décision unilatérale lorsque le point de non retour est atteint alors que toutes les études militaires occidentales montrent que 30% des "gens" responsables de la mise à feu d'un missile balistique intercontinental nucléaire n'appuieront pas sur le "buzzer rouge"au moment crucial.

D'autant que la prise de décision est rapide quand on sait qu'une charge nucléaire française type M51, M52 vole à MACH 23.0 et traverse l'Atlantique en 20mn.

C'est à consentir qu'1 tier des effectifs ne feront pas leur boulot le jour J ( cas de conscience ) que l'humanité ne courra pas à sa perte.

Un très bon film américain des années 80 a déjà traité ce sujet mettant en scène une IA communiquant volontairement de fausses informations d'attaques soviétiques pour amener le Pentagone à déclencher une riposte nucléaire non justifiée.
On peut raisonnablement imaginé qu'un IA soit pire qu'un IH ? (intelligence humaine, parait que ça existe, on en a déceler des traces).

Une IA déréglée provoquerai .... ?
Un dérèglement climatique ?
Des guerres pour du pétrole ?
Des menaces de guerres nucléaires à base de "la mienne est plus grosse que la tienne" ?
L'interdiction des voitures sur les quais de la seine ?

C'est dingue.

Dernière modification par Oopsrongchan ; 09/01/2018 à 16h17.
Citation :
Publié par Goldencrown
Un très bon film américain des années 80 a déjà traité ce sujet mettant en scène une IA communiquant volontairement de fausses informations d'attaques soviétiques pour amener le Pentagone à déclencher une riposte nucléaire non justifiée.
C'est pas vraiment ce qui se passe dans war games non
Citation :
Publié par Makhno l'exilé
C'est pas vraiment ce qui se passe dans war games non
C'est bien le titre de ce film... merci pour ce rappel. Dans ce film d'anticipation, on y voit une IA totalement autonome , prédictrice et sur la fin paranoïaque donnant volontairement de fausses informations d'une attaque nucléaire soviétique suite à l'intervention inopinée d'une jeune hacker prodige qui devra mettre l'IA hors service...avec un jeu contre lequel l'IA jouera contre elle-même jusqu'à l'autodestruction...
C'est bien cela..
Au delà , du contexte du film, la question de l'IA se posait en 1983 , son autonomie de réaction et son incapacité à ne pas prendre d'initiative, à l'inverse, sa capacité à prendre des initiatives non sollicitées.
Ben non.
C'est un gros ordi qui est censé prédire les effets d'une guerre atomique.
Un hacker rentre dans le réseau et dérègle le bazar en croyant jouer à un jeu.

De mémoire, y'a pas d'IA. Et encore moins d'IA malintentionnée.

Si tu veux une IA qui déconne, c'est plutôt dans 2001 que tu la trouveras.

Après, de mémoire (qui flanche, corrigez moi), dans mes lectures, j'ai plutôt vu beaucoup de bonnes IA faites d'amour et d'empathie (mais pas que... ok)
Trilogie du Neuromencer, les Cantos d'Hypérion (les loups, les Tigres et les ours) et dans le cycle d'Ender, où si je me souviens bien, une IA se sacrifie pour sauver le héro.

Bref, on a droit aux inévitables conneries catastrophistes réactionnaires du genre "les jeux vidéos rendent épileptiques", "les consoles abiment les TV" etc...
Pendant ce temps là, le niveau de l'eau monte, et on s'en fout. Ah non, on augmente le prix du gasoil... on est sauvés.

Dernière modification par Oopsrongchan ; 09/01/2018 à 16h23.
Citation :
Publié par Oopsrongchan
Pendant ce temps là, le niveau de l'eau monte, et on s'en fout. Ah non, on augmente le prix du gasoil... on est sauvés.
Franchement , moi qui vit à la montagne, ça m'arrange. J'aurais moins de km à faire pour me rendre en bord de mer et taquiner les moules et autres crustacés. Il faut rester positif quoiqu'il advienne...

Et plus nous restons sur JOL, plus nous consommons des watts/heure, donc notre responsabilité est collective...
Citation :
Publié par Goldencrown
Franchement , moi qui vit à la montagne, ça m'arrange. J'aurais moins de km à faire pour me rendre en bord de mer et taquiner les moules et autres crustacés. Il faut rester positif quoiqu'il advienne...
hahaha...
Malheureusement, y'aura plus que des méduses dans l'eau.

En fait, comme tout le monde, je me suis pas donné la peine de lire l'article...
Ce mec est complètement con en fait.
Il a décidé que les IA sont foncièrement nuisibles... sur quelles bases ?
Et d'en avertir les gens, qui pauvres fous, ne se rendent pas compte du risque que l'humanité coure.

Tiens, je vais faire un mod, où la diplomatie entraîne inévitablement une guerre nucléaire provoqué par un allié schizophrène.
Bien la preuve que le diplomatie, c'est pour les hippies, rien ne vaut une bonne guerre préventive.
Message supprimé par son auteur.
Message supprimé par son auteur.
Citation :
Publié par Quaedam
pour ceux qui aiment les échecs, ou les jeux de logique, renseignez-vous sur AlphaZero (ce n'est pas AlphaGo, c'est beaucoup mieux) : https://en.wikipedia.org/wiki/AlphaZero
Un exemple ici :


On a AlphaZero vs l'un des meilleurs programmes d'echecs que l'humanité est capable de concevoir par elle-même, elle pense légitimement bien connaître le jeu puisqu'elle y joue depuis un millénaire, et ça fait des décennies qu'on code des programmes d'échecs.

Depuis la fameuse victoire de Deep Blue sur Kasparov on sait que les programmes dépassent les humains à ce jeu, mais là où depuis plusieurs années, les programmes se tirent la bourre dans le haut du panier on pensait avoir atteint un certain sommet.

AlphaZero bouleverse notre prétention à croire que nos programmes fait-main avaient le fin-mot de l'histoire.
On a aucune idée (ni même les gens qui l'ont codé) comment AlphaZero fonctionne, on sait juste que ça pulvérise tout ce qui existe dans les jeux de logique, en ne connaissant rien d'autre que les règles de base d'un jeu (0 base de donnée, tables d'ouvertures, etc).
Effectivement c'est une des plus grosse perf de des dernières années mais la seul grosse difference avec alphago v1 c'est le faite que l'IA a appris contre elle même ca et un le nombre de couche (pas encore bien saisi la difference )
d’ailleurs la prochaine étape c'est starcraft et j'ai hâte de voir ca

Par contre notre ignorance n'est pas que pour les résultats d'alphazero mais tout les autres réseaux de neurone deep, convolutionnal ect .... la fameuse boite noire
Ça participe pas mal a la crainte de cette techno , ca et ses progrès très rapides .....

pour essayer l'apprentissage par renforcement dans les jv y a unity qui a sorti un asset aussi

tu bosses sur ces sujets Quaedam ?

Dernière modification par egos ; 10/01/2018 à 00h13.
Message supprimé par son auteur.
Citation :
Publié par Quaedam
AlphaGo faisait déjà des parties contre elle-même ^^
La grosse différence c'est qu'AlphaGo comprenait des fonctions développées par des humains et a appris à jouer grâce à l'analyse de parties humaines.
AlphaZero n'a aucune fonction spécialisée ni aucun coup joué par un humain en mémoire, ça fait de l'apprentissage non supervisé.
alpha go a entrainé son reseau de neurone avec 150K partie d'humain , alpha zero a apris contre elle meme c'est ca la grosse difference c'est ce qu'on appel de l'apprentissage par renforcement
Non supervisé ca veut juste dire que le résultat des partie n'est pas spécifié par un opérateur humain

Citation :
Publié par Quaedam
Les possibilités paraissent infinies, l'IA pourrait théoriquement maîtriser et nous battre à n'importe quel jeu existant, peut-être même un aussi complexe et rapide qu'un FPS, comme Overwatch.
c'est l'objectif de l'apprentissage par renforcement mais pour gagner a un jeu comme overwatch qui est du team play y a encore de la marge il suffit de voire pour dota2 en 1vs 1 l'IA explose l'humain mais pas du tout en 5 vs 5



Citation :
Publié par Quaedam
Non mais j'aimerais bien, ça m'intéresse ^^
Ce qui me dégoûte un peu est de voir que Google a réussit ce miracle d'AlphaZero en partie grâce à la puissance de calcul qu'il a à sa disposition, que la population ne peut pas s'offrir...
C'est vraiment pas des gentils, au lieu de mettre en Open-Source ou même en Freeware une version publique d'AlphaZero ils gardent tout pour eux.
la puissance de calcul est effectivement impressionnante dans le cas d' alpha zero mais pas besoin d'aller aussi loin pour l'utiliser
y a des librairies au top tensorflow de google , pytorch de facebook

le plus compliqué c'est surtout de les utiliser dans des cas concret
faut aps oublier que le go les échecs sont des jeux sans aléatoire en 1vs 1 pour passer au niveau sup l'objectif c'est plus de trouver des protocoles d'apprentissage comme le Curriculum Learning
Message supprimé par son auteur.
"Science sans conscience n'est que ruine de l'âme" Pantagruel de Rabelais

L'éthique et la morale sont-elle virtualisables ?
L'éthique, la définition du bien du mal, est dictée par notre éducation, notre environnement. Elle est différente selon les civilisations, les régions dans le monde.
Un militaire qui tue pour sauver c'est bien ? Même si la victime est un dommage collatéral civil.
Cette victime va t elle engendrer des représailles ? Un retour de boomerang dans le temps ? Combien de temps ?
Pour comprendre ces mécanismes et faire preuve de réserve, cela relève de la conscience.

Une machine peut-elle devenir consciente ? Raisonnable ?
Tout être vivant connait la peur ou le doute par exemple qui sont dictés par la raison même.

Nous n'avons pas forcément les bonnes réponses mais cela n’empêche pas de se poser les bonnes questions.
Pour ma part nous ne pouvons pas laisser les choses évoluer seules, il faut des contre-pouvoirs et des niveaux de contrôle c'est le cas pour les humains après des siècles d'apprentissage ça doit être le cas pour le virtuel qui n'a que quelques décennies, en somme aucune expérience ni aucun retour.

Dernière modification par Tojaro-Kun ; 10/01/2018 à 18h10.
Citation :
Publié par Quaedam
AlphaGo a aussi fait du renforcement en jouant contre elle-même.
effectivement mon message était pas très clair je voulais illustrer la difference de méthode au niveau du démarrage de l'apprentissage ca semble logique que l'ia finisse par jouer contre elle meme
je crois que dans la première version d'alpha go c’était surtout parcque ils avaient pas assez de de données pour des joueurs de haut niveau

Citation :
Publié par Quaedam
Ou qu'il n'y a aucune base de donnée à l'origine ^^
subtile nuance et au final ca revient au meme oui
tu peux ne pas avoir de donnés et faire du supervisé c'est le cas dans openai je crois ou il faut fixer les notions de victoire défaite
Mais dans le cas de alpha zero ce qui me choque c'est qu'il parle de non supervisé mais il ont "expliqué" les règles a l'algo donc normalement c'est du supervisé ....

Citation :
Publié par Quaedam
Des librairies mais pas l'hardware, c'est comme vouloir miner du Bitcoin avec un GPU : c'est devenu contre-productif.
J'espère qu'on aura accès à ce genre d'hardware bientôt parce qu'en l'état actuel, là où Google a eu besoin de 4H pour laisser AlphaZero apprendre les échecs, on aurait besoin de siècles.
Alors faut farmer de l'ether
ca illustre bien l'idée : le hardware ne fait pas tout , en tout cas beaucoup bossent sur d'autre approche que de tout miser sur le hardware style curriculum learning
Le titre est trompeur c'est bien dommage, j'ai cru que ça parlais de parties jouées par une super IA qui choisi systématiquement de détruire l'adversaire par la force pour gagner la partie, en fait c'est juste un vulgaire mod qui ajoute des technos parlant de l'IA en fin de game qui te donne un avantage pour mieux te faire perdre ensuite, avec comme message sous-jacent "houlala les IA c'est dangereux". Ouf, nous sommes sauvés (où est l'étude la dedans?)
Répondre

Connectés sur ce fil

 
1 connecté (0 membre et 1 invité) Afficher la liste détaillée des connectés