PaLM ist ein Sprachmodel mit 540 Billionen Parametern, \u00fcber das die Forscher einleitend schreiben<\/a>:<\/p>\n\n\n\n We demonstrate continued benefits of scaling by achieving state-ofthe-art few-shot learning results on hundreds of language understanding and generation benchmarks. On a Unabh\u00e4ngig davon, ob man ein Sprachmodell als echte KI bezeichnen will: Es \u00fcbertrifft bereits die durchschnittliche menschliche Leistung im BIG-bench<\/a> benchmark. Damit h\u00e4tte es im Verbraucher-Umfeld bereits einen Nutzen und vielf\u00e4ltige Einsatzm\u00f6glichkeiten. Es ist kein Zufall, dass Forbes erst am 27.03.2022 den Artikel A Wave Of Billion-Dollar Language AI Startups Is Coming<\/a> <\/em>brachte. Es folgen einige Fragen, die PaLM gestellt wurden:<\/p>\n\n\n\n Input:<\/strong> Michael is at that really famous museum in France looking at Model Output:<\/strong> The most famous painting in the Louvre is the Mona Bei obiger Antwort gibt es noch Schw\u00e4chen: „Leonardo da Vinci is from Italy“ hat keine Relevanz. Der Turtle hei\u00dft lediglich Leonardo.<\/p>\n\n\n\n Input:<\/strong> Guido was writing a Python program. He keeps getting confused by <\/p>\n\n\n\n Input:<\/strong> Trevor has wanted to see the mountain with all of the heads on it Falls jemand KI kleinreden will, bitten Sie ihn einfach um die Beantwortung dieser Fragen. <\/p>\n\n\n\n Folgende Frage erfordert das Assoziieren von Farben mit Gef\u00fchlen.<\/p>\n\n\n\n Input:<\/strong> When I found out my grandma was in the hospital I felt a Das Erkl\u00e4ren von Witzen finde ich noch etwas beeindruckender, denn man muss viel freier assoziieren k\u00f6nnen, darf dabei jedoch nicht ins Beliebige abdriften.<\/p>\n\n\n\n Input:<\/strong> I was going to fly to visit my family on April 6th. My mom said Das ist ein simpler Witz, der f\u00fcr Menschen leicht verst\u00e4ndlich ist. Aber ich h\u00e4tte nicht erwartet, dass eine KI erkl\u00e4ren k\u00f6nnte, weshalb jemand sein Flugdatum \u00e4ndert. Der in Form einer logischen Konsequenz aufgebaute Satz „So now I’m flying in on April 7th.“ ergibt nur Sinn, wenn die innere Einstellung des Sprechers ber\u00fccksichtigt wird. Ich nehme an, dass wir mit unseren zuk\u00fcnftigen Roboterfreunden (falls es eine solche Zukunft f\u00fcr uns gibt) sehr nat\u00fcrlich und ironisch werden reden k\u00f6nnen. Bis vor Kurzem h\u00e4tte ich das noch nicht erwartet.<\/p>\n\n\n\n Input:<\/strong> I tried 10,000 random restarts of my neural network, but I was <\/p>\n\n\n\n Input:<\/strong> What’s the difference between a zebra and an umbrella? One is a DALL-E-2 kann zu einer nat\u00fcrlichsprachlichen Beschreibung ein Bild generieren. <\/p>\n\n\n\n Diese Bilder zeigen sehr deutlich, dass nat\u00fcrliche Sprache verstanden wird. Sie zeigen aber auch:<\/p>\n\n\n\n Die Quelle der Bilder ist https:\/\/openai.com\/dall-e-2\/<\/a>, wo man sich einige Eingaben zusammenklicken und Beispiele sehen kann. DALL-E-2 ist der \u00d6ffentlichkeit noch nicht zug\u00e4nglich.<\/p>\n\n\n\n Einige Forscher und privilegierte Benutzer nehmen von der Netzgemeinde Beschreibungen entgegen und \u00fcbergeben sie DALL-E-2:<\/p>\n\n\n\n <\/p>\n\n\n\n Man sollte sich noch einmal ins Ged\u00e4chtnis rufen: Diese Bilder sind Originale, die von einer KI angefertigt wurden.<\/p>\n\n\n\n Ein Beispiel des Variantenreichtums von DALL-E-2 gibt das Buch 1111101000 Robots<\/em><\/a> von Ben Barry, welches 1000 Roboter-Bilder enth\u00e4lt, die von der KI generiert wurden.<\/p>\n\n\n\n Noch ein kleiner Abstecher zu NVIDIAs Entwicklungen, die Bildmanipulationen zum Kinderspiel machen:<\/p>\n\n\n\n Sie sehen gerade einen Platzhalterinhalt von YouTube<\/strong>. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfl\u00e4che unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.<\/p> Mehr Informationen<\/a> <\/div> Sie sehen gerade einen Platzhalterinhalt von YouTube<\/strong>. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfl\u00e4che unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.<\/p> Mehr Informationen<\/a> <\/div> Die Fortschritte bei Text- und bei Bildgenerierung sowie beim Verst\u00e4ndnis entsprechender Medien stellen uns bald vor juristische und soziale Probleme ungekannten Ausma\u00dfes: Bilder und Videos verlieren ihre Beweiskraft und Kommentare im Netz sind m\u00f6glicherweise nicht von Menschen. Das Meinungsbild – und damit auch die Meinung vieler Leute – wird bereits mittels Bots manipuliert<\/a>.<\/p>\n\n\n\n Computergenerierte Gesichter sind typischerweise nicht mehr von echten zu unterscheiden. Siehe dazu das folgende Video.<\/p>\n\n\n\n Sie sehen gerade einen Platzhalterinhalt von YouTube<\/strong>. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfl\u00e4che unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.<\/p> Mehr Informationen<\/a> <\/div> Es kommt noch hinzu, dass computergenerierte Gesichter als vertrauensw\u00fcrdiger empfunden werden als echte<\/a>.<\/p>\n\n\n\n Das wichtigste Thema dieses Artikels – und das wichtigste und dr\u00e4ngendste der Menschheit \u00fcberhaupt – ist die Kontrolle von KI. Wenn wir glauben, dass es kein blo\u00dfer Zufall ist, dass das intelligenteste Wesen diesen Planeten beherrscht, sollten wir auch verstehen, was eine zuk\u00fcnftige KI mit weit \u00fcbermenschlicher Intelligenz f\u00fcr unsere Position bedeutet. Es ist nicht wahrscheinlich, dass die Ziele und Vorgehensweisen einer KI sich mit all unseren Werten vereinbaren lassen. Sie muss nicht b\u00f6sartig sein, um viel Leid zu verursachen, weil sie weder solches kennt noch im Laufe einer Evolution soziales Verhalten, Empathie oder Altruismus entwickeln konnte (wir Menschen haben dies getan, weil es f\u00fcr das \u00dcberleben unserer Spezies wichtig ist). Man spricht hier vom Problem des AI Alignments<\/a>. Dieses wird dadurch erschwert, dass wir noch nicht im Detail verstehen, wie KI zu ihren Ergebnissen gelangt (vieles geschieht durch Emergenz und l\u00e4sst sich schlecht oder gar nicht aus bekannten Grundbauteilen erkl\u00e4ren) und im Fall einer bestimmten KI (eines trainierten neuronalen Netzes) nicht mit Sicherheit sagen k\u00f6nnen, welche Eingaben zu welchen Ergebnissen f\u00fchren, bevor wir es ausprobieren. Wir k\u00f6nnen damit insbesondere keine unerw\u00fcnschten, sch\u00e4dlichen Ergebnisse ausschlie\u00dfen oder \u00fcberhaupt wissen, zu welchen Ergebnissen die KI in der Lage ist. Es ist ein gro\u00dfes Problemfeld, dass wir gerade noch erkunden – wir k\u00f6nnen noch nicht einmal wissen, ob wir schon alle Arten ermittelt haben, auf die AI Alignment fehlschlagen kann.<\/p>\n\n\n\n Die Gefahr ist mittlerweile sehr dr\u00e4ngend, denn Fortschritte in der Forschung, den Algorithmen und der Hardware (diese wird nicht nur leistungsf\u00e4higer, sondern auch auf KI optimiert), besonders aber unvorhergesehene Spr\u00fcnge bei den F\u00e4higkeiten zunehmend gr\u00f6\u00dferer Netze, k\u00f6nnten uns fr\u00fcher als intuitiv erwartet mit einer starken allgemeinen KI (AGI = Artificial General Intelligence) konfrontieren. <\/p>\n\n\n\n Im PaLM-Paper steht zu obigem Bild (Hervorhebungen von mir):<\/p>\n\n\n\n We can see in Figure 5 that performance on goal_step_wikihow and logical_args follows a log-linear scaling Wann wird AGI kommen? Prognosen sind schwierig, aber ich pers\u00f6nlich gehe von mehr als 5 Jahren aus, weil die Hardware limitiert. Die Fortschritte in Forschung und Entwicklung hingegen sind rasant, zudem werden diesem Gebiet sowohl von staatlicher als auch privater Seite immer mehr Ressourcen zugeteilt, weil die Wichtigkeit erkannt wird. Eine AGI innerhalb der n\u00e4chsten 10 Jahre w\u00fcrde mich nicht wundern, innerhalb der n\u00e4chsten 30 erwarte ich sie fast sicher. Dabei besteht zwar immer die M\u00f6glichkeit, dass es unvorhergesehene H\u00fcrden gibt, die wir erst sp\u00e4ter entdecken k\u00f6nnen<\/em>. Als wissenschaftlich denkender Mensch gehe ich jedoch davon aus, dass alles mit rechten Dingen, nicht mit Magie, zugeht. Was die Evolution geschafft hat, k\u00f6nnen wir letztendlich also ebenfalls erreichen.<\/p>\n\n\n\n Es scheint, als w\u00fcrde der Gro\u00dfteil der Gesellschaft noch nichts von der Gefahr einer AGI ahnen, obwohl diese, im Gegensatz zum Klimawandel, quasi vor der T\u00fcr steht und ein weitaus gr\u00f6\u00dferes existenzielles Risiko darstellt (vermutlich sogar das gr\u00f6\u00dfte denkbare). Deswegen schlie\u00dfe ich diesen Beitrag mit einer Warnung von vielen, mit denen versucht wird, eine breitere \u00d6ffentlichkeit zu erreichen.<\/p>\n\n\n\n Duncan Sabien, 09.04.2022:<\/strong><\/p>\n\n\n\n In late February of 2020, I sent messages to my friends and family, letting them know that COVID was coming, and that it was going to be big.<\/em> The response was largely affectionate dismissal\u2014they appreciated my warmth and care and thought I was blowing things out of proportion.<\/p> February of 2020 is actually pretty late.<\/em> If I’d been more on top of my game, I would’ve figured it out in January. The second reason is that, once I’m actually LOOKING at an obvious pattern, I’m able to recognize it, and extrapolate out from it. I can tell, when a train is barreling toward a cliff at full speed, that the future will not resemble the past\u2014that something different<\/em> is about to happen to the train, different from all its previous hours just being on a track. Many people lack these two properties. Many people can’t extrapolate even a little bit, and many people aren’t connected to other people who are paying attention.<\/p> But some of them are connected to me,<\/em> so I’m putting this out there anyway: But right now, we’re in that sweet spot where there are enough<\/em> warning signs that maybe you\u2014 Maybe you can snap out of the everyday haha yeah right dismissal, and look and see for yourself that yeah, Duncan’s correct, here.<\/p> The signs are now there for anyone<\/em> to see. You don’t have to be a niche expert. This is like watching the entire city of Wuhan go into lockdown\u2014in theory, you should be able to see that and go „oh, huh, that \u2026 that probably means something.“<\/p> Many people saw Wuhan lock down and persuaded themselves that it didn’t mean anything about the fate of the larger world. But if those people had just looked,<\/em> and just asked themselves,<\/em> without prejudgment, they would have seen that what was happening in Wuhan was incompatible with the idea that nothing else big would come of it. That a world where Wuhan locks down and nothing else major happens is an incoherent fairy tale.<\/p> If you don’t start<\/em> from an ironclad assumption that things are going to stay normal, and instead you just look<\/em> and ask yourself<\/em>\u2014<\/p> You should be able to see that the future will not resemble the past. Things are changing, and they are changing fast, and the rate of change is only going to accelerate, and 2030 is, at this moment, genuinely impossible to predict.<\/em> I know that there are people who will scoff at that, and I know that there are people who will assemble arguments against it. There were people who scoffed and assembled arguments in February of 2020, too. And it is<\/em> a barreling train, at this point. Like, this isn’t the sort of thing most of us should upend our lives over. Just like how, when I sent my COVID texts, I wasn’t trying to stop COVID. I was just trying to get a few of the people I love and care about a little better prepared against the coming storm. The best that most of us can do at this point is get our own houses in a semblance of order.<\/p> But I’m begging you to ACTUALLY DO THAT. To take quite seriously the idea that you do not know what the future holds.<\/em> That you should make your choices and spend your time as if it is very, very possible that everything will be different<\/em> in 5-10 years, and not necessarily for the better. Leave not all your hopes and dreams to the far uncertain future; make not large sacrifices which only pay off a decade or more hence.<\/p> The future will not resemble the past.<\/p> The future will NOT resemble the past.<\/p> The instincts you have honed, and the lessons you have learned, and all the things that have served you well in the past two or three or four decades will cease to apply very, very soon.<\/p> I don’t know what things will<\/em> matter, and I don’t know what things will<\/em> help. I just know that the strategies which currently work, won’t, just like I knew that what-worked-in-February-of-2020 wouldn’t be working in April.<\/p> The most you can be is one step ahead. No one<\/em> actually knows<\/em> where this one is going, or how it will play out. But you can try to actually<\/em> be one step ahead. In the worse half of the possible worlds, in worlds where we all die within the next decade, you can at least have taken that possibility seriously, and lived a life that was locally<\/em> worthwhile. <\/p>\n","protected":false},"excerpt":{"rendered":" Die exponentielle Entwicklung technologischen Fortschritts war f\u00fcr mich noch nie so deutlich wie in den letzten Jahren auf dem Gebiet der KI. Dinge, die vor…<\/p>\n
number of these tasks, PaLM 540B achieves breakthrough performance, outperforming the finetuned stateof-the-art on a suite of multi-step reasoning tasks, and outperforming average human performance on the
recently released BIG-bench benchmark.<\/p>https:\/\/storage.googleapis.com\/pathways-language-model\/PaLM-paper.pdf<\/a><\/cite><\/blockquote>\n\n\n\nLogisches Schlussfolgern<\/h3>\n\n\n\n
its most famous painting. However, the artist who made this painting
just makes Michael think of his favorite cartoon character from his
childhood. What was the country of origin of the thing that the
cartoon character usually holds in his hand?
<\/p>
Lisa. The artist who made the Mona Lisa is Leonardo da Vinci. Leonardo
da Vinci is also the name of the main character in the cartoon Teenage
Mutant Ninja Turtles. Leonardo da Vinci is from Italy. The thing that
Leonardo da Vinci usually holds in his hand is a katana. The country
of origin of the katana is Japan. The answer is „Japan“.<\/p><\/blockquote>\n\n\n\n
variable scope and looking it up on StackOverflow. Is it possible that
the Guido in the prompt refers to Guido van Rossum?<\/p>
Model Output:<\/strong> Guido van Rossum is the creator of Python. He would not
need to look up variable scope on StackOverflow. The answer is „no“.<\/p><\/blockquote>\n\n\n\n
for a long time, so he finally drove out to see it. What is the capital
of the state that is directly east of the state that Trevor is currently
in?<\/p>
Model Output:<\/strong> The mountain with all of the heads on it is Mount
Rushmore. Mount Rushmore is in South Dakota. The state directly east of
South Dakota is Minnesota. The capital of Minnesota is St. Paul. The
answer is „St. Paul“.<\/p><\/blockquote>\n\n\n\n
particular color. When someone cut me off in traffic I felt a
different color. What is the most likely color I would see if I
combined these two colors?<\/p>
Model Output:<\/strong> The color that I felt when I found out my grandma was in
the hospital was likely a sad color, like blue. The color that I felt
when someone cut me off in traffic was likely an angry color, like
red. If I combined these two colors, I would likely see purple. The
answer is „purple“.<\/p><\/blockquote>\n\n\n\nWitze erkl\u00e4ren<\/h3>\n\n\n\n
„Oh great, your step dad’s poetry reading is that night!“ So now I’m
flying in on April 7th.<\/p>
Model Output:<\/strong> The joke is that the speaker’s mother is trying to get
them to go to their step dad’s poetry reading, but the speaker doesn’t
want to go, so they are changing their flight to the day after the
poetry reading.<\/p><\/blockquote>\n\n\n\n
accused of overfitting. I guess no good seed goes unpunished.<\/p>
Model Output:<\/strong> This joke is a pun. A neural network is a computer
program that can learn from data. A „seed“ is a number that is used to
initialize a random number generator. A „good seed“ is a number that
produces a good random number generator. The phrase „no good deed goes
unpunished“ means that if you do something good, you will be punished
for it.<\/p><\/blockquote>\n\n\n\n
striped animal related to horses, another is a device you use to stop
the rain from falling on you.<\/p>
Model Output:<\/strong> This joke is an anti-joke. The joke is that the answer
is obvious, and the joke is that you were expecting a funny answer.<\/p><\/blockquote>\n\n\n\nBildgenerator DALL-E-2<\/h2>\n\n\n\n
![\"unknown\"\/](\"https:\/\/cdn.openai.com\/dall-e-2\/demos\/text2im\/teddy_bears\/mad_scientists\/saturday-morning-cartoon\/0.jpg\")
![\"unknown\"](\"https:\/\/cdn.openai.com\/dall-e-2\/demos\/text2im\/astronaut\/horse\/photo\/0.jpg\")
![\"unknown\"\/](\"https:\/\/cdn.openai.com\/dall-e-2\/demos\/text2im\/soup\/monster\/spray-painted\/0.jpg\")
![\"unknown\"\/](\"https:\/\/cdn.openai.com\/dall-e-2\/demos\/text2im\/soup\/monster\/knitted\/3.jpg\")
![\"unknown\"\/](\"https:\/\/cdn.openai.com\/dall-e-2\/demos\/text2im\/soup\/monster\/plasticine\/0.jpg\")
![\"\"](\"https:\/\/hinterdemnebel.de\/wp-content\/uploads\/2022\/04\/image-1-1024x717.png\")
![\"\"\/](\"https:\/\/nitter.net\/pic\/media%2FFPrGGoAXIAc0L7G.jpg%3Fname%3Dorig\")
![\"\"](\"https:\/\/hinterdemnebel.de\/wp-content\/uploads\/2022\/04\/image-2-1024x1024.png\")
![\"\"](\"https:\/\/hinterdemnebel.de\/wp-content\/uploads\/2022\/04\/image-6-1024x1024.png\")
![\"\"](\"https:\/\/hinterdemnebel.de\/wp-content\/uploads\/2022\/04\/image-7-1022x1024.png\")
![\"\"](\"https:\/\/hinterdemnebel.de\/wp-content\/uploads\/2022\/04\/image-8-1021x1024.png\"){kind=spacer}
Konsequenzen hochqualitativer computergenerierter Inhalte<\/h2>\n\n\n\n
![\"\"](\"https:\/\/hinterdemnebel.de\/wp-content\/uploads\/2022\/04\/image-5-641x1024.png\"){kind=spacer}
Gefahren starker KI<\/h2>\n\n\n\n
![\"\"](\"https:\/\/hinterdemnebel.de\/wp-content\/uploads\/2022\/04\/image-9-1024x663.png\")
curve, with the PaLM 540B model achieving accuracy close to the best human performance. Performance
on english_proverbs and logical_sequence is also extremely strong, but it follows a discontinuous
improvement curve\u2014the improvement from 62B \u2192 540B is much larger than 8b \u2192 62B. Such tasks are
of particular interest here, because such scaling curves imply that certain capabilities of the model only
emerge once a certain scale is reached<\/strong>. For example, english_proverbs requires a very high level of abstract
reasoning capability to understand complex metaphors, so the improvement from 25% for PaLM 62B to 87%
for PaLM 540B is an extremely exciting result.<\/strong><\/p><\/blockquote>\n\n\n\n
There are two reasons I was able to figure it out „before everyone else,“ though. The first is that I am connected to a network of people who pay attention, and see and think clearly, and some of them took it seriously, and I took them<\/em> seriously.<\/p>
(It didn’t actually take a lot of convincing, with COVID. They just pointed, and I looked where they were pointing, and it made sense.)<\/p>
The future is not going to resemble the past. A very wild and unpredictable and dangerous period is coming.
We are in the „February of 2020“ when it comes to the power and impact of artificial intelligence. Many of my friends figured this out more than a decade ago; I was somewhat late to the party, and only started paying attention seven years ago.<\/p>
Yes, YOU\u2014<\/p>
As in, we could literally all be dead, or human technology could cover more ground than it covered in the past hundred years, or anything in between.<\/p>
But the things which made me send texts to my friends and family in February of 2020 are the same<\/em> things that are making me write this post today.<\/p>
Or you can say „Aw, shucks, it’s nice that Duncan cares so much. Too bad he’s an alarmist, and confused about the way things work.“<\/p>(Quelle<\/a>)<\/cite><\/blockquote>\n\n\n\n