AI: Iliad eröffnet das Kyutai-Forschungslabor

Der 17. November wurde als Flaggschiff-Treffen für den Bereich der künstlichen Intelligenz angekündigt. Und das Mindeste, was wir sagen können, ist, dass es Xavier Niel gelungen ist, einen guten Teil dieses Ökosystems für diesen Anlass zusammenzubringen. Die wichtigste Ankündigung war – ohne große Überraschung – der offizielle Start des Kyutai-Forschungslabors, das der künstlichen Intelligenz in Frankreich zum Durchbruch verhelfen sollte. Es wird als „erstes unabhängiges europäisches Forschungslabor für offene Wissenschaft in der KI“ beschrieben und ist das Ergebnis einer Fusion zwischen Iliad, CMA-CGM – über die Stimme von Rodolphe Saadé, seinem Direktor – und Schmidt Futures, dem Investmentfonds oder „ „philanthropisches Unternehmen“, wie Eric Schmidt, ehemaliger CEO von Google, es gerne darstellt. Dieses Labor profitierte somit von den großzügigen Beiträgen jedes dieser Unternehmen in Höhe von rund 100 Millionen Euro und soll künftig weitere Investitionen bündeln, um seinen derzeitigen Rahmen von 250 bis 300 Millionen Euro zu erhöhen. Die Organisation hebt sich auch von vielen anderen Initiativen ab, die in den letzten Monaten gestartet wurden. es ist „gemeinnützig“ (non-profit). Und sowohl für Xavier Niel als auch für Rodolphe Saadé ist dieser Begriff wichtig.

„Wir finanzieren nur“, wiederholt der Gründer von Iliad, für den die Idee, die Entwicklung von KI-Modellen auf andere Weise als Gafam unterstützen zu können, von wesentlicher Bedeutung ist. Er besteht außerdem darauf, dass Scaleway kein exklusiver Partner sein wird. „Das Projekt wird sicherlich weitere Investoren anziehen und wir sind offen für weitere Beteiligungen.“ Die Beträge, die nötig sind, um KI-Modelle entwickeln zu können, sind erheblich.“ Und Rodolphe Saadé fügt hinzu: „Wir schaffen ein Gemeinwohl, das kostenlos und für alle zugänglich ist.“ In Frankreich gibt es viele Ideen und wenig Geld.“ Xavier Niel nimmt kein Blatt vor den Mund: „Ich würde gerne eines Tages über den französischen Imperialismus in der KI sprechen. Wenn wir nichts tun, wird nichts passieren, das ist das Einzige, worüber ich mir sicher bin.“

Mehr als Open Source, Open Science betreiben

Das Forschungslabor muss daher ein breites Spektrum abdecken: Die wichtigsten Herausforderungen der KI durch die Entwicklung großer multimodaler Modelle (Erzeugung von Text, aber auch Ton, Bildern usw.) und durch die Erfindung von Algorithmen zur Verbesserung ihrer Fähigkeiten, Zuverlässigkeit und Effizienz bewältigen. Dabei nutzt es die Rechenleistung von Scaleway. „Da es sich hier um eine kleine Belegschaft handelt, werden wir uns zunächst auf die grundlegenden Modelle konzentrieren.“ „Eines unserer ersten Ziele ist es, eines dieser LLMs von Grund auf aufzubauen“, sagt Edouard Grave, einer der sechs Forscher im Team, und fügt hinzu: „Wir müssen zu jedem Zeitpunkt der Entwicklung dieser Modelle eingreifen können.“ Es besteht die Notwendigkeit, den gesamten technischen Stack zu beherrschen.“ Was die Zukunft angeht, hat Neil Zeghidour, ein weiterer Kyutai-Forscher, bereits eine langfristige Vision. Er erwähnt das von Google eingeführte Transformer-Modell, das nun „zum zugrunde liegenden KI-Modell für nahezu alles, was existiert, geworden ist.“ Wir wollen auch das Team sein, das eine Alternative zu diesem Modell bietet“, schließt er.

Letztendlich will es Kyutai gelingen, die besten Forscher für die Erstellung von KI-Modellen und das Training der Systeme zu gewinnen. Mit dem Ziel, seine Fortschritte mit dem gesamten Ökosystem (der wissenschaftlichen Gemeinschaft, den Entwicklern, der industriellen Struktur, um nur einige zu nennen) zu teilen, möchte Kyutai auch „zukünftige Experten in der Disziplin“ ausbilden, indem es Masterstudenten für Praktika im Labor willkommen heißt und die Betreuung von Doktoranden und Postdoktoranden“. Hervé Jégou, Mitglied des Teams, hat eine sehr genaue Vorstellung vom Kyutai-Projekt: „Wir wollen offene Wissenschaft betreiben, um zu erklären, wie wir zu dem Modell gelangt sind, das wir teilen. Unser Ziel ist es, diese geheime Soße zu teilen, um dem Ökosystem zu helfen und anschließend allen Herstellern zu helfen.“

Xavier Niel, Eric Schmidt, Rodolphe Saadé, Aude Durand sowie die sechs Kyutai-Forscher versammelten sich diesen Freitag, den 17. November 2023, an Station F. (Quelle: Iliad)

Bis heute besteht das Labor – mit Sitz in Paris im 3. Arrondissement – ​​aus einem Team von sechs Forschern – Alexandre Défossez, Edouard Grave, Hervé Jégou, Laurent Mazaré, Patrick Pérez, Neil Zeghidour – von denen die meisten mit Meta und seinen Kollegen zusammengearbeitet haben Forschungslabor. FAIR, aber auch Apple, Inria und DeepMind.

Scaleway vervielfacht Partnerschaften

Parallel zu dieser Ankündigung widmete Scaleway – Anbieter von Cloud-Diensten und Tochterunternehmen von Iliad – einen Großteil der Veranstaltung hauptsächlich der Hervorhebung der Vielzahl an Partnerschaften, von denen das Unternehmen profitiert, um Teil des Ökosystems der künstlichen Intelligenz zu sein. Damien Lucas, seit dem 9. Mai an der Spitze von Scaleway, verkündete stolz, dass es an der Zeit sei, in die Ära der „Veränderung hier und jetzt“ einzutreten. Da ist zunächst die Flaggschiff-Fusion mit Nvidia, die den Unternehmenskunden von Scaleway einen entscheidenden Vorteil verschafft; Hierbei handelt es sich um L4-GPU-Instanzen, die im ersten Halbjahr 2024 verfügbar sein werden. Scaleway-Kunden erhalten somit Zugriff auf GPU-Beschleuniger, Nvidia AI Enterprise-Software und wichtige Dienste, um die Entwicklung großer Sprachmodelle (LLM) und generativer KI zu beschleunigen. Auch Start-ups profitieren von dieser Partnerschaft, denn die Franzosen kündigen an, dass junge Unternehmen, die daran teilnehmen, dank des Nvidia Inception-Programms Cloud-Credits für den Zugriff auf Nvidias DGX SuperPOD erhalten, der mit DGX H100-Servern ausgestattet ist. Zur Klarstellung: Diese Mittel basieren auf einem Paar Intel Xeon Sapphire Rapids-Prozessoren (56 Kerne) mit bis zu acht Tensor Core H100-Karten.

Heute Morgen gab das Unternehmen eine Partnerschaft mit Ampere bekannt. „Mit Ampere Altra-Chips erweitern wir unser Instanzenspektrum und bieten Unternehmen eine leistungsstarke und kostengünstige Alternative. Dadurch können sie auf möglichst nachhaltige Weise Hochleistungsergebnisse erzielen“, sagte Damien Lucas. Daher bringt Scaleway auf Ampere basierende Instanzen auf den Markt, die insbesondere für die Implementierung von Chatbots, Video-Content-Lösungen usw. verwendet werden können. Für Jeff Wittich, Produktdirektor bei Ampere, „stellen die Ineffizienz bei der Leistung und die Kosten für Bereitstellungen immer noch ein Problem dar.“ „Es stellt ein großes Hindernis für die Skalierung der KI dar“, eine Blockade, die Ampere beseitigen möchte.

Ein „Quantum as a Service“-Angebot

Gleichzeitig gab Scaleway eine weitere Vereinbarung mit Quandela bekannt, einem hochkarätigen französischen Start-up, das im Quantenbereich tätig ist. Die Frucht dieser Annäherung? Ein Quanten-On-Demand-Dienst (QaaS), der heute verfügbar ist. Basierend auf der Quandela-Technologie und der Scaleway-Infrastruktur muss dieser Dienst „eine Umgebung sein, die dem Experimentieren und der Optimierung von Quantenalgorithmen förderlich ist“. Der QaaS-Dienst wird „von einem Quandela-Schaltungssimulator angetrieben und durch Nvidias H100 Tensor Core-Karten beschleunigt“, gibt der Cloud-Anbieter an. Für letztere stellt dies einen erheblichen technologischen Fortschritt dar, „während die Reife großer Quantenverarbeitungseinheiten erwartet wird, die zwischen 2027 und 2030 erwartet wird“. Für Damien Lucas ist das die perfekte Kombination: „Unser neuer QaaS-Service (…) bietet jetzt ein Quantenerlebnis und ebnet gleichzeitig den Weg für die Zukunft.“

Jean Senellart, Produktdirektor bei Quellela, betonte seinerseits den Vorteil einer solchen Partnerschaft: „Dieser Service ebnet den Weg für die Entwicklung hybrider Quantenalgorithmen, die Industrien auf das Quantenzeitalter vorbereiten.“ Das junge Unternehmen, das bereits mit der Bereitstellung von Computerplattformen mit OVH zusammenarbeitet, erweitert damit seinen Nutzerkreis. Schließlich erklärte Damien Lucas, dass Scaleway auch mit den folgenden Unternehmen zusammenarbeiten wird – Poolside, Free Pro, Hugging Face und Mistral AI –, um sein Ziel zu verfolgen, das KI-Ökosystem zu erreichen.