Où acheter des TPU ? (Tensor processeur Unit)

Aujour'hui j'écoutais un podcast intéressant de Rémi Bacha sur l'intelligence artificielle et plus particulièrement sur Rank Brain et incidemment sur tensorflow l'outil de machine learning de google.

TPU (tensor processor unit)

Rémi fait le tour des technologies de google pour classer ses pages et notamments des outils qu'il a utilisé pour arriver a ce qu'il est aujourd'hui.

Rémi nous a parlé des outil wordvector qui était utilisé par google pour transformer des mots et la distance de mots clés proche de la thematique, de tensorflow avec le machine learning. Je ne vais pas vous spoilez, abonnez-vous a son podcast.

https://open.spotify.com/episode/6LOxWno5P4MnlZNgo6Ub1G?si=EzfY0t6mQtmzEG_7fPzxOA

Cela complète bien un article où je me posait des questions en 2016 et des clarifications avaient été faites par un ingénieur google.

https://www.love-moi.fr/2016/03/comment-fonctionne-le-moteur-de.html

Maj octobre 2019

Qu'est-ce que le NLP BERT ? 

Google a annoncé avoir deployé son NLP BERT pour son moteur de recherche. Celui ci est un Neural Langage Processing bi-directionnel, cela signifie qu'il est capable d'analyser des phrases en entrées de les rapprocher d'autres phrases ayant le même contenu et de sortir des réponses qui sont plus pertinentes car au lieu d'analyser les mots-clés, bert va analyser le contexte de la phrase avec ce qu'il se passe avant et après.

Comment optimiser son site pour BERT ? 

Au lieu de viser des mots-clés, on va viser des entités et des intentions. Cela vous rappelle quelque chose ? Oui on entre dans l'ère du chatbot et des assistants vocaux. Comme google est obligé de faire le travail pour ses assistants vocaux Ok google qui vont se retrouver sous le sapin a noël, il est normal que google implemente petit a petit comme il a fait avec rank brain  son analyse neuro linguistique au moteur de recherche. 

Google ayant scrappé wikipedia, il est capable d'impacter 10% des requêtes. D'ailleurs les position 0 n'est-ce pas les réponses que les internautes attendent pour une question donnée ? 

 

Tensorflow est-il derrière Rank Brain ? Qu'est-ce que tensorflow ?

J'avais fait un article expliquant ce qu'était Tensorflow. C'est un outil de machine learning/deep learning qui permet d'entrainer une intelligence artificielle. Google a mis cet outil de machine learning en open source pour pouvoir le mettre a disposition au plus grand nombre.

Cela n'a aucun rapport avec les tablettes tactiles et leur polyuréthane thermoplastique, mais un rapport avec les CPU et les réseaux de neurones.

Qu'est-ce qu'un TPU ? Définition TPU (tensor processing unit)

Les TPU c'est un peu comme les GPU (graphic processeur unit), il s'agit de processeurs qui sont dédiées a des tâches de calcul d'apprentissage des réseaux de neurones. Les TPU ou Tensorflow Processor Unit, sont des processeurs de calculs 3 fois plus performants que les processeurs classiques et destinés a entraîner les Intelligence artificielles. Les TPU sont des processeurs d'intelligence artificielle, ou module AI.

(non je ne poserais pas de lien dans cet article pour les smartphones pliable sous prétexte que le nouveau samsung fold est censé en être pourvu).

Comment google se sert-il de Tensorflow ?

L'utilisation la plus connue de tensorflow est l'analyse d'image. A partir d'une image, tensorflow est capable de dire ce qu-il y a sur l'image et d'écrire une petite description. Je ne l'ai personnellement jamais utilisé par manque de temps, mais je vais m'y mettre.

C'est quoi le machine learning ML ?  

ML signifie Machin learning, c'est une machine qui apprends à partir des modèles que l'on lui soumet et qui est capable d'adapter son algorithme en conséquence pour répondre à des cas de figure qu'il ne connaît pas, mais qu'il peut rapprocher de ses modèles "appris" existants. On utilise alors des réseaux de neurones artificiels dans des multi-cloud.

Cloud TPU (cloud tensorflow), hébergement cloud machine learning AI (intelligence artificielle)

Pour ceux qui n'ont pas les moyens ou ne veulent pas investir dans du matériel coûteux, google met à disposition des hébergement de machine learning sous l'appellation Cloud TPU. Vous avez également la possibilité d'acheter des TPU chez NVIDIAsur des GPU PASCAL.

Matériel nécessaire pour TPU

Pour voir un gain de 50% par rapport à des GPU classiques, NVIDIA a créé des GPU Pascal où Tensorflow peut traiter en quelques heures ce qui lui prenait des journées.

Voici la configuration nécessaire pour utiliser TensorFlow avec des GPU Pascal NVIDIA.

• Système d'exploitation Linux 64 bits
• Python 2.7
• CUDA 7.5 (CUDA 8.0 requis pour les GPU à architecture Pascal)
• cuDNN v5.1 (cuDNN v6 avec TF v1.3)

Quel est le prix d'un TPU ? Tarifs pour un seul appareil Cloud TPU v2

Google ne vends pas ses TPU directement mais via ses services Cloud computing.

La grille suivante indique les tarifs en France pour l'utilisation d'un seul appareil Cloud TPU v2.

Cloud TPU v2	4,95 USD par TPU et par heure
TPU v2 préemptif	1,485 USD par TPU et par heure

Il est par contre possible d'acheter des processeur ASIC pour intelligence artificielle facebook.

https://research.fb.com/category/facebook-ai-research/

Où Acheter des processeurs neuronal pour créer un réseau de neurones artificiel ?

Vous pouvez acheter un processeur neuronal Sipeed Maix-1 RISC-V Dual Core 64bit With FPU AI Module Core Board Development Board Mini PC que vous pourrez mettre sur un kit, pour 15$

Caractéristique du processeur utilisable en substitut du TPU RISC-V

CPU : RISC-V Dual Core 64bit, 400Mh adjustable Powerful dual-core 64-bit open architecture-based
processor with rich community resources
FPU Specifications IEEE754-2008 compliant high-performance pipelined FPU
Debugging Support High-speed UART and JTAG interface for debugging


Neural Network Processor (KPU) • Supports the fixed-point model that the mainstream training framework trains according to specific restriction rules
• There is no direct limit on the number of network layers, and each layer of convolutional neural network parameters can be configured separately, including the number of input and output channels, and the input and output line width and column height
• Support for 1x1 and 3x3 convolution kernels
• Support for any form of activation function
• The maximum supported neural network parameter size for real-time work is 5MiB to 5.9MiB
• The maximum supported network parameter size when
working in non-real time is (flash size - software size)


Audio Processor (APU) • Up to 8 channels of audio input data, ie 4 stereo channels
• Simultaneous scanning pre-processing and beamforming for sound sources in up to 16 directions
• Supports one active voice stream output
• 16-bit wide internal audio signal processing
• Support for 12-bit, 16-bit, 24-bit, and 32-bit input data widths • Multi-channel direct raw signal output
• Up to 192kHz sample rate
• Built-in FFT unit supports 512-point FFT of audio data
• Uses system DMAC to store output data in system
memory

Static Random-Access Memory (SRAM) The SRAM is split into two parts, 6MiB of on-chip general-purpose SRAM memory and 2MiB of on-chip AI
SRAM memory, for a total of 8MiB
Field Programmable IO Array (FPIOA/IOMUX) FPIOA allows users to map 255 internal functions to 48
free IOs on the chip
Digital Video Port (DVP) Maximum frame size 640x480
FFT Accelerator The FFT accelerator is a hardware implementation of the
Fast Fourier Transform (FFT)
SOFTWARE FEATURES
FreeRtos & Standard SDK Support FreeRtos and Standrad development kit.
MicroPython Support Support MicroPython on M1
Machine vision Machine vision based on convolutional neural network
Machine hearing High performance microphone array processor
HARDWARE FEATURES
Supply voltage of external power supply 4.8V ~ 5.2V
Supply current of external power supply >600mA
Temperature rise <30k br=""> Range of working temperature -30℃ ~ 85℃
RF FEATURES
MCU : ESP8285 Tensilica L106 32-bit MCU
Wireless Standard 802.11 b/g/n
Frequency Range 2400Mhz - 2483.5Mhz

TX Power(Conduction test) 802.11.b : +15dBm
802.11.g : +10dBm(54Mbps)
802.11.n : +10dBm (65Mbps)
Antenna Connector IPEX 3.0x3.0mm
<30k br="">

<30k br="">Donc en conclusion, moins on laisse de place au doute a rankbrain, et plus c'est efficace quand même ;-)

<30k br="">Merci Rémi ;-)