U-Net

U-Net és una xarxa neuronal convolucional que es va desenvolupar per a la segmentació d'imatges. La xarxa es basa en una xarxa neuronal completament convolucional l'arquitectura de la qual es va modificar i ampliar per treballar amb menys imatges d'entrenament i per obtenir una segmentació més precisa. Segmentació d'una imatge de 512×512 triga menys d'un segon en una GPU moderna (2015) que utilitza l'arquitectura U-Net.

L'arquitectura U-Net també s'ha emprat en models de difusió per a la reducció iterativa de soroll d'imatges. Aquesta tecnologia és la base de molts models moderns de generació d'imatges, com ara DALL-E, Midjourney i Stable Diffusion.

Descripció

L'arquitectura U-Net prové de l'anomenada "xarxa totalment convolucional".

La idea principal és complementar una xarxa de contractació habitual per capes successives, on les operacions de posada en comú són substituïdes per operadors de mostreig superior. Per tant, aquestes capes augmenten la resolució de la sortida. Una capa convolucional successiva pot aprendre a muntar una sortida precisa basada en aquesta informació.

Una modificació important a U-Net és que hi ha un gran nombre de canals de característiques a la part de mostreig ascendent, que permeten a la xarxa propagar informació de context a capes de més alta resolució. Com a conseqüència, el camí expansiu és més o menys simètric a la part que es contrau i produeix una arquitectura en forma d'U. La xarxa només utilitza la part vàlida de cada convolució sense cap capa completament connectada. Per predir els píxels a la regió de la vora de la imatge, el context que falta s'extrapola mitjançant la rèplica de la imatge d'entrada. Aquesta estratègia de mosaic és important per aplicar la xarxa a imatges grans, ja que altrament la resolució estaria limitada per la memòria de la GPU. Recentment, també hi ha hagut un interès en els models U-Net basats en camps receptius per a la segmentació d'imatges mèdiques.

[[:Fitxer:Example architecture of U-Net for producing k 256-by-256 image masks for a 256-by-256 RGB image.png|]]

Arquitectura de xarxa

La xarxa consta d'un camí contractant i un camí expansiu, la qual cosa li dona l'arquitectura en forma d'U. El camí de contracció és una xarxa convolucional típica que consisteix en l'aplicació repetida de convolucions, cadascuna seguida d'una unitat lineal rectificada (ReLU) i una operació de màxima agrupació. Durant la contracció, la informació espacial es redueix mentre que la informació de les característiques augmenta. La via expansiva combina la informació espacial i de característiques a través d'una seqüència de convolucions ascendents i concatenacions amb característiques d'alta resolució de la via de contracció.

1. Regressió píxel a píxel utilitzant U-Net i la seva aplicació en el pansharpening;
2. 3D U-Net: Aprenentatge de la segmentació volumètrica densa a partir d'anotacions disperses;
3. TernausNet: U-Net amb codificador VGG11 preentrenat a ImageNet per a la segmentació d'imatges.
4. Traducció d'imatge a imatge per estimar les taques fluorescents
5. En la predicció del lloc d'unió de l'estructura de les proteïnes.

Història

U-Net va ser creada per Olaf Ronneberger, Philipp Fischer i Thomas Brox el 2015 i publicada a l'article "U-Net: Convolutional Networks for Biomedical Image Segmentation". És una millora i un desenvolupament de FCN: Evan Shelhamer, Jonathan Long, Trevor Darrell (2014). "Xarxes completament convolucionals per a la segmentació semàntica".