Oliviero Toscani quiso crear un Centro de Investigación sobre el Arte en la Comunicación, al que llamó La Fábrica, y para ello encargó el diseño al arquitecto japonés Tadao Ando. En 2005, Toscani levantó polémicas nuevamente, cuando hizo fotografías para la campaña publicitaria de la marca de ropa masculina 'Ra-re'.