每天瞭解古玩知識
藝術，作為時間與空間的沉澱，經常被視為一場帶領現代人類回到過去一窺究竟的旅行，也是允許人們暫時逃避當下的載具。
繪畫寶庫無窮無盡，因此來自不同時間或空間的藝術品之間的聯絡常常會被忽略。即使是最有知識的藝術評論家，也無法閱覽跨越數千年時間的數百萬幅畫作，並在主題、基調和視覺風格上找到意想不到的相似之處。
為了簡化此過程，麻省理工學院計算機科學與人工智慧實驗室（CSAIL）和微軟的一組研究人員建立了一種演算法，以發現大都會藝術博物館（the Met）與阿姆斯特丹國立博物館館藏繪畫之間的隱藏聯絡。
受阿姆斯特丹國立博物館特別展覽 “倫勃朗和貝拉克斯茲”的啟發，新的 “MosAIc”系統透過使用深層網路瞭解兩個影象的近似程度，發現了來自不同文化、藝術家和媒介的成對（也即 “類似”的）作品。
在那次展覽中，研究人員受到了一種看似並不可能但卻確實相似的匹配作品的啟發：弗朗西斯科 · 德 · 祖巴蘭（Francisco deZurbarán）的《聖塞拉皮翁難》和揚 · 阿瑟林（Jan Asselijn）的《受威脅的天鵝》，這兩幅作品都描繪了深刻的利他主義場面，並擁有非常令人驚訝的視覺相似性。
一位來自 CSAIL 的博士生馬克 · 漢密爾頓（Mark Hamilton）說：“這兩位藝術家一生中沒有通訊或彼此見面，但他們二者的畫作都擁有著豐富而相似的潛層結構” 。漢密爾頓是有關 “MosAIc”的論文的主要作者。為了找到兩幅相似的畫作，該團隊使用了一種新的影象搜尋演算法來發現特定藝術家或文化的最接近匹配。例如，對於一項 “哪種樂器最接近於此藍白色連衣裙繪畫”查詢，該演算法檢索了藍白色瓷小提琴的影象。這些作品不僅在樣式和形式上相似，而且源於荷蘭人和中國人之間更廣泛的瓷器文化交流。
漢密爾頓說：“影象檢索系統使使用者能夠找到語義上與查詢影象相似的影象，充當反向影象搜尋引擎和許多產品推薦引擎的基礎。”
“將影象檢索系統限制為特定的影象子集可以幫助對視覺世界中的關係產生新的見解。我們的目標是鼓勵更高層次的與創造性藝術品的互動。”
用 AI 探索現有藝術
對於許多人來說，藝術與科學水火不容：科學基於邏輯、推理和經證實的真理，而藝術則基於情感、美學和美感。但是最近，人工智慧和藝術出現了新的變化，在過去的十年中，這種變化變得越來越大。
比如說，從前，絕大多數的新研究集中於使用 AI 生成新藝術。有一個由麻省理工學院、NVIDIA 和加州大學伯克利分校的研究人員開發的 GauGAN 專案就是一個例子。還有漢密爾頓曾經參與過的 GenStudio 專案；甚至還有過一件 AI 生成的藝術品，被在蘇富比以 51，000 美元的價格售出。
但是，MosAIc 的目的不是創造新藝術，而是幫助探索現有藝術。
谷歌的 “X 分離度”是一種類似的工具，可以找到將兩件藝術品聯絡起來的藝術品路徑，但是 MosAIc 的不同之處在於，它僅需要一張圖片即可。它沒有找到路徑，而是發現使用者感興趣的任何文化或媒體中的聯絡。
漢密爾頓（Hamilton）指出，建立他們的演算法是一項艱鉅的嘗試，因為他們希望找到不僅顏色或樣式相似，而且含義和主題相似的影象。換句話說，他們希望狗與其他狗靠近，人們與其他人靠近，等等。為了實現這一目標，他們在大都會博物館和國家博物館的開放訪問集合中，針對每個影象探究了深層網路的內部 “啟用”。他們如何判斷影象相似性，就是通常稱為 “功能”的這種深層網路 “啟用”之間的距離。
為了找到不同文化之間的相似影象，該團隊使用了一種新的影象搜尋資料結構，稱為 “條件 KNN 樹”，該結構將相似影象組合成樹狀結構。為了找到匹配的物件，他們從樹的 “樹幹”開始，然後跟隨最有希望的 “分支”，直到他們確定找到最接近的影象為止。透過允許樹快速將其自身 “修剪”到特定的文化，藝術家或館藏，從而快速產生對資訊查詢的答案，資料結構對其前身進行了改進。
漢密爾頓和他的同事感到驚訝的是，這種方法也可以用於幫助發現現有的深層網路的問題，這些問題與最近湧現的 deepfake 有關。他們應用此資料結構來查詢機率模型（例如經常用於建立深造品的生成對抗網路）崩潰的區域。他們將這些有問題的區域稱為 “盲點”，並指出它們使我們能夠洞悉 GAN 的偏見。這種盲點進一步表明，即使大多數偽造品可以欺騙人類，GAN 仍難以代表資料集的特定區域。
MosAIc 到底有多快？
該團隊評估了 MosAIc 的速度，以及它與人類對視覺類比的直覺之間的接近程度。
對於速度測試，他們希望確保其資料結構在透過快速，強力搜尋簡單地搜尋整個集合中提供價值。
為了瞭解系統與人類直覺的協調程度，他們製作併發布了兩個新的資料集，用於評估條件影象檢索系統。一個數據集對演算法提出了挑戰，即使使用神經樣式轉移方法對其進行 “樣式化”後，也要查詢具有相同內容的影象。第二個資料集挑戰了演算法以恢復不同字型的英文字母。不到三分之二的時間，MosAIc 能夠一次從 5，000 張影象中猜測出正確的影象。
漢密爾頓說：“展望未來，我們希望這項工作能激勵其他人思考資訊檢索工具如何幫助其他領域，例如藝術，人文科學，社會科學和醫學。”
“這些領域充滿了從未被這些技術處理過的資訊，可以為計算機科學家和領域專家帶來巨大的靈感。這項工作可以在新的資料集，新的查詢型別和新方式方面得到擴充套件瞭解作品之間的聯絡。”
（圖文
源
自網路
版權
屬原作者）
（宣告：尊重作者原創。如有涉及版權問題，敬請作者或同行告知，我們將及時糾正刪除。同時，歡迎廣大藏友投稿分享您的原創好文章。同類微信公眾號轉載本刊釋出文章，請另取標題，以免讀者誤會。如使用本刊標題，必須註明“轉自公眾號：四海博緣收藏平臺”。謝謝合作！
