中文版自序

我很高兴能为《新媒体的语言》的中文版作序。在序言中，我想向读者展示我的学术历程，这样，读者就能知道我为何开始研究“新媒体”、为何写了这本书，以及在这本书出版之后我的观念是如何进一步发展的。

在十七岁那年，我读了一本书，这本书塑造了接下来的几十年中我在智识之路上的方向。这本书是尤里·洛特曼（Yuri Lotman）的《艺术文本的结构》（Struktura khudozhestvennogo teksta，1971）。¹虽然洛特曼专注于文学文本的符号学分析，但对我而言，他启发了我：我们可以用类似的方法来研究视觉艺术和媒体。艺术形象中的元素和结构是什么，它们如何决定这种形象的意义、审美影响和价值？此后不久，我读了鲁道夫·阿恩海姆（Rudolf Arnehim，又译鲁道夫·爱因汉姆）的《艺术与视知觉》（Art and Visual Perception，1954）²和谢尔盖·爱森斯坦（Sergei Eisenstein）对电影《亚历山大·涅夫斯基》（Alexander Nevsky，1938）的开场段落中视听蒙太奇的分析。这些理论家的著述让我越发迷恋这样一种观念，即我们可以非常详细地分析艺术作品中的多个视觉维度，甚至可以预测观众的审美反应。

二十多岁的时候，我逐渐意识到这一观念的极端困境，也最终意识到其理论上的不可能性。与使用自然语言的文学文本相比，在大多数情况下，图像都不是由被预定义元素的词汇表构建的（交通信号灯系统是极少数的例外情况之一）。艺术图像也没有通用的语法。因此，想要发展出一套可以涵盖所有可能的图像元素和组合方式的视觉符号学，是不可能完成的任务。相反，我们必须区别对待每个图像（或一系列相似的图像），来理解它的“元素”构成。例如，如果我们在杰克逊·波洛克（Jackson Pollock）的表现主义绘画中略微改变某些线条的形状或颜色，观众将不会注意到这些变化，因为他的画中有成百上千不同形状和颜色的线条。但约瑟夫·阿尔贝斯（Joseph Albers）的作品《正方形的礼赞》（Homage to the Square，1949）系列³仅由几种不同颜色的正方形组成，即使我们非常轻微地改变某一形状的大小、亮度、饱和度或色调，都会改变整个作品。那些在波洛克画作中并不明显的、无关紧要的改变，在阿尔贝斯的作品中会显得极为醒目、牵一发而动全身。

但是，我没有放弃使用符号学来理解视觉媒体，而是开始把注意力转移到了对我来说更简单而且更紧迫的项目上。我不再试图去理解“旧媒体”（例如绘画）单个艺术作品中的象征元素、它们之间的相互作用、对观众的影响，我开始思考“新媒体”的全新艺术维度。“新媒体”这个术语在1990年左右出现，指基于计算机的文化作品（我于1984年开始从事计算机图形和动画的专业工作）。我们可以像讨论“旧媒体”一样，讨论新媒体的视觉维度，如色彩、构图、节奏。实际上，20世纪20年代，苏联的高等艺术暨技术学院和德国的包豪斯学院逐渐形成了一套设计语言，并将其发展成为教学系统，这套语言非常适合描述新媒体的视觉特征。但新媒体也有了新的维度，如交互性、交互界面、数据库组织、空间导航，同时出现了一系列新的创作范式，如编写代码、使用筛选器（filters）、数字合成和3D建模。我在20世纪90年代的研究和出版物中都侧重于分析这些维度和范式，这些工作成果最终汇集成了《新媒体的语言》一书（完成于1999年，英文版于2001年出版）。⁴

在20世纪90年代，对“新媒体”的质询是我的主要研究焦点，我也逐渐开始思考“媒体”本身的概念在数字时代会发生什么变化。数字媒体创作工具、编辑工具和工作流程正在逐步取代以前使用的各式各样的文化工具。虽然艺术家们还在坚持传统的技法和工具，但在文化产业领域，油画、素描、照片编辑、三维物体和三维环境的创建、图形设计、媒体设计和声音编辑等工作，现在都是通过软件工具，如奥多比（Adobe）公司的Photoshop、After Effects，苹果（Apple）公司的Final Cut，欧特克（Autodesk）公司的Maya，微软（Microsoft）公司的Office和Avid公司的Pro Tools等实现的。这些工具如何塑造了当代媒体和设计的美学？当曾经在不同媒体中使用的专业工具，被模拟并被引用到软件中时，“媒介”的观念会发生什么变化？探讨不同的媒介是否还有意义？20世纪60、70年代的人创造了一系列构成当代媒体软件基础的概念和实用技术，他们的想法和动机是什么？

这些问题引出了“文化软件的符号学”（semiotics of cultural software）概念，我在我的第二本书《软件掌管一切》（Software Takes Command，该书于2007年出版了第一个开源版，于2013年出版了修订版⁵）中进行了探讨。由此，我的符号学历程从尝试理解视觉艺术的“工作机制”（20世纪80年代）发展到研究新媒体的新美学维度（20世纪90年代），进而探索如何将用于创作、分发和交互的各类软件应用程序和平台进化理论化（21世纪的头十年）。但是，我最初的想法并不是这些，而是描述组成视觉作品的元素和维度，并理解它们是如何被我们的感官和大脑处理，从而生产意义和情感的。2005年，我意识到可以换一种路径来实现这个想法。以前，我只专注于思考单个视觉作品，而现在，我可以使用计算机同时分析数百万个视觉作品。这些作品囊括了从数字化的历史文物到用户生成的内容（例如用户在Flickr、Instagram、VK和其他社交媒体平台上分享的图片）。在20年代80年代中期，这种大规模的分析是不可想象的，而仅仅20年之后，它就成为现实。这一方面是因为计算机速度的提升，另一方面也因为“视觉文化”现在以数字形式大规模生成。

现在的数据分析不再依赖人工手动进行，而是由计算机使用计算机视觉（Computer Vision）和人工智能（Artificial Intelligence）领域的技术完成的。用计算机进行分析的一大优势是，计算机可以使用我们自然语言中不存在的任意精度，来量化各种各样的视觉元素，从图像的颜色到自拍中的微笑程度。（例如，在我们实验室的2013年《自拍社会》项目中，我们按照1～100的程度使用软件来量化微笑。⁶）这为我们提供了一种新的语言，使用自然语言无法实现的方式来描述文化图像，并使我们更接近于视觉符号学的理想。

计算机的另一个优点是可以定性地描述图像的特征，或者描述图像中没有表现出明显视觉“元素”的部分，例如波洛克作品中的色彩线条或阿尔贝斯作品中的正方形。这些特征包括渐变和纹理、照片的清晰度和模糊程度，或视频中的运动速度。

我的研究方法经历了转变，从研究单个视觉作品转到了分析大量作品集合上，而这一转变呼应了我们体验视觉文化方式的转变。对单件作品的研究和“细读”在20世纪是合乎逻辑的，作为文化消费者，我们也往往聚焦于单件作品。我们去电影院看一场电影，去博物馆看某件特定的艺术品，或者在家里一遍又一遍地听某一首歌。我们可用的媒体数量有限，我们会把大量时间花在单个作品上。记得少年时代，家中的藏书里有几本关于艺术品的书，我把它们翻了好几百遍。这些书中有一些特别触动我的现代艺术图像，永远地镌刻在我的记忆中。

现在的情形呢？Google、Yandex、YouTube、Instagram或Pinterest中的视觉搜索及推荐把无穷无尽的图像和视频推送到我们面前，而大型博物馆的网站提供了大量艺术品和历史文物的数字影像。视觉“讯息”或“符号”（使用符号学术语）现在再也不是孤立的，而是一个在我们看来无限大的系列中的一部分。（你知道每天人们分享的图像有20亿张吗？如果这个数字是40亿，你会注意到吗？）

2007年，我建立了文化分析实验室，⁷一方面对“大数据”时代使用计算机研究视觉媒体进行理论层面的思考，另一方面也研究具有各种可视化数据集的具体项目。在实验室研究的种种问题中，我想突出一个主题，因为它与最初影响我的20世纪60、70年代的符号学想象有关。这个主题是一种“文化的科学”（science of culture）的可能性。

19世纪，不断发展的特大城市中，人的聚集使得“社会”呈现出直接可见的形态，政府统计项目的增加使“社会”以另一种方式显现出来，“社会学”的概念（关于社会的科学）也同时诞生。21世纪初，文化作品的数量暴增，人们与文化作品的互动也越来越多，这些元素最终在网络和社交媒体平台上聚集起来，同时，收集数十亿件作品并通过计算机进行分析的相对简单方法也出现了。无独有偶，这些趋势都指向了“文化的科学”（science of culture）这一概念。这类科学并不试图去发现严格的“文化规律”（cultural laws），而是尝试揭示各种文化模式。事实上，在过去十年，在计算机科学、信息科学和计算社会科学领域中，关于这个话题的出版物有成千上万种。

我看到了这一范式与20世纪60年代符号学和结构主义的联系，因为这些范式很大程度上也是为了避免分析文化的印象主义化和主观化，而是更具有方法论、体系性和科学性。因此，罗兰·巴特（Roland Barthes）的经典论文《摄影的讯息》（The Photographic Message，1961）读起来就像一篇科学文章：“新闻照就是一条讯息。总的来说，这条讯息是由一个发射源、一个传输通道和一个接收点组成的。”⁸

这是否意味着：对文化数据进行计算分析和建模，以及对这些数据进行系统化和形式化的动机，最终也将失去其能量和吸引力？因为我们会逐渐认识到，这些方法没有充分地考虑文化产品和文化交互中所蕴含的丰富性和个体性？或者，它会让我们跳出20世纪符号学的局限吗？时间会给出答案。

对我而言，处理“大文化视觉数据”（big cultural visual data）的主要动机是创建方法和工具，使我们首先能够用眼睛看到这些数据。这并不意味着我要用统计模型或神经网络取代来生活中学到的关于文化和社会世界的一切，也不意味着我要用它们来取代所有从其他理论家那里学到的关于视觉媒体的思考方式，更不意味着我要用它们来取代我的直觉。但今天在我思考媒体之前，我需要能够先看到它。当人们每天分享数十亿张图像时，“看”这个基本行为就变得非常棘手。因此，在我的学术轨迹上，我从站在符号学角度，用裸眼轻松地观看单件艺术品，走向了使用计算机“观看”当代媒体的交互界面设计和技术设计。考虑到数据的规模之大，使用计算机进行“观看”是必要的。

这是否意味着：我早年间的符号学计划——认识文化文本和文化对象的结构是如何组织起来的，以及它们是如何产生审美效果的——已经与我现在的研究方向无关了？或者单张图像已经不再重要了呢？完全不是这样。Instagram上有来自世界各地的大量年轻用户，他们会花好几天时间来编辑自己想要发布的某张照片，为每一个像素绞尽脑汁。⁹单一性、独特性和精心设计并没有消失。我们为什么要选这张图，而不是选那张？为什么这个滤镜，而不是那个滤镜更能打动我们？我们必须等到神经科学得到充分发展的那一天，才能得知这些问题的准确答案。因此，我们现在虽然可以定量、细致地描述艺术、媒体对象和情境中的组织结构，但艺术如何“产生意义”和“发生影响”这一问题仍没有答案。然而，我们是否真的想要去理解这些，就像我们想要了解爱情、欲望、记忆，以及人类经验的其他维度那样吗？

列夫·马诺维奇
2018年