神经电影学视野下的电影音乐接受效果研究-二、数据分析与讨论-王娅姝，王宜文，刘瑾-网络文艺课-爱读网

二、数据分析与讨论

作者：王娅姝，王宜文，刘瑾更新：2020-08-17 20:07 字数：3007

    (一)fMRI实验数据 15

    本部分采用被试间相关分析法，以被试间脑活动一致性作为测量指标。脑一致性的程度越高、所涉面积越大，表明多名被试在此阶段内的脑活动相似程度越高，也可证明实验素材对被试脑部造成了较强烈的认知刺激。

    1.被试大脑平均活动情况

    如图4，被试左右脑多个区域产生了较活跃的运动。经软件定位、排序后，一致性较高的区域依次显示为眶额回(orbital gyrus)、杏仁体(amygdala)及颞中/下回(middle/inferior temporal gyrus)。

    眶额皮层负责整合智力与情绪信息，是中枢神经系统中处理视觉和情感信息的重要部分 16，它的活跃说明主体正在调动起特定的情感，并对画面信息有了积极加工。杏仁体作为“恐惧中枢”，是人脑边缘系统的关键结构，同感觉、情绪、记忆等认知过程关系密切 17，它的活跃既标志主体的注意力、情感、记忆功能被唤起，也标志实验材料引起了大脑有关负性情绪(如恐惧)的生成; 颞中回和颞下回是大脑颞叶的主要组成部分，而颞叶分布着众多主管听觉的区域，它们的活跃证明了实验材料的音乐信息被有效接受并进行了积极处理。

    2. 音乐引起的脑活动情况

    在上述脑部平均一致性区域分布基础上，使用特定算法及软件，将脑图像进行覆盖、重合，可进行不同音画组合下脑部活动情况的对比分析。例如，以“悬疑画面+悬疑音乐”(S+S)组合的脑一致性图像覆盖“悬疑画面+无声”(S+No)组合的脑一致性图像，可得到相同视觉画面下，加入悬疑音乐较不加入任何音乐时引起的差异性脑区活动。

    图5系利用上述方法得出的，在视觉画面为悬疑的情况下，匹配有悬疑音乐较无音乐时更活跃的脑部区域; 图6为画面悬疑情况下，匹配有中性音乐较无音乐时更活跃的脑部区域。

    较之无音乐的情况，加入音乐后的片段大大调动起全脑多个区域的强烈活动，这些区域涉及额叶、颞叶的众多位置，其中活跃度最高的几个区域分别为颞中回(mid-temporalgyrus)、中央后回(postcentral gyrus)和背外侧额上回(superior frontal gyrus)。

    颞中回主管语义处理、语句理解等符号认知功能，还参与到动作观察、复杂声音处理、逻辑推理、动态面部表情识别等过程 18，它的活跃，说明音乐的加入使脑部更积极地对实验材料的细节与意义进行处理，并带动了例如动作等视觉信息的处理。中央后回与颞叶存在解剖连接，而颞叶分布着大量主管听觉处理的脑区，中央后回的活跃，应当与音乐加入后脑内积极的听觉信息处理活动有关。额上回为辅助功能区，与躯体、内脏和精神活动及情感相关 19，它的活跃，说明音乐的加入使人脑进行了更强烈的情感生成与处理。

    图6情况下的脑活动区域与图5大致相同，表明在这两种情况下，被音乐额外唤起的脑区基本不受其具体属性(是否悬疑)的影响。具体到活跃数值，DPABI的报告结果显示，图6条件下的一致性略低于图5，这说明，与同画面不协调的中性音乐相比，与画面协调一致的悬疑音乐会触发强度更大的脑活动，更能刺激大脑做出关于刺激材料的积极认知。

    3. 不同音画匹配情况下的脑活动对比

    在上述基础上，进一步对悬疑音乐与中性音乐引起的脑活动差异进行分析。图7、图8，分别系视觉画面为悬疑时，加入悬疑音乐较中性音乐更活跃的脑部区域，以及视觉画面为中性时，加入悬疑音乐较中性音乐更活跃的脑部区域。

    如图7所示，视觉画面悬疑时，较之中性音乐，悬疑音乐触发的更活跃的脑区域依次为右侧角回(right angular gyrus)、右侧颞中回(right middle temporal gyrus)、右侧颞上回(superior temporal gyrus)和右侧丘脑枕(right pulvinar)。

    角回位于顶—枕叶交界处，是大脑后部重要的联合区，若切除角回，人脑将失去文字视觉意象与听觉意象之间的联系;此部位的活跃，多少意味着，在悬疑音乐加入时，被试大脑比中性音乐加入时产生了更强烈的音画信息整合活动;颞中回与颞上回是听觉语言中枢的组成部分，此外颞叶同人类的情绪和精神活动也高度相关 20;丘脑枕则主管视觉皮层神经信息的调节，影响视觉信息在脑皮层中的传递进而影响注意力和调节机制。据此，可大致推断，较之中性音乐，悬疑音乐更能强化大脑对视听信息的整合，为悬疑画面匹配悬疑音乐后，观众在情绪、注意力和记忆等方面的部分认知加工活动呈现出更活跃的状态。

    图8表示视觉画面为中性的情况下，悬疑音乐较中性音乐触发的更活跃的脑区域。按活跃值高低，这些区域依次为右侧颞中回(right middle temporal gyrus)、右侧角回(right angular gyrus)、右侧枕上回(right superior occipital gyrus)与枕中回(right middle occipital gyrus)。

    相关研究显示，视觉上的含义越模糊，音乐在观众理解该场景过程中发挥的影响就越强 21。大脑的枕叶部分包含有人类的初级视觉皮层，也涉及语言、动作、抽象概念等方面的认知活动 22，枕上回在中性画面下两类音乐的对比中被单独唤起，多少显示出悬疑性音乐在此种视听关系中占据了主导，引导被试对模糊不明的画面信息作出了较中性音乐来说更主动的认知处理。此外，尽管音画不匹配，但悬疑音乐的加入依然增强了观众对影片情绪、意义、空间等的脑认知活动。

    综上，fMRI实验部分的数据主要从视听互动的角度证实了如下几点猜想:首先，音乐的加入使脑部在注意力、情感等方面的活动更强烈，有助于推动画面悬疑性更积极地被感官认知。其次，音乐的加入有助于促进大脑对视觉信息的加工，其中，较之中性音乐，悬疑音乐更能强化希翁所说的“同步整合”过程，有助于悬疑画面质感的抵达甚至增强。最后，音画一致时，观众在情感、注意力、意义等方面的脑活动更强。

    需要特别加以强调的是，当前认知神经学领域对大脑的功能区域研究尚处于不断修正和探索之中，本文所列举出的脑区域数据，绝非科学意义和解剖层面的精确结论，而仅意在从脑定位及功能方面，大略充当电影音乐研究的生理、实证性佐证材料。

    (二)主观问卷测试数据

    主观问卷测试部分共收集到169份问卷，其中166份完整有效。

    图9为被试依据其主观感受，就两段实验材料给出的悬疑感评分，其中横轴为视频与音频的不同组合情况，纵轴为悬疑感评分。从图中可知，悬疑评分从高到低依次为“悬疑画面匹配悬疑音乐”(S+S，4.20分)>“中性画面匹配悬疑音乐”(N+S，3.70分)>“悬疑画面匹配无声”(S+No，3.24分)>“悬疑画面匹配中性音乐”(S+N，2.65分)>“中性画面匹配无声”(N+No，1.99分)>“中性画面匹配中性音乐”(N+N，1.55分)。

    悬疑画面的情况下，按悬疑感由高到低进行排列，音乐匹配情况依次为匹配悬疑音乐、无声、匹配中性音乐；当视觉画面为中性时，评分排序情况相同。

    其中，在中性画面与悬疑性音乐进行匹配时(N+S)，被试给出的主观评分为3.70，意味着被试认为此种音画组合尚具有一定悬疑性;而当悬疑画面被匹配以中性音乐时(S+N)，悬疑感评分为2.65，意味着被试认为该组合下的片段已无悬疑感。这两类音画组合段落在评分上的特点，部分证明了音乐会在一定程度上扭转观众对视觉画面意义的理解。

    当视觉画面同为悬疑时，不加入音乐的“S+No”组合尚有一定悬疑感(评分3.24)，而匹配中性音乐后，悬疑画面不再给人以悬疑感(评分2.65)。同样地，当视觉画面为中性时，不加入音乐的组合“N+No”的悬疑感评分依旧略高于加入中性音乐的“N+N”组合。这说明，中性音乐作为一种相对舒缓、温和的旋律信息，在加入视觉画面后，从两个方向对画面进行了影响，既可削弱、稀释悬疑画面的悬疑性，也可巩固、深化中性画面的平和、舒缓度。希翁所说的“增值”作用，既有加性的“正增值”，也有减性的“负增值”。

    图10、图11为所有实验片段中，悬疑感得分最高与最低的五段。其中，给被试造成最强烈悬疑感的五段全部系悬疑画面匹配悬疑音乐的片段，悬疑感最弱的则全部为中性画面匹配中性音乐的片段。可以推论，当悬疑性的音画处于一致状态时，影片的悬疑效果最佳，对观众的情绪引导及冲击力最大;而当中性画面与中性音乐配合时，音画间一致的平静、舒缓效果也会加强。声画一致，具有某种“1+1>2”、整体超越部分的感染效果。