计算机、投影
第一章 多媒体技术基础知识 1.1 概 述 21世纪是信息化的社会，以信息技术为主要标志的高新技术产业在整个社会经济中所占的比重也在不断增长。作为当今世界计算机产业发展新领域的多媒体技术具有综合处理声音、文字、图像和视频的能力，以其丰富的文、音、图等信息及方便的交互性，极大地改善了人机界面，拓宽了计算机的使用方式，打开了计算机进入人类生活和生产的各个领域的方便之门，给人们的工作、生活和娱乐带来了焕然一新的世界。 如今的数字化时代，多媒体已经从一个时髦的概念演变成一种实用的技术。多媒体技术也从教育、通信、工业、军事等领域跨出来，向动漫、虚拟现实、音乐、绘画、建筑、考古等领域进军。并影响着科学研究、工程制造、商业管理、广播电视、通信网络和人们的生活。 多媒体技术是20世纪后期发展起来的一门新兴技术，极大地改变了人们处理信息的方式。随着计算机技术、通信和网络技术、信息处理技术和人机交互技术的发展，进一步拓展了信息的表述和传播方式，形成了以文字、图形图像、声音、动画以及超文本等各种媒体进行综合、交互处理的多媒体技术。1.1.1 多媒体技术的基本概念 1.媒体的概念及类型 媒体（mediurn）是信息表示和传播的载体。在计算机领域中，媒体有两种含义：一是指媒质，即储存信息的实体，例如：光盘、磁盘、磁带、半导体存储器等；二是指传递信息的载体，如数字、文字、声音、图形和图像等。 媒体依据国际电话与电报咨询委员会（CCITT）分为：1） 感觉媒体 感觉媒体（perception medio）指能直接作用于人的感官，从而使人直接产生感觉的媒体。比如：人类的语言、音乐、声音、图形、图像、计算机系统中的文字、数据和文件等。 在我们所说的多媒体技术中所讲的媒体一般就是感觉媒体。感觉媒体一般又分为以下三种：（1）视觉类媒体（vision media） 包括：图形、图像、符号、视频、动画等。 图像（image）即位图图像（bitmap），就是将所见的景物以行列方式进行数字化，也就是说图像的每一个点都用一个数值来表示，所有这些数值组成的就是位图图像。位图图像是所有视觉表示方法的基础。 图形（graphics）是图像的抽象，反映的是图像上的关键特征，例如：点、线、面等。描述的是产生这些点的过程和方法，如用两个点表示直线，只需记录这两个点的位置，就可以画出直线。 符号（symblo）指的是文字和文本，主要是人类的各种语言，在计算机中用特定的数值表示符号，如ASCII码、中文国标码等。 视频（video）也称为动态图像，是把一组图像按照时间顺序的连续表现。其表示方法与图像序列、时间关系有关。 动画（animation）动态图像的一种，和视频不同的是，动画中的图像采用的是计算机产生出来或人工绘制的图像或图形，视频则采用的是真实的的图像。动画包括二维动画、三维动画等多种形式。（2） 听觉类媒体 指的是语音、音乐和音响。 话音（speech）也叫语音，是人类为表达思想通过发音器官发出的声音，是人类语言的物理形式。音乐则是符号化了的声音，比语音更规范，音响是指自然界除语音和音乐以外的声音，包括天空的惊雷、山林的狂风、大海的涛声等等，当然也包括噪声。（3） 触觉类媒体 触觉类媒体指的是通过直接或间接与人体接触，使人能感觉到对象位置、大小、方向、方位、质地等性质。我们可以通过计算机利用某种装置来记录参与者（人或物）的动作及其他性质，还可以把模拟的自然界的物质通过一些事实上的电子、机械的装置表现出来。2）表示媒体（representation media） 为加工、处理和传输感觉媒体而人为研究、构造出来的一种媒体。目的是为了更有效地加工、处理和传送感觉媒体。包括：各种编码方式，例如：语言编码、文本编码、图像编码等。 3）表现媒体（presentation media） 感受媒体和用于通信的电信号之间转换的一类媒体。分为：一、输入表现媒体，像键盘、摄像机、光笔、话筒等；二是输出表现媒体，比如：显示器、音箱、打印机等。4）存储媒体（storage media） 用以存放表示媒体，以方便计算机处理、加工和调用，即计算机的外部存储设备。5）传输媒体 就是将媒体从某一处传送到另一出的物理载体，也就是指通信中的信息载体，如双绞线、同轴电缆、光线等。 2.多媒体技术的概念 多媒体（multimedia）是指信息表示媒体的多样化，它是能够同时获取、处理、编辑、存储和展示两种以上不同类型信息媒体的技术，包括：文字、声音、图形、图像、动画与视频等。同时还包含着处理与应用它的一套技术，故而，“多媒体” 与“多媒体技术”是同义词。 多媒体技术就是计算机交互式综合处理多种媒体信息——文本、图形、图像和声音，让多种信息建立逻辑连接，集成为一个系统并具有交互性。概括起来讲，多媒体技术就是计算机综合处理声、文、图信息的技术，具有集成性、实时性和交互性。 3. 多媒体技术的主要特征 依据其定义，多媒体技术有4个显著特征：集成性、实时性、数字化和交互性，也是它有别于传统计算机系统的特征。 1）集成性 众多信息中，每一种信息都有自己的特殊性，同时又具有共性，多媒体信息的集成处理把信息看成一个有机的整体，采用多种渠道获取信息、统一格式存储信息，对信息进行集成化处理，这是媒体的信息的集成 。 二是显示或表现媒体设备的集成，即多媒体系统不仅包括计算机本身，还包括电视、音响、摄像机、DVD播放机等设备，把不同种类的设备集成在一起共同完成信息处理工作。 2）实时性 在多媒体中声音及活动的视频图像是强实时的（hard realtime），需要多媒体系统提供对这些与时间密切相关的媒体实时处理的能力。 3）数字化 各种媒体信息均以数字形式存储在计算机中。 4）交互性 指的是我们可以通过多媒体计算机系统对多媒体信息进行加工、处理并控制多媒体信息的输入、输出和播放。简单的交互对象是数据流，较为复杂的是多样化的信息，如文字、图像、动画以及语言等。 总体来讲， 多媒体技术是一种基于计算机的综合技术，包括数字信号处理技术、音频和视频压缩技术、计算机硬件和软件技术、人工智能和模式识别技术、网络通信技术等。包含着计算机领域内较新的硬件技术和软件技术，可以将不同性质的设备和媒体处理软件集成为一体，以计算机为中心综合处理各种信息。1.1.2 多媒体技术的发展历程 多媒体技术最早起源于20世纪80年代中期。 1984年美国Apple公司在Macintosh计算机上引入了位图等技术，提出视窗和图标的用户界面形式。 1985年美国Commodore推出了世界上第一套多媒体系统Amige。 1986年荷兰Philips公司和日本的Sony联合推出了交互式紧凑光盘CD-I。‘ 1987年RCA公司首次公布了交互式数字视频系统（Digital Video Intercative ，DVI）。 1990年 Microsoft公司会同多家厂商成立了”多媒体计算机市场协会“并制定出多媒体个人计算机（MPC-1）的第一个标准。 1991年第六届国际多媒体和CD-ROM大会上宣布了扩展结构系统标准CD-ROM/XA。 1992年正式公布了又运动图像专家组（moving picture expert group）开发制定的MPEG-1数字电视标准。 1993年，”多媒体计算机市场协会“又推出了包括全动态视频图像MPC的第二个标准。 1995年6月，多媒体个人计算机市场协会又宣布了新的多媒体计算机技术规范MPC3.0。 多媒体技术是多学科交汇的技术，其发展方向是高分辨率化，提高显示质量，高速度化，缩短处理时间；简单化，便于操作；高维化，三维、四维或更高维；智能化，提高信息识别能力；标准化，便于信息交换和资源共享。发展趋势是计算机支持的协同工作环境（Computer Suppored Collabortive Work，CSCW）；增加计算机的智能；把多媒体和通信技术融合到CPU芯片中等。1.1.3 流媒体技术 流媒体是从英语Streaming Media翻译过来的，是一种可以使音频、视频和其他多媒体信息能够在Internet及Intranet上以实时的、无需下载等待的方式进行播放的技术，流式传播方式是将动画、视频、音频等多媒体文件经过特殊的压缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时地传递。 1.流式传输的概念和分类 网络上传输音频、视频等要求较高带宽的多媒体信息，目前主要是下载和流式传输两种方案。下载的缺点是用户必须等待所有的文件传送到位，才可以利用软件播放，随着互联网和多媒体技术在互联网上的应用，迫切要求能够解决实时传送视频、音频、计算机动画等媒体文件的技术，所以，流式传输应运而生了。 1）流式传输 互联网上的音视频服务器将声音、图像或动画等媒体文件从服务器向用户端实时连续传输，用户不需等待，而只延续几秒，就可以在用户及上播放，文件的其余部分在由用户计算机在后台继续接收，直至播放完毕或用户终止。 2）流媒体 网络中使用流式传输技术的连续时基媒体（如视频和音频数据），在窄带互联网中传播多媒体信息成为可能。这得益于Progressive Network公司（RealNetwork）1995年的RealPlay产品。 流媒体技术是网络音频、视频技术发展的产物，是解决多媒体播放时的带宽问题的“软技术”。实现流式传输有两种：实时流式传输（realtime streaming）和顺序流式传输（pregressive streaming）。 3）顺势流式传输 顺序下载，下载文件时可以观看在线媒体。给定时刻，我们只能观看已下载的部分，不能跳到未下载部分，顺序流式传输与实时流式传输不同，可根据用户连接的速度作调整。标准的HTTP服务器可发送这种形式文件不需要其他协议，经常被称作HTTP流式传输。适用于高质量的短片段。 顺序流式文件放在标准的HTTP或FTP服务器上，易于管理，基本与防火墙无关。不适合长片段和又随机访问要求的视频，也不支持现场广播，是一种点技术。 4）实时流式传输 保证媒体信号带宽与网络连接匹配，媒体可被实时观看。需要专用的媒体服务器与传输协议。适合现场事件，支持随机访问。 2.流媒体技术原理 缓冲存储是流式传输实现的基本技术，其工作原理如下（ 顺序流式传输过程）：
（1）Web浏览器与Web服务器建立TCP连接，提交HTTP请求信息，要求传送多个媒体文件。 （2）Web服务器收到请求后，检索媒体服务器（独立的多媒体服务器，专门用于存储多媒体文件）的文件系统。 （3）检索成功，服务器向浏览器发送响应消息，将关于该多媒体文件的详细信息返回。 （4）Web浏览器收到HTTP的响应消息后，检查其中的类型与内容，如请求被Web服务器批准，就把详细信息传给相应的媒体播放器。 （5）该媒体播放器直接与媒体服务器建立TCP连接，然后向媒体服务器发送请求信息，请求文件的发送。 （6）在某种传输协议（如实时流协议RTSP）的控制下，媒体服务器把目标多媒体文件以媒体流形式传送到媒体播送器的缓冲池中，双方协调工作，完成流式传播。 3. 流媒体播放 1）单播（unicast） 客户端与服务器之间建立一个单独的数据通道，从一台服务器送出的每个数据包只能传送给一个客户机。难以保证服务质量。 2）点播与广播（brodcast） 点播连接是客户端与服务器之间的主动连接。用户通过选择内容项目来初始化客户端的连接。我们可以开始、停止、后退、快进或暂停多媒体数据流。 广播是用户被动接收数据流。 3）多播（multicast） 多播对应于组通信技术（group communication），构建一种具有多播能力的网络，允许路由器一次将数据包复制到多个通道上，保证了多媒体应用占用网络的带宽较小。 4）泛播（anycast）是一种一对多（one——to——one——of——many）发送，只要其中一个成员收到即可的网络层术语。 5）智能流技术 由于互联网接入方式的多样化，每个用户的接入速率差别很大，所以，流媒体广播必须提供不同速率下的优化图像，十分困难。这样，建立在不同类型的编码方式上的智能流技术应运而生。 4.流媒体的文件格式 流媒体的文件格式特征是：经过特殊编码，适合在网络上边下载边看。为此，必须向流媒体文件中加入一些其他的附加信息，如版权、计时等。流媒体文件格式如下：
5.流媒体技术协议 IETF（互联网工程任务组）中的Integrated Services（综合服务）工作组开发了一个同名的Internet增强服务模型，包括best-effort（尽力传送）服务和real--time（实时传送）服务。包括四种协议：实时传输协议RTP、实时传输控制协议RTCP、实时流协议RTSP，以及资源预订协议RSVP。
这是本人讲课用的教案，不妥之处请提意见。