会议系统的组成非常简单，每个会场安放一台视频会议终端，终端接上电视机作为回显设备、接上网络作为传输媒介就可以了。一台终端通常有一台核心编解码器、一个摄像头，一个全向麦克风以及一个遥控器。核心编解码将摄像头和麦克风输入的图像及声音编码通过网络传走，同时将网络传来的数据解码后将图像和声音还原到电视机和音响上，即实现了与远端的实时交互。终端通过呼叫IP地址或ISDN号码进行连接（专线无需拨号）。但在有三点会场就必须采用MCU（视频会议多点控制单元）进行管理。
同电话交换机相似，MCU（多点控制单元）的作用就是在视频会议三点以上时，决定将哪一路（或哪四路合并成一个）图像作为主图像广播出去，以供其他会场点收看。所有会场的声 音是实时同步混合传输的。在具有MCU 视频 会议系统终端构成 的会议系统里，所有终端的音视频数据均实时传到MCU供选择广播。MCU的数据流量较大，通常接于网络的中心交换机上，控制人员通过笔记本电脑调用MCU管理界面在会场进行远程管理。呼叫方式可以由控制人员由MCU呼叫各个终端，亦可由各终端呼叫控设置好的会议号。
如果客户规划的视频会议系统网络比较大，在MCU下面还可建立另外视频会议网，两个网的MCU实现视音频交换，此种方法叫MCU的级连。比如，中央到各省的视频会议网络带宽为2M，省上自己亦有自己的视频会议系统。中央开会用自己的MCU，省上开会用省上的MCU，需要上传下达时，将MCU级连起来就可以了。级连的好处一是管理上不会混乱；二是到中央的带宽亦不允许省下面几十点的数据全挤到这上面来。