1. White Rabbit 简介
针对大规模物理实验及其装置高精度时间同步的要求,White Rabbit综合了同步以太网、精密定时协议(IEEE1588 v2)和数字相位测量技术而发展的分布式同步授时技术,能够实现数公里范围内多节点亚纳秒精度的时钟分发,可以实现长距离多节点之间的频率锁相及纳秒级时间同步,保证全局同步数据获取及控制过程的实现。
White Rabbit技术以广泛使用的以太网技术为基础,在不额外占用带宽,兼容原以太网应用的前提下,综合运用物理层同步、时间戳对准、相位测量和补偿、延迟自动校准等多种技术,在多达上万个节点间实现高精度频率源广播、亚纳秒时间同步。该技术具有同步精度高、兼容性好、成本低、能自动校准光纤长度和环境参数引起的延迟变化的突出优点。该方法正应用于欧洲核子中心CERN的LHC、CNGS中微子速度测量实验和、GSI的加速器控制系统中。该技术在国家十二五重大科技基础设施项目“高海拔宇宙射线观测站”工程中,实现分布在1平方公里范围内的近6000个节点间好于纳秒级的时间同步和数据获取。
White Rabbit在同步以太网技术(SyncE)、精密时间同步协议(IEEE 1588-2008 即PTPv2)的基础上,采用了相位返回和全数字鉴相技术实现主从节点的频率锁定和时间戳同步。全局亚纳秒的同步精度比GPS提高了1-2个数量级,并且可以解决大范围温度变化环境下链路延时的自动补偿和校准。其节点逻辑和软件应用可以全部在单片可编程FPGA器件上实现,且利用数据传输网络本身作为定时控制的媒介,最大限度的降低系统复杂度和成本,同时提高了系统可靠性和可管理性。White Rabbit 分布式高精度同步技术将把现有的网络同步技术的指标提高一个量级,能广泛应用于分布式网络测控、工业自动化控制、分布式基站和远端射频系统、电力电网同步、自适应阵列天线、多基地雷达、室内定位等多种场合。该长距离时间同步技术和在特殊气象条件下系统可靠性研究对于野外科学实验或海洋、陆地勘测等项目也具有非常好的借鉴作用。
2. White Rabbit 原理
WR综合了同步以太网、PTP精密时钟协议和数字鉴相技术等多项成熟技术。同步以太网SyncE保证在全网络内所有的时钟都以共同的频率运行,即时钟谐振;PTP精密时钟协议(IEEE 1588)是标准化高精度网络时钟同步协议,但是受限于时钟的周期,其同步精度不可能优于时间周期;数字鉴相器通过测量时钟的相位,从而提高了系统的精度,使系统的同步精度达到亚纳秒级。
2.1 PTP协议
精确时钟协议是为本地网络设计的标准化高精度时钟协议(IEEE 1588, 也称PTP),其主要目的是在以太网中实现微秒级的同步精度。与专用时钟同步系统不同,PTPv2的定时链路与系统的数据链路复用,避免为定时功能增加额外通讯链路的开销。PTPv2定义了一种主从结构的时钟同步网络,即所有从节点的本地时钟需要与其参考的主节点时钟同步。这种点对点的时钟同步通过交换带有时间戳的网络包实现。
根据PTP协议,由t1,t2,t3,t4可以计算得到主端到从端的链路延时主从端的时间差。
可以看出,PTP时钟同步的准确度很大程度上取决于四个时间戳的准确度,然而在以太网中包传输的延时并不是确定的,应用程序、操作系统或网卡均有可能引入不确定的延时,从而降低时间戳的准确度,因此若要获得较高精度的同步结果,时间戳需要在网络物理层处理。即使如此,PTP也很难实现亚纳秒级的时钟同步,其局限性主要体现在:
(1)所有节点的时钟都是独立运行的,各自的振荡器频率存在一定偏差,为了避免主从节点出现较大的时间偏差,同步报文交换的频率必须足够高以及时补偿偏差,这给通讯链路带来了较大的负荷。
(2)主从时钟的偏差是基于时间戳计算的,其精度受限于时间戳的分辨率。例如千兆以太网的链路驱动时钟频率为125 MHz,其时间分辨仅为8 ns。
(3)未考虑传输介质的非对称性,假设收发链路是完全对称的。
White Rabbit在完全兼容PTPv2协议的基础上,采用物理层时钟分布技术、全数字双混频鉴相器以及WR同步链路模型分别克服以上三点局限性,将同步准确度提升至亚纳秒。
2.2 物理层时钟分布技术
White Rabbit基于千兆以太网物理层实现时钟分布。物理层时钟分布的原理与SONET/SDH的频率分布机制相同,将时钟信号编码至物理层后通过通讯链路分布给其它节点,同步以太网(Synchronous Ethernet,Sync-E)就是物理层时钟分布的一个典型应用。在标准以太网中,各个节点的时钟都是独立运行的。而在同步以太网中,所有节点构成一个时钟网络拓扑结构,子节点或子交换机从数据链路中恢复出时钟,并经过从节点内部的PLL,以消除时钟恢复电路引起的抖动(jitter)。该恢复出来的时钟既是从节点的系统时钟,也作为下一级节点的参考时钟。这样整个网络的所有节点的时钟频率都与主节点时钟频率精确同步(±10
ppt的长期准确度)。
2.3 WR同步链路模型
White Rabbit将主从节点见的链路细分成了多个环节,该同步链路如下图所示:
往返链路的总延时可以看作由三部分组成:
(1) 主从节点收发电路的硬件延时(∆TXM,∆RXM,∆TXS,∆RXS),包括FPGA内部逻辑的确定性延时、FPGA内部走线延时、PCB走线延时、高速串行收发器以及光纤收发器的延时,这部分延时可以认为是相对固定的;
(2) 比特位滑动(bit slide)延时(εM,εS),这是由于串并转换电路在进行字对齐操作时引起的比特位滑动,这部分延时在光纤链路建立连接后保持不变,可以在每一次链路建立后通过BitSlide状态机自动获取;
(3) 光纤链路传输延时(δMS,δSM),这部分延时对温度波动非常敏感,需要实时刻度并补偿。
当链路建立后,主端可以通过PTP协议获得链路总延迟,并通过扣除固定延迟部分来计算出往返光纤链路的延时。
为了精确计算光纤链路的单向延时,需要考虑光纤链路的不对称性。White Rabbit使用一根单模光纤连接主从节点,采用波分复用技术(Wavelength Division Multiplexing, WDM)实现全双工通信,主节点发出的光的波长为1490 nm,从节点发出的光的波长为1310 nm。使用波分复用技术可以节约成本,但是更重要的在于单根光纤里的往返链路长度完全一致,延时不对称性完全由不同波长的光在光纤中的折射率决定。White Rabbit定义了光纤非对称系数α,由于不同厂家生产的光纤的折射率略有差别,需要在实验室提前对光纤的非对称系数进行标定。
利用光纤的非对称性系数,可以从往返光纤链路的延时计算出主从链路的单向延时。再加上合适的固定延迟部分即可得到从节点相对主节点的延迟矫正数值。
2.4 数字双混频鉴相器
White Rabbit使用鉴相器精确测量数据恢复时钟与本地时钟的相位差并对时间戳进行校正,从而将基于PTPv2的时钟同步技术带入亚纳秒级。此外,从节点端的鉴相器与滤波控制电路以及压控振荡器构成了一个锁相环电路,实现从节点时钟的相位锁定和相位调整功能。
传统的基于模拟方法的鉴相器能够获得很高的分辨率和线性度,然而它们需要增加额外的器件(如混频器、滤波器等),特别是对于WR多端口交换机的应用,不仅增加成本还给设计带来了困难。
White Rabbit采用了一种全数字双混频鉴相器(Digital Dual Mixer Time Difference, DDMTD),其工作原理如下图所示:利用外部锁相环产生一个辅助时钟信号,该信号频率与被测信号(clkA和clkB)的频率存在微小的差别(fPLL=N/(N+1)fclk)。在FPGA内部使用该辅助时钟信号分别对clkA和clkB进行采样。由于采样频率非常接近被测信号的频率,所以D触发器会输出一个非常低频的信号。被测信号的相位差在混频之后被放大了,因此通过测量触发器输出信号的相位差可以计算出原信号的相位差。DMTD双混频鉴相由数字方法实现,具有结构简单,线性度好,动态范围大的优点。
3. White Rabbit网络
White Rabbit完全兼容标准千兆以太网协议,具有低成本、高带宽、高可靠性和灵活拓扑结构等特点。White Rabbit同步网络主要包含三部分:外部参考时钟源,WR交换机和WR节点。一个典型的White Rabbit网络拓扑结构如图。
WR交换机完成时钟的跨界同步,类似于PTP协议中定义的边界时钟(boundary clock),一方面作为从时钟与上级时钟进行同步,另一方面作为主时钟与下级时钟进行同步。WR时钟同步过程包含两部分,一是频率同步,二是表征绝对时刻信息的时间同步:频率同步是通过同步以太网技术实现的,PTP协议和DDMTD实现了纳秒级时间同步。在WR网络中,所有节点的时钟最终都溯源同步到外参考时钟。简单应用中,可以使用顶层交换机的内部振荡器和时间信息作为全网络参考频率和参考时间;而高精度应用中,可以使用独立的外部参考时钟,例如使用铷原子钟或铯原子钟作为外部频率参考,使用GPS/北斗接受器或长短波授时装置作为外部时间参考,既能提高WR网络内频率与时间信息的精度,也提供了多个WR网络间同步的手段。WR网络是符合1000Base-Lx的标准以太网,非WR设备也可以连入WR网络,可以和WR节点互相交换数据,但无法达到WR设备的高精度时间同步特性。WR交换机支持冗余链路链接,通过快速生成树协议可以实现主链路故障时快速切换到备用链路,保障网络和链接的可靠性。
4. White Rabbit 系统组件
White Rabbit技术由多个研究所和高校共同参与开发,并和公司合作实现商业化和产品化。借助成熟的商业货架式组件,能够非常方便迅速的实施基于WR的应用或改造。
参与OHWR和White Rabbit开发的相关商业公司的清单如下,能够提供从交换机到节点的全系列产品和定制服务。信科太是唯一来自中国的技术公司,具有全面的White Rabbit开发定制能力,提供包括交换机和定制节点在内的成熟产品,为国内的多个科学装置和科研项目提供完整的White Rabbit设计安装服务,具有丰富的White Rabbit开发和应用经验。
4.1 WR交换机
WR交换机是WR网络的核心部件,它在普通交换机的基础上添加了WR功能支持,并提供了QoS支持、链路冗余和快速切换等特性,以满足对时钟和控制系统的高实时性要求。WR交换机有18个SFP光纤口,可以任意配置为上行口或下行口。通常配置其中两个为上行口,其中一个作为主要的WR从端口与上级交换机同步,另一个作为冗余端口,一旦前者链路断开,该冗余端口将自动切换为WR从端口;剩下的16个端口均配置为下行口,用于与下级的16个WR从节点或交换机同步。
信科太公司提供的WRS-18A型交换机集成了低噪声时钟输入电路,进一步改善了相位噪声和晃动,在10级级联的情况下仍能保持<10ps的输出晃动。WRS-18B型号的交换机在保持和标准交换机完全兼容的前提下,改进了系统散热和防尘性能,能够在恶劣的野外条件下安装使用。
4.2 WR节点
WR节点有多种实现形式:载板模式,子板模式和IP核模式。
载板模式提供符合标准型式的载板,例如VME,PCI-Express。在该载板上提供了WR节点的功能和必要的系统资源,并通过标准的FMC(FPGA Mezzanine Card)接口扩展诸如ADC,DAC或DIO等应用功能。
子板模式将WR最小系统电路集成到一个子卡上,可以集成到应用电子学系统内。子卡提供同步频率,经过编码的时间信号和标准MAC接口。应用电子学可以将其作为标准千兆网卡来实现数据传输。
信科太公司提供多种形式的WR子卡,并能根据用户需求进行定制。其中
CUTE-WR-A7子卡是双端口FMC形式的子卡;MINI-WR是模块级的子卡。
4.3 外部频率/时间参考
WR网络最顶层的交换机称为Grand Master,网络内所有节点的频率和时间都和GM保持同步。GM可以使用外部频率/时间参考,例如原子钟,GNSS接收机等。
5. 相关资料
OHWR网站关于White Rabbit的资料汇总
2018年6月在清华大学举办的WR培训及应用研讨会资料
基于光纤以太网的高精度分布式授时技术
WR 技术的发展与应用[J]. 宇航计测技术, 2018, 38(5): 7-15.
网络时间同步协议综述[J]. 计算机工程与应用, 2019, 55(3): 30-38.
White Rabbit 技术在时敏领域应用综述
|