结构照明成像系统论文和设计-彼得·克拉克·纽曼

全文摘要

本公开涉及结构照明成像系统。本公开提供了结构照明显微术(SIM)成像系统。在一组实现方式中，SIM成像系统可以被实现为多臂SIM成像系统，由此，系统的每个臂包括光发射器和具有相对于系统的光轴的特定的固定取向的分束器(例如透射式衍射光栅)。在第二组实现方式中，SIM成像系统可以被实现为多分束器滑动SIM成像系统，其中一个线性运动台安装有具有相对于系统的光轴的相应的固定取向的多个分束器。在第三组实现方式中，SIM成像系统可以被实现为图样角度空间选择SIM成像系统，由此，固定的二维衍射光栅与空间滤波器轮结合来使用，以在样品上投射一维条纹图样。

主设计要求

1.一种结构照明成像系统，包括：光发射器，其发射光；线性运动台，其安装有第一分束器和第二分束器，其中所述第一分束器分离由所述光发射器发射的光以将第一多个条纹投射在样品的平面上，其中所述第二分束器分离由所述光发射器发射的光以将第二多个条纹投射在所述样品的平面上；以及图像传感器，其收集由所述样品发射的光。

设计方案

1.一种结构照明成像系统，包括：

光发射器，其发射光；

线性运动台，其安装有第一分束器和第二分束器，其中所述第一分束器分离由所述光发射器发射的光以将第一多个条纹投射在样品的平面上，其中所述第二分束器分离由所述光发射器发射的光以将第二多个条纹投射在所述样品的平面上；以及

图像传感器，其收集由所述样品发射的光。

2.根据权利要求1所述的结构照明成像系统，其中所述线性运动台是一维线性运动台，其中所述线性运动台沿着一个维度平移以将所述第一分束器和所述第二分束器中的每一个光学地耦合到所述光发射器，其中所述第一分束器沿着所述一个维度与所述第二分束器相邻。

3.根据权利要求2所述的结构照明成像系统，其中所述第一分束器包括第一透射式衍射光栅，以及其中所述第二分束器包括第二透射式衍射光栅。

4.根据权利要求3所述的结构照明成像系统，其中所述第一透射式衍射光栅和所述第二透射式衍射光栅从所述一个维度成角度地偏移。

5.根据权利要求4所述的结构照明成像系统，其中所述第一透射式衍射光栅和所述第二透射式衍射光栅被集成到安装在所述线性运动台上的单个光学元件中。

6.根据权利要求5所述的结构照明成像系统，其中所述单个光学元件包括被图样化有所述第一透射式衍射光栅的第一侧和与所述第一侧相邻的被图样化有所述第二透射式衍射光栅的第二侧。

7.根据权利要求4所述的结构照明成像系统，其中所述第一透射式衍射光栅和所述第二透射式衍射光栅从所述一个维度成角度地偏移大约±45度。

8.根据权利要求7所述的结构照明成像系统，其中所述第一多个条纹在所述样品的平面上从所述第二多个条纹成角度地偏移约90度。

9.根据权利要求8所述的结构照明成像系统，其中所述样品包括以矩形阵列或六边形阵列有规则地图样化的多个特征。

10.根据权利要求4所述的结构照明成像系统，还包括：用于阻挡由所述第一透射式衍射光栅和所述第二透射式衍射光栅中的每一个发射的零级光的一个或更多个光束阻挡器。

11.根据权利要求4所述的结构照明成像系统，还包括：将所述第一多个条纹和所述第二多个条纹中的每个投射在所述样品上的物镜。

12.根据权利要求11所述的结构照明成像系统，还包括：在所述线性运动台和所述物镜之间的光路中的投影透镜，其中所述投影透镜将所述第一透射式衍射光栅和所述第二透射式衍射光栅中的每一个的傅立叶变换投射到所述物镜的入射光瞳中。

13.根据权利要求3所述的结构照明成像系统，还包括：在安装在所述线性运动台上的部件上形成的对准图样，其中所述对准图样分离由所述光发射器发射的光以将图样投射在所述样品的平面上以用于成像对准。

14.根据权利要求13所述的结构照明成像系统，其中所投射的图样包括具有比所投射的第一多个条纹和第二多个条纹低的频率的线，其中所述对准图样被形成在包括所述第一透射式衍射光栅和所述第二透射式衍射光栅中的至少一个的基板上。

15.根据权利要求1所述的结构照明成像系统，还包括：使投射在所述样品的平面上的所述第一多个条纹和所述第二多个条纹相移的光学相位调制器，其中所述光学相位调制器是与所述线性运动台分离的部件。

设计说明书

相关申请的交叉引用

本申请要求2018年1月16日提交的且标题为“Dual Optical Grating SlideStructured Illumination Imaging”的美国临时专利申请号62\/618,057以及2018年3月20日提交的且标题为“Dual Optical Grating Slide Structured Illumination Imaging”的荷兰专利申请号N2020619的优先权。上面提到的申请中的每个的全部内容通过引用被并入本文。

技术领域

本申请涉及，但不限于结构照明成像系统。

背景技术

结构照明显微术(SIM)描述了一种技术，通过该技术，空间结构化 (即，图样化)的光可用于对样品成像，以将显微镜的横向分辨率提高两倍或更多倍。在某些情况下，在样品的成像期间，在各个图样相位(例如 0°、120°和240°)下采集样品的条纹图样的三个图像，使得样品上的每个位置暴露于一定范围的照明强度，该过程通过绕光轴将图样取向旋转到3 个单独的角度(例如0°、60°和120°)来重复。所捕获的图像(例如，九个图像)可以被组合成具有扩展的空间频率带宽的单个图像，该图像可以被再转换到真实空间中以生成具有比由传统显微镜捕获的图像更高分辨率的图像。

在当前SIM系统的一些实现方式中，线偏振光束被引导通过将光束分成两个或更多个单独的级的光学分束器，这些级可以被组合并作为具有正弦强度变化的干涉条纹图样投射在被成像的样品上。衍射光栅是可以产生具有高程度的相干性和稳定传播角的光束的分束器的例子。当两个这样的光束组合时，在它们之间的干涉可以产生均匀的、有规则地重复的条纹图样，其中间距由包括在干涉光束之间的角度在内的因素确定。如果多于两个光束被组合，则因而得到的图样通常包含条纹间距的混合物，结果是在最大强度和最小强度之间的差异(也被称为“调制深度”)减小了，使它变得较不适合于SIM目的。

在当前SIM系统的一些实现方式中，通过围绕光轴旋转分束元件来控制所投射的图样的取向，并且通过跨轴横向地移动元件来调整图样的相位。在这样的系统中，衍射光栅通常安装在平移台上，平移台又安装在旋转台上。此外，这种系统常常利用线偏振器来在由光源发射的光在光栅处被接收之前使其偏振。

实用新型内容

本文公开的实现方式涉及结构照明系统和方法。

在第一组实现方式中，SIM成像系统可以被实现为多臂SIM成像系统，其中系统的每个臂包括光发射器和具有相对于系统的光轴的特定的固定取向的分束器(例如透射式衍射光栅)。

在多臂SIM成像系统的一个实现方式中，该系统包括：第一光学臂，该第一光学臂包括发射光的第一光发射器以及第一分束器，该第一分束器分离由第一光发射器发射的光以将第一多个条纹投射在样品的平面上；以及第二光学臂，该第二光学臂包括发射光的第二光发射器以及第二分束器，该第二分束器分离由第二光发射器发射的光以将第二多个条纹投射在样品的平面上。在该实现方式中，该系统还可以包括组合第一臂和第二臂的光路的光学元件。此外，该系统可以包括图像传感器以收集由样品发射的光。在一些实现方式中，样品可以包括以矩形阵列或六边形阵列有规则地图样化的多个特征。

在一些实现方式中，第一分束器包括第一透射式衍射光栅，以及第二分束器包括第二透射式衍射光栅。在一些实现方式中，第一分束器包括第一反射式衍射光栅，以及第二分束器包括第二反射式衍射光栅。在一些实现方式中，第一分束器和第二分束器各自包括分束器立方体(cube)或板。

在一些实现方式中，第一光发射器和第二光发射器发射非偏振光，并且第一透射式衍射光栅和第二透射式衍射光栅使由第一光发射器和第二光发射器中的相应光发射器发射的非偏振光衍射。

在一些实现方式中，组合第一多个条纹和第二多个条纹的光路的光学元件包括具有孔的反射镜，其中该反射镜被布置成反射由第一衍射光栅衍射的光，并且孔被布置成使由第二衍射光栅衍射的至少第一级光穿过。在一些实现方式中，组合第一臂和第二臂的光路的光学元件包括偏振分束器，其中第一衍射光栅使垂直偏振光衍射，并且其中第二衍射光栅使水平偏振光衍射。

在一些实现方式中，多臂SIM成像系统包括使第一多个条纹和第二多个条纹相移的一个或更多个光学元件。

在一些实现方式中，使第一多个条纹和第二多个条纹相移的一个或更多个光学元件包括使第一多个条纹相移的第一旋转光学窗口和使第二多个光学条纹相移的第二旋转光学窗口。在一些实现方式中，使第一多个条纹和第二多个条纹相移的一个或更多个光学元件包括平移第一衍射光栅的第一线性运动台和平移第二衍射光栅的第二线性运动台。在一些实现方式中，使第一多个条纹和第二多个条纹相移的一个或更多个光学元件包括单个旋转光学窗口，其中该单个旋转光学窗口在到样品的光路中定位在具有孔的反射镜之后。

在一些实现方式中，单个旋转光学窗口的旋转轴从每个光栅的光轴偏移约45度。

在一些实现方式中，第一多个条纹在样品平面上从第二多个条纹成角度地偏移(angularly offset)约90度。

在一些实现方式中，该系统还包括：将第一多个条纹和第二多个条纹中的每一个投射在样品上的物镜。

在一些实现方式中，该系统还包括：用于阻挡由第一衍射光栅和第二衍射光栅中的每一个发射的零级光的一个或更多个光束阻挡器。在特定实现方式中，一个或更多个光束阻挡器包括布拉格光栅(Bragg grating)。

在多臂SIM成像系统的一个实现方式中，一种方法包括：开启结构照明系统的第一光学臂，该第一光学臂包括发射光的第一光发射器和使由第一光发射器发射的光衍射以将被定向在特定方向上的第一多个条纹投射在样品的平面上的第一衍射光栅；捕获样品的第一多个相位图像，其中在第一多个图像的捕获期间，第一多个条纹的位置在样品的平面上移动；开启结构照明系统的第二光学臂，第二光学臂包括发射光的第二光发射器和使由第二光发射器发射的光衍射以将第二多个条纹投射在样品的平面上的第二衍射光栅，其中第二多个条纹在样品的平面上从第一多个条纹成角度地偏移；以及捕获用第二多个条纹照亮的样品的第二多个相位图像，其中在第二多个条纹的捕获期间，第二多个条纹的位置在样品的平面上移动。在该方法的实现方式中，第一衍射光栅和第二衍射光栅是透射式衍射光栅，其中结构照明系统包括具有孔的反射镜，以反射由第一衍射光栅衍射的光并使由第二衍射光栅衍射的至少第一级光穿过。

在实现方式中，该方法还包括：使用至少第一多个所捕获的相位图像和第二多个所捕获的相位图像来以计算方式重建具有比第一多个所捕获的相位图像和第二多个所捕获的相位图像中的每一个更高的分辨率的一个或更多个图像。在实现方式中，第一多个条纹在样品平面上从第二多个条纹成角度地偏移约90度。

在实现方式中，通过旋转定位在样品与第一光栅和第二光栅中的每个之间的光路中的单个光学窗口来使第一多个条纹和第二多个条纹相移，其中单个旋转光学窗口的旋转轴从每个光栅的光轴偏移。

在该方法的实现方式中，在捕获第一多个相位图像之后，关闭结构照明系统的第一光学臂并且开启该结构照明系统的第二光学臂。

在该方法的实现方式中，第一衍射光栅和第二衍射光栅在图像捕获期间是机械地固定的。

在第二组实现方式中，SIM成像系统可以被实现为多分束器滑动SIM 成像系统(multiple beam splitter slide SIM imaging system)，其中一个线性运动台安装有具有相对于系统的光轴的相应固定取向的多个分束器。

在多分束器滑动SIM成像系统的一个实现方式中，该系统包括：发射光的光发射器；安装有第一分束器和第二分束器的线性运动台，其中第一分束器分离由光发射器发射的光以将第一多个条纹投射在样品的平面上，并且其中第二分束器分离由光发射器发射的光以将第二多个条纹投射在样品的平面上；以及收集由样品发射的光的图像传感器。在实现方式中，线性运动台是一维线性运动台，其中线性运动台沿着一个维度平移以将第一分束器和第二分束器中的每一个光学地耦合到光发射器，其中第一分束器沿着一个维度与第二分束器相邻。在实现方式中，第一多个条纹在样品平面上从第二多个条纹成角度地偏移约90度。

在实现方式中，第一分束器包括第一透射式衍射光栅，以及第二分束器包括第二透射式衍射光栅。第一衍射光栅和第二衍射光栅可以从一个维度成角度地偏移(即，围绕光的传播方向旋转)。在特定实现方式中，第一衍射光栅和第二衍射光栅从一个维度成角度地偏移大约±45度。

在一些实现方式中，第一衍射光栅和第二衍射光栅可以集成到安装在线性运动台上的单个光学元件中。在衍射光栅被集成到单个光学元件中的实现方式中，单个光学元件可以包括被图样化有第一衍射光栅的第一侧和与第一侧相邻的被图样化有第二衍射光栅的第二侧。

在一些实现方式中，该系统还可以包括：用于阻挡由第一衍射光栅和第二衍射光栅中的每一个发射的零级光的一个或更多个光束阻挡器。

在一些实现方式中，该系统还可以包括：在线性运动台和物镜之间的光路中的投影透镜。投影透镜可以将第一衍射光栅和第二衍射中的每一个的傅立叶变换投射到物镜的入射光瞳中。

在一些实现方式中，该系统还可以包括在安装在线性运动台上的部件上形成的对准图样(alignment pattern)，其中该对准图样分离由光发射器发射的光以将图样投射在样品的平面上以用于成像对准。对准图样可以形成在包括第一衍射光栅和第二衍射光栅中的至少一个的基板上。所投射的图样可以包括具有比所投射的第一多个条纹和第二多个条纹低的频率的线。

在一些实现方式中，该系统还可以包括：使投射在样品的平面上的第一多个条纹和第二多个条纹相移的光学相位调制器。在这样的实现方式中，光学相位调制器可以是与线性运动台分离的部件。

在多分束器滑动SIM成像系统的一个实现方式中，一种方法包括：开启结构照明成像系统的光发射器，该结构照明成像系统包括安装有第一衍射光栅和第二衍射光栅的一维线性运动台，其中该线性运动台沿着一个维度平移；沿着一个维度平移线性运动台以使由第一衍射光栅投射在样品上的第一多个条纹相移；平移线性运动台以将第二衍射光栅光学地耦合到光发射器；以及在将第二衍射光栅光学地耦合到光发射器之后，沿着一个维度平移线性运动台以使由第二衍射光栅投射在样品上的第二多个条纹相移。第一衍射光栅和第二衍射光栅可以是透射式衍射光栅，并且可以从平移的一个维度成角度地偏移。例如，第一衍射光栅和第二衍射光栅可以从一个维度成角度地偏移大约±45度。

在实现方式中，该方法还可以包括：将线性运动台沿一个维度平移多次以使由第一衍射光栅投射在样品上的第一多个条纹相移多次；以及在将第二衍射光栅光学地耦合到光发射器之后，将线性运动台沿一个维度平移多次以使由第二衍射光栅投射在样品上的第二多个条纹相移多次。

在实现方式中，该方法还可以包括：每当线性运动台被平移以使第一多个条纹相移之后捕获样品的图像；以及每当线性运动台被平移以使第二多个条纹相移之后捕获样品的图像。所捕获的图像可用于以计算方式重建具有比每个所捕获的图像更高的分辨率的图像。

在该方法的实现方式中，每当第一多个条纹或第二多个条纹在样品上被相移时，线性运动台沿着一个维度平移几乎相同的距离。

在特定实现方式中，当第二衍射光栅光学地耦合到光发射器时，线性运动台被平移大约10mm和15mm之间。

在第三组实现方式中，SIM成像系统可以被实现为图样角度空间选择SIM成像系统(pattern angle spatial selection SIM imaging system)，由此，固定的二维衍射光栅与空间滤波器轮(spatial filter wheel)结合来使用，以将一维条纹图样投射在样品上。

在图样角度空间选择SIM成像系统的一个实现方式中，该系统包括：发射光的光发射器；二维衍射光栅，其使由光发射器发射的光衍射，以将被定向在第一方向上的第一多个条纹投射在样品平面上，并将被定向在垂直于第一方向的第二方向上的第二多个条纹投射在样品平面上；以及空间滤波器轮，其使在第一或第二方向中的相应方向上从二维衍射光栅接收的衍射光穿过，并阻挡在第一或第二方向中的相应方向上的光，该空间滤波器轮包括第一多个孔和与第一多个孔正交的第二多个孔。第一多个孔可以使在第一方向上由二维衍射而衍射的光穿过，以及第二多个孔可以使在第二方向上由二维衍射而衍射的光穿过。

在一些实现方式中，该系统还包括：阻挡由二维衍射光栅透射的0级光的光束阻挡元件。在特定实现方式中，光束阻挡元件包括衍射光学元件，该衍射光学元件被图样化以反射垂直于该元件的光并使其它角度的光穿过。

在一些实现方式中，空间滤波器轮反射从二维衍射光栅接收的未穿过的光的衍射级。

在一些实现方式中，二维衍射光栅是透射式衍射光栅。透射式衍射光栅可以设置在接收来自光发射器的光的固体光学器件的表面上或者形成在该表面上。透射式衍射光栅的色散角可以被布置成使得0级光在固体光学器件的远侧上被阻挡。在一些实现方式中，固体光学器件包括斜面，以衍射和输出由二维透射式衍射光栅衍射的第一级光。在特定实现方式中，斜面包括聚焦透镜。在一些实现方式中，投影透镜接收由固体光学器件输出的光。

在一些实现方式中，二维衍射光栅是二维反射式衍射光栅。二维反射式衍射光栅可以设置在固体光学器件的与接收来自光发射器的光的固体光学器件的孔相对的表面上或形成在该表面上。固体光学器件可以包括反射内表面，以反射由二维反射式衍射光栅衍射的第一级光并通过固体光学器件的出口面将该第一级光输出。在特定实现方式中，出口面包括衍射聚焦透镜。在一些实现方式中，投影透镜接收由固体光学器件输出的光。

在一些实现方式中，该系统还包括：使第一多个条纹和第二多个条纹相移的一个或更多个光学元件。在特定实现方式中，使第一多个条纹和第二多个条纹相移的一个或更多个光学元件包括沿垂直的两个方向倾斜的平行板光学器件。

在图样角度空间选择SIM成像系统的一个实现方式中，一种方法包括：开启结构照明成像系统的光发射器，该结构照明成像系统包括二维衍射光栅；在二维衍射光栅处接收由光发射器发射的光，以输出被定向在第一方向上的第一衍射光和被定向在垂直于第一方向的第二方向上的第二衍射光；使第一衍射光穿过空间滤波器轮的第一多个孔，并在空间滤波器轮处阻挡第二衍射光；将穿过第一多个孔的第一衍射光作为第一多个条纹投射在样品平面上；以及捕获由样品发射的光的第一多个相位图像，其中在第一多个图像的捕获期间，第一多个条纹在样品平面上相移。第一多个条纹可以通过(例如，使用运动台)移动样品、通过移动所投射的条纹或者通过移动样品和所投射的条纹二者来相移。

在实现方式中，该方法还包括：旋转空间滤波器轮，使得它使第二衍射光穿过空间滤波器轮的第二多个孔，并在空间滤波器轮处阻挡第一衍射光；将穿过第二多个孔的第二衍射光作为与第一多个条纹正交的第二多个条纹投射在样品平面上；以及捕获由样品发射的光的第二多个相位图像，其中在第二多个图像的捕获期间，第二多个条纹在样品平面上相移。

在该方法的特定实现方式中，二维衍射光栅是在固体光学器件的表面上形成或设置在固体光学器件的表面上的二维透射式衍射光栅，并且该方法还包括：在固体光学器件的与透射式衍射光栅相对的一侧处阻挡由透射式衍射光栅输出的0级光；以及从固体光学器件的斜面衍射和输出由二维透射式衍射光栅衍射的第一级光。

在该方法的特定实现方式中，二维衍射光栅是在固体光学器件的与接收来自光发射器的光的固体光学器件的孔相对的表面上形成或设置在该表面上的二维反射式衍射光栅，并且该方法还包括：在固体光学器件的表面处反射由二维反射式衍射光栅衍射的第一级光。

根据结合附图理解的下面的详细描述，所公开的技术的其他特征和方面将变得明显，附图通过例子的方式示出了根据所公开的技术的在本文所述的一些实现方式的特征。该概述不旨在限制由权利要求和等同物限定的本文所述的任何实用新型的范围。

应该认识到，前述概念的所有组合(假设这些概念不相互矛盾)被认为是本文公开的实用新型主题的一部分。特别地，出现在本公开结尾处的要求保护的主题的所有组合被认为是本文公开的实用新型主题的一部分。

附图说明

参考以下附图详细描述了根据一个或更多个实现方式的本公开。这些图仅出于说明的目的而被提供，并且仅描绘示例实现方式。此外，应当注意，为了说明的简单和清楚，图中的元素不一定按比例绘制。

本文包括的一些图从不同视角示出了公开的技术的各种实现方式。尽管附随的描述性文本可以将这样的视图称为“顶”、“底”或“侧”视图，但这样的提及仅仅是描述性的，并且不暗示或要求所公开的技术在特定的空间取向上被实现或使用，除非另外明确地说明。

图1示出了根据本文描述的一些实现方式的用空间结构化光照亮样品的结构照明成像系统。

图2是示出根据本文描述的一些实现方式的双臂结构照明显微术 (SIM)成像系统的一个示例光学配置的光学图。

图3是示出根据本文描述的一些实现方式的双臂SIM成像系统的另一示例光学配置的光学图。

图4是示出根据本文描述的一些实现方式的双臂SIM成像系统的另一示例光学配置的光学图。

图5是示出根据本文描述的一些实现方式的、可以由多臂SIM成像系统在一个成像周期期间执行以使用结构化光来创建高分辨率图像的示例方法的操作流程图。

图6示出了根据本文描述的一些实现方式的、可以在图像捕获期间由双臂SIM成像系统的垂直光栅和水平光栅投射到样品的平面上的简化照明条纹图样。

图7示出了根据本文描述的一些实现方式的、使用偏振分束器以用垂直偏振光照亮垂直光栅并用水平偏振光照亮水平光栅的双臂SIM成像系统的示例实验设计。

图8A示出了利用20x\/0.75NA显微镜、使用图7的示例SIM成像系统捕获的无焦镜像(afocal mirror image)和荧光幻灯片。

图8B示出了使用带有珠状流动池(beaded flowcell)的图7的系统获取的条纹调制测量结果。该曲线图示出在该示例中当图7的平行板W2的角度改变时在相位调整周期期间的典型的特征图像强度变化。

图9示出了根据本文描述的一些实现方式的双臂SIM成像系统的另一示例光学配置。

图10A是示出根据本文描述的一些实现方式的在第一衍射光栅位置上的双光栅滑动SIM成像系统的示例光学配置的示意图。

图10B是示出根据本文描述的一些实现方式的、图10A的双光栅滑动 SIM成像系统在第二衍射光栅位置上的示例光学配置的示意图。

图11是示出根据本文描述的一些实现方式的、可以由多光栅滑动SIM 成像系统在一个成像周期期间执行以使用结构化光来创建高分辨率图像的示例方法的操作流程图。

图12示出了根据本文描述的一些实现方式的、可以在图像捕获期间由双光栅滑动SIM成像系统的第一衍射光栅和第二衍射光栅投射到样品的平面上的简化照明条纹图样。

图13是示出根据本文描述的一些实现方式的示例双光栅滑动SIM成像配置的图。

图14是示出根据本文描述的一些实现方式的图样角度空间选择SIM 成像系统的示例光学配置的示意图。

图15是示出根据本文描述的一些实现方式的图样角度空间选择SIM 成像系统的另一示例光学配置的示意图。

图16是示出根据本文描述的一些实现方式的图样角度空间选择SIM 成像系统的另一示例光学配置的示意图。

图17示出可以在多光栅滑动SIM成像系统的一些实现方式中使用的对准图样的一个例子。

图18示出了根据本文描述的一些实现方式的、可以在SIM成像系统的图像传感器组件上形成的样品。

图19示出了根据本文描述的一些实现方式的示例双光栅滑动SIM成像系统的一些部件。

附图不是详尽的且不将本公开限于所公开的精确形式。

具体实施方式

如在本文用于指由衍射光栅衍射的光的，术语“级(order)”或“级数”意欲意指整数波长的数量，其表示来自相邻的衍射光栅狭缝或结构的相长干涉的光的路径长度差。在重复的一系列光栅结构或其他分束结构上的入射光束的相互作用可以将光束的部分重定向或衍射到偏离原始光束的可预测的角方向中。术语“零级”或“零级最大值”意欲指由衍射光栅发射的中央亮条纹，其中没有衍射。术语“第一级”意欲指衍射到零级条纹的两侧的两个亮条纹，其中路径长度差为±1个波长。更高级的光被衍射到偏离原始光束的更大的角度中。光栅的特性可以被操纵以控制多少光束强度被引导到不同级内。例如，可以制造相位光栅以使±1级光束的透射最大化，并使0级光束的透射最小化。

如在本文用于指样品的，术语“特征”意欲意指图样中的可以根据相对位置与其他的点或区域区分开的点或区域。单独的特征可以包括特定类型的一个或更多个分子。例如，特征可以包括具有特定序列的单个靶核酸分子，或特征可以包括具有相同序列(和\/或其互补序列)的几个核酸分子。

如本文所使用的，术语“xy平面”意欲意指由在笛卡尔坐标系中的直线轴x和y所定义的2维区域。当参考检测器和由检测器观察的对象被使用时，该区域可以被进一步指定为与光束轴或在检测器和被检测对象之间的观察方向正交。

如本文中所使用的，术语“z坐标”意欲意指指定沿着与xy平面正交的轴的点、线或区域的位置的信息。在特定实现方式中，z轴正交于由检测器所观察到的对象的区域。例如，可以沿着z轴指定光学系统的聚焦方向。

如本文所使用的，术语“光学耦合”旨在指代一个元件适用于将光直接或间接地传到另一元件。

如上面所提到的，SIM系统的已存在的实现方式将衍射光栅安装在平移台上，平移台又安装在旋转台上。此外，这种系统常常在光在光栅处被接收之前利用线偏振器来使光源偏振。这种已存在的设计对于在高吞吐量显微镜系统中使用遭受许多缺点。首先，因为旋转台在图像集的采集期间必须旋转光栅几次(例如，三次)，这减慢仪器的速度并影响它的稳定性。通常，最快的光栅台可以旋转大约几十毫秒(ms)，这对成像速度强加机械吞吐量限制。其次，已存在的设计具有较差的可重复性，因为旋转台的机械公差限制了结构照明图样从一个图像采集组到下一个图像采集组的可重复性。这也对SIM系统强加更高的成本，因为它需要非常精确的旋转台。

第三，由于为了旋转光栅而进行的致动的次数，已存在的SIM设计对于在高吞吐量显微镜系统中使用不是最可靠的。例如，如果每秒采集一个 SIM图像集，则旋转台每年可能需要数百万到数千万次致动。第四，已存在的SIM设计具有低的光学效率，因为线偏振器阻挡在光栅处接收的光的至少50％。

为此，在本文公开的技术的实现方式针对改进的SIM系统和方法。

根据本文公开的技术的第一组实现方式，SIM成像系统可以被实现为多臂SIM成像系统，由此，系统的每个臂包括光发射器和具有相对于系统的光轴的特定的固定取向的分束器(例如透射式衍射光栅)。根据这些实现方式，在SIM成像系统中的分束器是可旋转地固定的(即，不需要机械旋转)，这可以提供改进的系统速度、可靠性和可重复性。对于被成像的对象主要沿着2个垂直轴(即垂直和水平)被定向的系统，可能使用2个图样角度而不是通常用于随机定向的对象的3个角度来实现增强的空间分辨率。在特定实现方式中，该系统可以被实现为双臂SIM成像系统，其包括固定垂直光栅和固定水平光栅以将相应的条纹图样投射在被成像的样品上。可以使用其他对的正交光栅和图样角度，假定它们与样品对象的取向对准。此外，该系统可以包括具有孔的反射镜，以用无损方式将两个臂组合到光路中。

根据本文公开的技术的第二组实现方式，SIM成像系统可以被实现为多分束器滑动SIM成像系统，其中一个线性运动台安装有具有相对于系统的光轴的相应的固定取向的多个分束器(例如衍射光栅)。在特定实现方式中，SIM成像系统可以被实现为双光栅滑动SIM成像系统，由此，投射在被成像的样品上的光栅图样的所有相移或旋转可以通过沿着单个运动轴线性地平移运动台来进行，以选择两个光栅中的一个或者实现由所选择的光栅产生的图样的相移。在这样的实现方式中，仅需要具有单个发射器和单个线性运动台的单个光学臂来照亮样品，这可以提供系统优势，例如减少移动系统部件的数量以改善速度、复杂性和成本。另外，在这样的实现方式中，偏振器的缺乏可以提供高光学效率的优点。

根据本文公开的技术的第三组实现方式，SIM成像系统可以被实现为图样角度空间选择SIM成像系统，由此，固定的二维衍射光栅与空间滤波器轮结合来使用，以在样品上投射一维衍射图样。在这样的实现方式中，成像系统的主要光学部件可以保持静止，这可以提高光学系统(和照明图样)的稳定性，并最小化系统的移动元件的重量、振动输出和成本。

在描述本文中所公开的系统和方法的各种实现方式之前，描述可以利用其实现本文中所公开的技术的示例环境是有用的。一个这样的示例环境是用空间结构化光照亮样品的在图1中所示的结构照明成像系统100的环境。例如，系统100可以是利用空间结构化激发光来对生物样品成像的结构照明荧光显微镜系统。

在图1的例子中，光发射器150被配置为输出由准直透镜151准直的光束。准直光由光结构化光学组件155结构化(图样化)，并由二向色镜 160引导通过物镜142到达位于运动台170上的样品容器110的样品上。在荧光样品的情况下，样品响应于结构化激发光而发荧光，并且所产生的光由物镜142收集并将被引导到照相机系统140的图像传感器以检测荧光。

在以下进一步描述的各种实现方式中的光结构化光学组件155包括一个或更多个光学衍射光栅或其他分束元件(例如分束器立方体或板)，以产生投射到样品容器110的样品上的光的图样(例如条纹，通常为正弦的)。衍射光栅可以是一维或二维透射或反射光栅。衍射光栅可以是正弦振幅光栅或正弦相位光栅。

如下面参考具体实现方式进一步描述的，在系统100中，衍射光栅不像上面讨论的已存在的系统的典型的结构照明显微镜系统一样需要旋转台。在一些实现方式中，衍射光栅可以在成像系统的操作期间是固定的(即，不需要旋转或线性运动)。例如，在下面进一步描述的特定实现方式中，衍射光栅可以包括垂直于彼此定向的两个固定的一维透射式衍射光栅(例如水平衍射光栅和垂直衍射光栅)。

如图1的例子所示的，光结构化光学组件155输出衍射光束的第一级 (例如，m＝±1级)，同时阻挡或最小化所有其它级，包括零级。然而，在替代的实现方式中，可以将额外级的光投射到样品上。

在每个成像周期期间，成像系统100利用光结构化光学组件155来获取在不同相位处的多个图像，其中条纹图样在(例如，在x-y平面中并垂直于条纹的)调制方向上横向移位，该过程通过围绕光轴(即，相对于样品的x-y平面)旋转图样取向而重复一次或更多次。所捕获的图像然后可以用计算方式被重建以生成更高分辨率的图像(例如，具有大约是单独图像的横向空间分辨率的两倍的分辨率的图像)。

在系统100中，光发射器150可以是非相干光发射器(例如，发射由一个或更多个激发二极管输出的光束)或者相干光发射器，例如由一个或更多个激光器或激光二极管输出的光的发射器。如系统100的例子所示的，光发射器150包括用于引导要输出的光束的光纤152。然而，可以使用光发射器150的其它配置。在多通道成像系统(例如，利用多个波长的光的多通道荧光显微镜)中利用结构照明的实现方式中，光纤152可以光学地耦合到多个不同的光源(未示出)，每个光源发射不同波长的光。尽管系统100被示为具有单个光发射器150，但是在一些实现方式中，可以包括多个光发射器150。例如，在下面进一步讨论的利用多个臂的结构照明成像系统的情况下，可以包括多个光发射器。

在一些实现方式中，系统100可以包括投影透镜156，投影透镜156 可以包括透镜元件，该透镜元件沿着z轴铰接(articulate)以调整结构化光束形状和路径。例如，投影透镜的部件可以被铰接以考虑在容器110中的样品的样品厚度的范围(例如，不同的盖玻片厚度)。

在系统100的例子中，流体输送模块或设备190可将试剂(例如荧光标记核苷酸、缓冲液、酶、裂解试剂等)的流引导至(并且穿过)样品容器110和废液阀120。样品容器110可以包括在其上设置样品的一个或更多个基板。例如，在系统分析大量不同核酸序列的情况下，样品容器110 可以包括待测序的核酸被键合、附着或结合在其上的一个或更多个基板。基板可以包括核酸可附着到其的任何惰性基板或基质，诸如例如玻璃表面、塑料表面、乳胶、葡聚糖、聚苯乙烯表面、聚丙烯表面、聚丙烯酰胺凝胶、金表面和硅晶片。在一些应用中，基板在通道内或在处于形成在样品容器 110上的矩阵或阵列中的多个位置处的其他区域内。系统100还可包括温度站致动器130和加热器\/冷却器135，其可以可选地调节在样品容器110 内的流体的温度状况。

在特定实现方式中，样品容器110可以被实现为包括半透明盖板、基板和包含在其间的液体的图样化流动池，并且生物样品可以位于半透明盖板的内表面或基板的内表面处。流动池可以包括被图样化成在基板中的所定义的阵列(例如，六边形阵列、矩形阵列等)的大量(例如，数千、数百万或数十亿)的阱或区域。每个区域可以形成诸如DNA、RNA或可以例如使用合成测序而被测序的另一种基因组材料的生物样品的簇(例如，单克隆簇)。流动池还可以被划分成多个间隔开的流道(例如，八个流道)，每个流道包括簇的六边形阵列。在美国专利第8,778,848号中描述了可以被用于本文中所公开的实现方式中的示例流动池。

样品容器110可以安装在样品台170上，以提供样品容器110相对于物镜142的移动和对准。样品台可以具有一个或更多个致动器，以允许其在三个维度中的任何一个维度中移动。例如，就笛卡尔坐标系而言，可以提供致动器以允许台相对于物镜在X、Y和Z方向上移动。这可以允许样品容器110上的一个或更多个样品位置被定位成与物镜142光学对准。样品台170相对于物镜142的移动可以通过移动样品台本身、物镜、成像系统的某个其他部件或前述项的任何组合来实现。在一些实现方式中，样品台170的移动可以在结构照明成像期间实现，以相对于样品移动结构照明条纹来改变相位。其他实现方式还可以包括遍及(over)静止样品地移动整个成像系统。可替代地，样品容器110可以在成像期间是固定的。

在一些实现方式中，可包括聚焦(z轴)部件175以控制在聚焦方向 (通常被称为z轴或z方向)上光学部件相对于样品容器110的定位。聚焦部件175可包括物理耦合到光学台或样品台或两者的一个或更多个致动器，以使样品台170上的样品容器110相对于光学部件(例如，物镜142) 移动，以对成像操作提供适当的聚焦。例如，致动器可以例如通过直接或间接地机械、磁性、流体或其他方式附接到台或接触台而物理耦合到相应的台。一个或更多个致动器可以被配置为在保持样品台在同一平面内(例如，保持垂直于光轴的水平或水平姿态)的同时在z方向上移动该台。一个或更多个致动器也可以被配置为使台倾斜。例如，这可以被完成，使得样品容器110可以被动态变水平以考虑其表面的任何坡度。

应当认识到，尽管图1示出了用于将两个光束级组合并投射到被成像的样品上作为干涉条纹图样的物镜142的使用，但是也可以使用其它合适的装置来组合两个光束和\/或将干涉图样投射在样品上。重定向光束的任何装置可能就足够了(例如，使用反射镜)，假定光束所穿过的路径长度在光束的时间相干长度内。此外，在一些实现方式中，两个光束级对于超过分束器(例如衍射光栅)的一定距离可以自动重叠。在这样的实现方式中，干涉图样可能出现在光栅附近，去除了额外的投影系统的需要——如果衍射光栅被放置得足够靠近样品。因此，应该认识到，这里描述的SIM的实现可以应用于不依赖物镜系统来投射干涉图样的系统。

从在样品位置处被成像的测试样品发出的结构化光可以通过二向色镜160被引导至照相机系统140的一个或更多个检测器。在一些实现方式中，可以包括具有一个或更多个发射滤波器的滤波器切换组件165，其中一个或更多个发射滤波器可以用于使特定发射波长穿过并阻挡(或反射) 其他发射波长。例如，一个或更多个发射滤波器可用于在成像系统的不同通道之间切换。在特定实现方式中，发射滤波器可以被实现为二向色镜，其将不同波长的发射光引导到照相机系统140的不同图像传感器。

照相机系统140可以包括一个或更多个图像传感器以监测和跟踪样品容器110的成像(例如测序)。照相机系统140可以被实现为例如电荷耦合设备(CCD)图像传感器照相机，但是也可以使用其他图像传感器技术，例如有源像素传感器(例如互补金属氧化物半导体(CMOS)图像传感器)。在一些实现方式中，结构照明成像系统100可以利用在样品的有源平面 (active plane)中的图像传感器(例如有源像素传感器)。在这样的实现方式中，被成像的样品可以被图样化和\/或排列在图像传感器上。

来自照相机系统140的输出数据(例如图像)可以被传送到可以被实现为软件应用的实时分析模块(未示出)，如下文进一步描述的，该软件应用可以重建在每个成像周期期间捕获的图像，以创建具有更高空间分辨率的图像。可替代地，输出数据可以被存储用于在稍后时间的重建。

尽管未示出，但是控制器可以被提供来控制结构照明成像系统100的操作，包括使系统100的各种光学部件同步。控制器可以被实现为控制系统操作的各方面，诸如例如，光结构化光学组件155的配置(例如，衍射光栅的选择和\/或线性平移)、投影透镜156的移动、聚焦、台移动和成像操作。在各种实现方式中，可以使用硬件、算法(例如机器可执行指令)或前述的组合来实现控制器。例如，在一些实现方式中，控制器可以包括具有相关联的存储器的一个或更多个CPU或处理器。作为另一个例子，控制器可以包括用于控制操作的硬件或其他电路，诸如计算机处理器和其上存储有机器可读指令的非临时性计算机可读介质。例如，该电路可以包括以下中的一个或更多个：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、可编程逻辑器件(PLD)、复杂可编程逻辑器件(CPLD)、可编程逻辑阵列(PLA)、可编程阵列逻辑(PAL)或其他类似的处理设备或电路。作为又一个例子，控制器可以包括该电路与一个或更多个处理器的组合。

多臂结构照明显微术成像系统

根据在本文公开的技术的一些实现方式，SIM成像系统可以被实现为多臂SIM成像系统，其中系统的每个臂包括光发射器和具有相对于系统的光轴的特定的固定取向的光栅。

图2是示出根据本文描述的一些实现方式的双臂SIM成像系统200的一个示例光学配置的光学图。系统200的第一臂包括光发射器210A、用于准直由光发射器210A输出的光的光准直器220A、在相对于光轴的第一取向上的衍射光栅230A、旋转窗口240A和投影透镜250A。系统200的第二臂包括光发射器210B、用于准直由光发射器210B输出的光的光准直器220B、在相对于光轴的第二取向上的衍射光栅230B、旋转窗口240B和投影透镜250B。尽管衍射光栅在这个例子中被示出，但是在其它实现方式中，诸如分束器立方体或板的其它分束元件可以用于分离在SIM成像系统200 的每个臂处接收的光。

每个光发射器210A-210B可以是非相干光发射器(例如，发射由一个或更多个发光二极管(LED)输出的光束)或者相干光发射器，例如由一个或更多个激光器或激光二极管输出的光的发射器。在系统200的例子中，每个光发射器210A-210B是输出由相应准直器220A-220B准直的光束的光纤。

在一些实现方式中，每个光纤可以光学地耦合到相应的光源(未示出)，例如激光器。在成像期间，可以使用位于在光纤和光源之间的光路中的高速快门(未示出)或者通过在成像期间以预定频率向光纤的相应光源加以脉冲来接通或断开每个光纤。在一些实现方式中，每个光纤可以光学地耦合到同一光源。在这样的实现方式中，分束器或其它合适的光学元件可用于将光从光源引导到每个光纤中。在这样的例子中，可以使用位于在光纤和分束器之间的光路中的高速快门(未示出)来接通或断开每个光纤。

在示例SIM成像系统200中，第一臂包括固定垂直光栅230A以将在第一取向上的光栅图样(例如垂直条纹图样)投射到样品上，以及第二臂包括固定水平光栅230B以将在第二取向上的光栅图样(例如水平条纹图样)投射到样品271上。与已存在的SIM成像系统不同，SIM成像系统 200的光栅不需要被机械旋转或平移，这可以提供改进的系统速度、可靠性和可重复性。

如图2的例子所示的，光栅230A-230B可以是透射式衍射光栅，包括形成到玻璃基板或其它合适表面中的多个衍射元件(例如平行狭缝或凹槽)。光栅可以被实现为相位光栅，其提供光栅材料的折射率的周期性变化。凹槽或特征间距可以被选择成以合适的角度衍射光，并被调整到被成像的样品的最小可分辨特征尺寸，以用于SIM成像系统200的操作。在其它实现方式中，光栅可以是反射式衍射光栅。

在SIM成像系统200的例子中，垂直和水平图样偏移大约90度。在其它实现方式中，光栅的其它取向可用于产生大约90度的偏移。例如，光栅可以被定向成使得它们投射从样品271的x或y平面偏移±45度的图像。示例SIM成像系统200的配置在具有在矩形网格上的特征的有规则地图样化的样品271的情况下可能是特别有利的，因为结构化分辨率增强可以仅使用两个垂直光栅(例如垂直光栅和水平光栅)来实现。

在系统200的例子中，光栅230A-230B被配置成将输入光束衍射成多个级(例如，0级、±1级、±2级等)，其中±1级可以投射在样品271上。如该例子所示的，垂直光栅230A将准直光束衍射成第一级衍射光束(±1 级)，在页的平面上传播第一级，以及水平光栅230B将准直光束衍射成第一级衍射光束，在页的平面上方和下方(即，在垂直于页的平面中)传播该级。为了提高系统的效率，零级光束和所有其他更高级光束(即，±2 级或更高级)可被阻挡(即，从投射在样品271上的照明图样中滤出)。例如，光束阻挡元件(未示出)例如级滤波器(order filter)可以被插入到在每个衍射光栅之后的光路中，以阻挡0级光束和更高级光束。在一些实现方式中，衍射光栅230A-230B可以被配置成仅将光束衍射到第一级内，并且0级(非衍射光束)可以被某个光束阻挡元件阻挡。

每个臂包括光学相位调制器或移相器240A-240B，以使由每个光栅 230A-230B输出的衍射光相移。例如，在结构化成像期间，每个衍射光束的光学相位可以被移动结构化图样的每个条纹的间距(λ)的某个分数(例如，1\/2、1\/3、1\/4等)。在图2的例子中，相位调制器240A和240B被实现为旋转窗口，其可以使用检流计或其他旋转致动器来旋转和调制每个衍射光束的光路长度。例如，窗口240A可以围绕垂直轴旋转以向左或向右移动由垂直光栅230A投射在样品271上的图像，并且窗口240B可以围绕水平轴旋转以向上或向下移动由水平光栅230B投射在样品271上的图像。

在下文进一步描述的其他实现方式中，改变衍射光的光路长度的其他相位调制器(例如线性平移台、楔形物等)可以被使用。此外，尽管光学相位调制器240A-240B被示为放置在光栅230A-230B之后，但是在其他实现方式中，它们可以放置在照明系统中的其他位置处。在一些实现方式中，单个相位调制器可以针对不同的条纹图样在两个不同的方向上操作，或者单个相位调制器可以使用单个运动来调节两个路径长度，如下所述。

在示例系统200中，具有孔261的反射镜260以无损方式(例如，除了在反射涂层中的小吸收之外，没有光功率的显著损失)将两个臂组合到光路中。反射镜260可以定位成使得来自每个光栅的衍射级在空间上被分辨，并且不需要的级可以被阻挡。反射镜260通过孔261使由第一臂输出的第一级光通过。反射镜260反射由第二臂输出的第一级光。因此，通过开启或关闭每个发射器或者通过打开和关闭引导光源的光通过光纤电缆的光学快门，结构照明图样可以从垂直取向(例如光栅230A)切换到水平取向(例如光栅230B)。在其他实现方式中，可以通过使用光学开关以改变照亮样品的臂来切换结构照明图样。

在示例成像系统200中还示出了投影透镜265、半反射镜280、物镜 270和照相机290。投影透镜265可以与透镜250A结合来使用，以将光栅 230A的傅立叶变换投射到物镜270的入射光瞳中。类似地，投影透镜265 可以与透镜250B结合来使用，以将光栅230B的傅立叶变换投射到物镜270的入射光瞳中。投影透镜265也可以被实现为沿着z轴铰接，以调节在样品平面上的光栅焦点。半反射镜280可以是二向色镜，以将从每个臂接收到的结构照明光向下反射到物镜270中，用于投射到样品271上，并使由样品271发射的光(例如，在不同于激发的波长处发射的荧光)穿过到照相机290上。

值得注意的是，由于偏振器的缺乏，系统200的例子可以提供高光学效率。此外，根据物镜270的数值孔径设置，非偏振光的使用可能对图样对比度没有显著影响。

应当注意，为了简单起见，SIM成像系统200的光学部件可以从前面的讨论中省略。此外，尽管系统200在此例子中被示为单通道系统，但是在其他实现方式中，它可以被实现为多通道系统(例如，通过使用两个不同的照相机和以两个不同波长发射的光源)。

图3是示出根据本文描述的一些实现方式的双臂SIM成像系统300的另一示例光学配置的光学图。在系统300中，大的旋转光学窗口310可以放置在具有孔261的反射镜260之后。在这种情况下，可以使用窗口310 来代替窗口240A和240B，以调制由垂直和水平衍射光栅输出的两组衍射光束的相位。代替相对于光栅之一的光轴平行，旋转窗口310的旋转轴可以从垂直和水平光栅中的每一个的光轴偏移45度(或某个其它角度偏移)，以允许沿着窗口310的一个公共旋转轴的两个方向相移。在一些实现方式中，旋转窗口310可以由围绕标称光束轴旋转的楔形光学器件代替。

图4是示出根据本文描述的一些实现方式的双臂SIM成像系统400的另一示例光学配置的光学图。在系统400中，光栅230A和230B安装在各自的线性运动台410A和410B上，线性运动台410A和410B可以被平移以改变由光栅230A和230B发射的光的光路长度(以及因而改变相位)。线性运动台410A-410B的运动轴可以是垂直的或以其他方式从它们各自光栅的取向偏移，以实现光栅图样沿着样品271的平移。在实现方式中，台 410A和410B可以各自利用交叉滚子轴承、线性电机、高准确度线性编码器和\/或其他技术来提供光栅的精确线性平移，以使所投射的图像相移。

图5是示出根据本文描述的一些实现方式的、可以由多臂SIM成像系统在一个成像周期期间执行以使用结构化光来创建高分辨率图像的示例方法500的操作流程图。在实现方式中，可以执行方法500来对整个样品或较大样品的位置进行成像。将结合图6描述方法500，图6示出了可以在图像捕获期间由双臂SIM成像系统的垂直光栅和水平光栅投射到样品 271的平面上的简化照明条纹图样。例如，SIM成像系统200可以使用垂直光栅230A和水平光栅230B来产生图6所示的水平和垂直照明图样，而相位调制器240A和240B可以被设置到三个不同的位置以产生所示的三个相移。

在操作510，开启对应于第一光栅取向的第一臂，以开始使用第一臂来生成照明图样。例如，在成像系统200的实现方式中，位于在光纤210A 和光源之间的路径中的高速快门可以被打开或以其他方式被启动，使得光源不被阻挡。可替代地，一个或更多个光源可以被开启或关闭(例如，加以脉冲)，或者光学开关可以用于引导光源通过第一臂的光路(例如，通过第一或第二发射器之一)。在某些情况下，操作510还可以包括(例如，在第一成像周期的情况下)开启光源。

一旦第一臂被开启，在操作520第一光栅图样就可以被投射在样品上，并且图像可以被捕获。例如，如图6所示，垂直光栅230A可以在样品271 上投射第一级照明条纹。由样品发射的任何光可以被照相机290捕获，并且第一图样(例如垂直图样)的第一相位图像可以被捕获。例如，位于样品271的不同特征处的荧光染料可以发荧光，并且所产生的光可以被物镜 270收集并且被引导至照相机290的图像传感器以检测荧光。

如果需要捕获额外的相移图像(判决530)，则在操作540由光栅投射的图样可以被相移以捕获图样的下一个相位图像。例如，在系统200的实现方式中，由垂直光栅230A投射的图样的相位可以通过旋转光学窗口 240A来相移。可替代地，可以使用其它光学相位调制器——诸如平移台或旋转光学楔形物——来移动相位。例如，如在图6的例子中所示的，相位可以被移动条纹图样的间距(λ)的1\/3，使得投射在样品上的图样从所捕获的先前图像偏移1\/3λ。在一些实现方式中，由光栅投射的图样可以通过 (例如使用运动台)移动样品而所投射的条纹保持静止来相移。在一些实现方式中，由光栅投射的图样可以通过移动样品和所投射的条纹二者来相移。操作520-540可以重复，直到第一图样的所有相位图像(例如，在图 6的情况下的垂直图样的三个相移图像)被捕获为止。

一旦捕获了图样的所有相位图像，就可以在操作560开启对应于SIM 成像系统的第二光栅取向的第二臂。例如，在成像系统200的实现方式中，位于在光纤210B和光源之间的路径中的高速快门可以被打开或以其他方式被启动，使得光源不被阻挡。可替代地，一个或更多个光源可以被开启或关闭(例如，加以脉冲)，或者光学开关可以用于引导光源通过第二臂的光路。此外，另一个臂可以被关闭。然后通过重复操作520-540，可以针对下一臂捕获一系列相位图像550。例如，如图6所示，水平光栅230B 可以在样品271上投射第一级照明条纹，并且投射条纹可以在位置上移动 1\/3λ，以捕获水平图样的三个相位图像。作为另一个例子，由光栅投射的图样可以通过(例如使用运动台)移动样品而所投射的条纹保持静止或者通过移动样品和所投射的条纹二者来相移。

一旦在成像周期中捕获了所有图像，就可以在操作570从所捕获的图像构建高分辨率图像。例如，可以从图6中所示的六个图像重建高分辨率图像。可以使用合适的算法来组合这些不同的图像，以合成具有比任何单独分量图像明显更好的空间分辨率的样品的单个图像。

应当注意，尽管方法500主要在单通道成像(例如，使用具有单一波长的光源对样品成像)的上下文中被描述，但是在一些实现方式中，方法 500可以适合于多通道成像(例如，使用具有不同波长的光源对样品成像)。在这样的实现方式中，方法500可以针对成像系统的每个通道(例如，顺序地或并行地)重复，以针对每个通道生成高分辨率图像。

尽管在本文描述的双臂SIM成像系统200的实现方式迄今为止在利用具有孔261的反射镜260来无损地组合双臂的光路的系统200的上下文中被描述，但是在替代的实现方式中，水平和垂直光栅230A-230B的两个图像可以通过使用偏振分束器代替具有孔的反射镜来无损地被组合并且用垂直偏振光照亮垂直光栅以及用水平偏振光照亮水平光栅。在这样的实现方式中，可以通过开启和关闭相应的偏振照明源来将结构照明图样从水平切换到垂直。

作为例子，图7示出了双臂SIM成像系统700的示例实验设计，该双臂SIM成像系统700使用偏振分束器来组合臂的光路，并且用垂直偏振光照亮垂直光栅以及用水平偏振光照亮水平光栅。在图7的实现方式中，水平和垂直光栅是G1和G2，水平和垂直旋转窗口是W1和W2，以及用于组合水平和垂直光栅图像的偏振分束器是PBS2。光纤耦合模加扰多模激光器的输出是Fiber1。

图8A示出了利用20x\/0.75NA显微镜、使用示例SIM成像系统700 捕获的无焦镜像和荧光幻灯片。无焦镜像具有84％的条纹可见度。荧光幻灯片图像具有6.6％的条纹可见度。

图8B示出了使用具有珠状流动池的系统700获取的条纹调制测量结果。该曲线图示出了当图7的平行板W2的角度改变时在相位调整周期期间典型特征图像强度的变化。

图9示出了根据本文描述的一些实现方式的双臂SIM成像系统900的另一示例光学配置。系统900的第一臂包括光发射器910A(例如光纤)、用于准直由光发射器910A输出的光的光准直器920A、在相对于光轴的第一取向上的衍射光栅930A以及中继透镜940A。系统900的第二臂包括光发射器910B、用于准直由光发射器910B输出的光的光准直器920B、在相对于光轴的第二取向上的衍射光栅930B以及中继透镜940B。

系统900还包括用于组合光学系统的两个臂的光束组合元件950。如所示，光束组合元件950包括具有孔以使来自系统的第二臂的结构化光穿过的45°棱镜以及用于反射从第一臂接收的结构化光的镜面。在进入光束组合元件950之前，每个结构化光束穿过具有一对孔的空间滤波器，以使±1级通过并阻挡其它级。从第一平面中的第一臂发出的结构化光可以由反射光学器件945引导到光束组合元件950中。在系统900中，平行板光学元件960用作相位调节器，并且可以旋转以在光束组合元件950之后在每个取向上移动结构化光。

尽管在本文描述的实现方式迄今为止在包括被定向在两个不同角度下的两个光栅的双臂结构照明成像系统的上下文中被描述，但应注意在其他实现方式中，可以实现具有多于两个臂的系统。在具有在矩形网格上的特征的有规则地图样化的样品的情况下，如上所述，分辨率增强可以仅以两个垂直角度(例如，垂直光栅和水平光栅)来实现。另一方面，对于在其他样品(例如，六边形图样化样品)的所有方向上的图像分辨率增强，可以使用三个光栅角度。例如，三臂系统可以包括三个光发射器和三个固定衍射光栅(每个臂一个)，其中每个衍射光栅围绕系统的光轴被定向，以在样品上投射相应的图样取向(例如，0°图样、120°图样或240°图样)。在这样的系统中，可以使用带有孔的附加反射镜来以无损方式将附加光栅的附加图像组合到系统中。可替代地，这样的系统可以利用一个或更多个偏振分束器来组合每个光栅的图像。

多光栅滑动结构照明显微术成像系统

根据本文公开的技术的一些实现方式，SIM成像系统可以被实现为多光栅滑动SIM成像系统，其中一个线性运动台安装有具有相对于系统的光轴的相应的固定取向的多个衍射光栅(或其他分束光学元件)。

图10A-10B是示出根据本文描述的一些实现方式的双光栅滑动SIM 成像系统1000的示例光学配置的示意图。如下文进一步描述的，在系统 1000的配置中，投射在样品1070上的光栅图样的所有改变(例如，图样相移或旋转)可以通过沿着单个运动轴线性地平移运动台1030以选择光栅1031或1032(即，选择光栅取向)或使光栅1031-1032之一相移来做出。

系统1000包括光发射器1010(例如光学地耦合到光源的光纤1011)、用于准直由光发射器1010输出的光的第一光准直器1020(例如准直透镜)、安装有第一衍射光栅1031(例如水平光栅)和第二衍射光栅1032(例如垂直光栅)的线性运动台1030、投影透镜1040、半反射镜1050(例如二向色镜)、物镜1060、样品1070和照相机1080。为了简单起见，SIM成像系统1000的光学部件可以从图10A中省略。此外，尽管系统1000在此例子中被示为单通道系统，但是在其他实现方式中，它可以被实现为多通道系统(例如，通过使用两个不同的照相机和以两个不同波长发射的光源)。

如图10A所示，光栅1031(例如水平衍射光栅)可以将准直光束衍射成第一级衍射光束(在页的平面上)。如图10B所示，衍射光栅1032(例如垂直衍射光栅)可以将光束衍射到第一级内(在页的平面的上方和下方)。在该配置中，仅需要具有单个发射器1010(例如光纤)和单个线性运动台的单个光学臂来对样品1070成像，这可以提供系统优势，例如减少移动系统部件的数量以改善速度、复杂性和成本。另外，在系统1000中，偏振器的缺乏可以提供前面提到的高光学效率的优点。示例SIM成像系统 200的配置在具有在矩形网格上的特征的有规则地图样化的样品1070的情况下可能是特别有利的，因为结构化分辨率增强可以仅使用两个垂直光栅 (例如垂直光栅和水平光栅)来实现。

为了提高系统的效率，由每个光栅输出的零级光束和所有其他更高级衍射光束(即，±2级或更高级)可以被阻挡(即，从投射在样品1070上的照明图样中滤出)。例如，光束阻挡元件(未示出)(诸如级滤波器) 可以被插入到在运动台1030之后的光路中。在一些实现方式中，衍射光栅1031-1032可以被配置成将光束仅衍射到第一级内，并且0级(非衍射光束)可以由某个光束阻挡元件阻挡。

在系统1000的例子中，这两个光栅可以被布置成离运动轴大约±45° (或者从运动轴偏移某个其它角度，例如大约+40°\/-50°、大约+30°\/-60°等)，以便可以沿着线性运动的单个轴为每个光栅1031-1032实现相移。在一些实现方式中，两个光栅可以组合成一个物理光学元件。例如，物理光学元件的一侧可以具有在第一取向上的光栅图样，并且物理光学元件的相邻侧可以具有在与第一取向正交的第二取向上的光栅图样。

单轴线性运动台1030可以包括一个或更多个致动器，以允许它相对于样品平面沿着X轴或者相对于样品平面沿着Y轴移动。在操作期间，线性运动台1030可以提供足够的行程(例如大约12-15mm)和准确度(例如大约小于0.5微米可重复性)，以使得准确的照明图样被投射用于有效的图像重建。在自动成像系统例如荧光显微镜中利用运动台1030的实现方式中，运动台1030可被配置为提供高速操作、最小振动产生和长工作寿命。在实现方式中，线性运动台1030可以包括交叉滚子轴承、线性电机、高准确度线性编码器和\/或其他部件。例如，运动台1030可以被实现为可以使用控制器而平移的高精度步进器或压电运动台。

图11是示出根据本文描述的一些实现方式的、可以由多光栅滑动SIM 成像系统在一个成像周期期间执行以使用结构化光来创建高分辨率图像的示例方法1100的操作流程图。根据实现方式，可以执行方法1100以对整个样品或较大样品的位置进行成像。将结合图12描述方法1100，图12 示出了可以在图像捕获期间由双光栅滑动SIM成像系统的第一衍射光栅和第二衍射光栅投射到样品1070的平面上的简化照明条纹图样。例如， SIM成像系统1000可以使用第一衍射光栅1031和第二衍射光栅1032来生成图12中所示的照明图样。如在图12的例子中所示的，两个光栅在样品1070的表面上投射垂直条纹图样，并且布置成偏离线性运动台1030的运动轴大约±45°。

在操作1110，光源被开启。例如，可以启动光学快门以将光发射器 1010的光纤光学地耦合到光源。作为另一例子，光源可被加以脉冲，或者光学开关可以用于引导光源通过光发射器的光路。在操作1120，可以将第一光栅图样投射在样品上，并且可以捕获图像。例如，如图12所示，第一光栅(例如光栅1031)可以在样品1070上投射第一级照明条纹。由样品发射的任何光可以被照相机1080捕获，并且第一图样(例如+45°图样) 的第一相位图像可以被捕获。例如，位于样品1070的不同特征处的荧光染料可以发荧光，并且所产生的光可以被物镜1060收集并且被引导至照相机1080的图像传感器以检测荧光。

为了捕获额外的相移图像，在操作1140可以通过平移线性运动台来使由光栅投射的图样相移。在图12的例子中，这些相移运动被示为步骤1 和2。相移运动可以提供光栅的小(例如，大约3至5微米或更小)的移动，以稍微移动投射在光栅上的条纹图样。

作为特定例子，考虑在图11的样品处的条纹的间距λ为2100nm的情况。在这种情况下，在样品中捕获三个相移图像，需要λ\/3或700nm的所投射的条纹的相移。假设有10X的物镜照明放大率，单轴线性运动台的所需相移步长(线性平移)可被计算为700nm*10*sqrt(2)或大约9.9μm。在这种情况下，sqrt(2)因子解释在光栅的取向和运动台的运动轴之间的45度偏移。更一般地，在该示例配置中，在每个相移步骤期间的线性运动台的平移距离可以通过设计图

结构照明成像系统论文和设计

结构照明成像系统论文和设计-彼得·克拉克·纽曼

全文摘要

主设计要求

设计方案

设计说明书

相关信息详情

猜你喜欢