多尺度神经活动解码与控制的张量-积-核框架

抽象的

脑机接口(BMIs)作为一种很有前途的技术，已经引起了广泛的关注，它可以直接将计算机或假肢与大脑的运动和感觉区域连接起来，从而绕过身体。多尺度神经记录的可用性，包括spike串和局部场势(LFPs)，通过丰富神经系统状态的表征，为增强计算建模带来了潜在的机会。然而，数据类型(spike timing vs . continuous amplitude signals)和时空尺度的异质性使多尺度神经活动的模型集成复杂化。在本文中，我们提出了一个基于张量积核的框架来整合多尺度活动，并利用多尺度神经活动中可用的互补信息。这为合并来自不同领域的信号提供了一个通用的数学框架。该方法被应用于神经解码和控制问题。对于神经解码，该框架能够通过通用核自适应滤波识别多尺度神经响应与刺激之间的非线性函数关系。在感官刺激实验中，张量积核译码器的性能优于仅使用单一神经数据类型的译码器。此外，一种利用张量积核的自适应反控制器用于传递电微刺激模式，在模拟对自然刺激的响应方面取得了很好的结果。

1.介绍

脑机接口（BMI）通过直接访问、解释甚至控制神经状态，提供了与大脑沟通的新方法。它们作为一种有前途的技术已经引起了人们的注意，可以帮助残疾人（如脊髓损伤、运动障碍、中风、听力损失和失明）[1-6.］.在设计神经义肢和脑机接口(BMIs)时，基本步骤包括量化神经活动中包含的信息，建模神经系统，解码运动或刺激的意图，控制时空神经活动模式以模拟自然刺激。此外，神经系统的复杂性和分布式动态特性给建模任务带来了挑战。

记录技术的发展能够从多种功能水平获得大脑活动，包括单个神经元（尖峰列车），局部场电位（LFP），电加管（ECOG）和脑电图（EEG）的活动，共同形成多尺度表征脑状态。同时记录多种类型的信号可以促进增强的神经系统建模。虽然这些大脑活动之间存在潜在的关系，但是如何利用异质信号集来改善神经反应刺激映射的识别。挑战在定义一个框架，该框架可以包含来自多个时空级别的这些异构信号格式。在我们的工作中，我们主要是解决整合钉火车和LFP的多尺度神经解码。

Spike串和lfp编码刺激和行为的互补信息[7.那8.］.在大多数记录中，尖峰序列是通过检测信号上的瞬态事件获得的，该信号使用截止频率约为300 - 500hz的高通滤波器进行条件设置，而lfp则通过使用截止频率为300hz的低通滤波器获得[9.]. 尖峰序列代表具有精细时间分辨率的单个或多个单位的神经活动。然而，它们的随机特性会引起相当大的变化，特别是当刺激幅度很小时；也就是说，在重复试验中，相同的刺激很少引起相同的放电模式。此外，大脑的一个功能单位包含数千个神经元。只有一小部分神经元的活动可以被记录下来，其中只有一部分可以根据感兴趣的刺激或条件进行调节。

相反，LFP反映了电极附近区域的平均突触输入[10]，这限制了特异性，但为表征刺激诱导的调制提供了鲁棒性。此外，LFP自然提供了群体水平的神经活动测量。因此，LFP和尖峰序列的适当聚合能够增强神经解码模型的准确性和鲁棒性。例如，解码器可以协调lfp或尖峰模式以标记特别显著的事件或提取以多源信号为特征的不同刺激特征。然而，LFP和尖峰序列之间的异质性使得它们整合到同一模型中变得复杂。尖峰序列中的信息以一组有序的尖峰计时进行编码[11那12]，而LFP则是连续的振幅时间序列。此外，lfp的时间尺度明显长于spike列车。而最近的研究比较了LFPs和峰值的解码精度[13]，仅开发了少量简单的模型来关联这两项活动[14]. 然而，LFP和尖峰序列之间的完整关系仍然是一个有争议的话题[15-17]，这阻碍了有原则的建模方法。

为了解决这些问题，建模，本文提出了一种基于张量产品的内核，使解码，甚至控制多尺度的神经活动信号处理框架。张量积内核使用多个异源信号，并隐含地定义了由设计用于每一信号类型的各个籽粒的张量积构造的内核空间[18］.张量积核利用了spike列车和lfp的联合特征。这使得基于核的机器学习方法能够利用多尺度的神经活动来揭示来自神经系统状态和相应刺激的映射。

内核最小均方（KLMS）算法用于估计从两种类型的神经响应到刺激的动态非线性映射。KLMS算法利用了再现内核HILBERT空格（RKHS）的线性信号处理对应于输入空间中的非线性处理，并用于自适应逆控制方案[19]设计用于控制神经系统。利用张量积核，我们自然地将该方案扩展到多尺度神经活动。由于非线性控制是通过RKHS中的线性处理实现的，因此它绕过了非线性控制中通常遇到的局部最小问题。

验证拟议的张量 - 产品 - 核框架的有效性在躯体感觉刺激研究中进行。躯体感应反馈仍然在BMI中仍未开发，这对于运动执行期间的电动机和感官集成是重要的，例如关于肢体状态在与外部物体的互动期间关于肢体的触觉反馈[20那21]. 许多早期实验表明，传递到体感皮层的时空模式的微刺激可以用来指导到达运动的方向[22-24］.为了有效地将人工感觉反馈应用于BMI，研究如何利用微刺激在体感皮层复制目标时空模式是至关重要的，而神经解码和控制是实现这一目标的关键技术。在这篇论文中，我们的框架被应用于利用多尺度的神经活动来解码自然的感觉刺激和微刺激。它的解码精度与使用单一类型的神经活动(LFPs或spike train)的解码器相比较。

在神经系统控制场景中，这种张量 - 产品 - 内核方法也可以提高控制器性能。通过刺激控制神经活动已经提出了在下游领域产生特定神经活动模式的前景，甚至模仿自然神经响应，这是我们对神经信息处理的基本了解和可以与之交互的工程“神经假期”设备的核心大脑直接[25］.从控制理论的角度来看，神经电路被视为“植物”，其中应用的微刺激是控制信号，植物输出是由钉火车和LFP表示的引出神经应答。大多数传统的控制模式不能直接应用于飙升列车，因为钉火车的空间没有代数结构。因此，大多数现有的神经控制方法已应用于夹具的尖峰列车或LFPS [25-31］.在这里，我们将利用基于内核的自适应逆控制器在我们之前的工作中提出的钉列车[19]作为基于输入输出（系统识别）的控制方案。该方法可直接扩展到张量积核，以利用多尺度神经信号（如尖峰序列和LFP）的可用性，并通过利用从多个来源记录的异质神经信号的互补信息，提高刺激优化的鲁棒性和准确性。

自适应逆控制框架控制模式电微刺激，以驱动神经反应模拟触觉刺激引起的时空神经活动模式。这个框架创造了新的机会，通过利用来自多尺度神经活动的互补信息来提高控制神经状态以模拟自然刺激的能力。这更好地解释了神经系统的内部状态，从而提高了最佳微刺激模式估计的鲁棒性和准确性。

论文的其余部分组织如下。部分2为Spike火车和LFPS和结合它们结合的张量产品内核介绍了内核。基于内核的解码模型和用于利用基于内核的神经解码技术来实现RKHS中的控制的自适应逆控制方案是在章节中介绍的3.和4.， 分别。部分5.讨论躯体感应刺激仿真场景，并通过应用Tensor-Mapere核来利用多尺度神经活动来解码和控制任务来说明测试结果。部分6.本文总结道。

2.张于多尺度异质神经活动的张量 - 产品核

许多信号处理和模式识别算法的数学基础是评估样本对的相似性。对于向量或函数，定义在Hilbert空间上的内积是线性算子和相似性度量。然而，并非所有数据类型都存在于希尔伯特空间中。核函数是在希尔伯特空间中隐式嵌入样本的二元对称函数。因此，如果可以定义数据类型上的内核，那么就可以使用根据内积定义的算法。这使得各种内核算法成为可能[18那32-34］.

首先，我们定义这里使用的各种内核函数的一般框架，记住输入对应于各种神经数据类型。让单个神经响应维度的域，即单个LFP通道或一个尖峰单元，表示为考虑一个内核. 如果是正定的，那么有一个隐含的映射可以映射任意两个采样点，比如，到希尔伯特空间中的相应元素这样是希尔伯特空间中这些元素的内在产品。作为内部产品，内核评估量化之间的相似性和．

一个有用的性质是这个内积引出了一个距离度量， 对于归一化和换档不变的内核，适用于所有，距离与内核评估成反比．

为了利用神经反应的两个或多个维度，需要一个在关节空间上操作的核函数。从定义在单个变量上的核构造多维核有两种基本方法:直和核和张量积核。在核计算方面，它们包括对单个核计算的求和或乘积。在这两种情况下，得到的核都是正定的，只要单个核是正定的[18那35］.

让表示系统的神经响应域并考虑一个正定核和相应的映射对于这个维度。再次，一对样品之间的相似性和上尺寸是．

对于求和核，是一组维数上的联合相似度是 这种相似性度量是所有维度的平均相似性。当总和超过大量维度时，单个维度的贡献被稀释。当单个维度高度可变时，这对于多单元脉冲串或多通道lfp非常有用，如果单独使用，在单次试验的基础上会导致较差的解码性能。

对于张量积核，两维上的联合相似性和是通过取两个核值的乘积来计算的吗．新内核对应于一个映射函数它是各个映射函数之间的张量积哪里．这是张量积希尔伯特空间。该产品可以采用一组维度结果是关节空间上的正定核：．

张量积核对应于比和核更严格的相似性度量。由于产品原因，如果为一维然后. 张量积核要求节点相似度；也就是说，对于在关节空间中被视为相似的样本，它们在所有单个空间中都必须接近。即使一个维度不同，产品也会显得不同。如果某些维度高度可变，则它们将对关节相似性度量产生有害影响。另一方面，张量积是更精确的相似性度量，稍后将用于结合多尺度神经活动。

更一般地，可以使用显式权重来调整各个尺寸对关节内核的影响。内核的任何凸组合都是正定的，并且学习这种组合的权重被称为多个内核学习[36-38］.在某些情况下，组成核是无限可分的[39]，也可以应用加权积核[40］.但是，本文并没有对这些权重的优化进行探讨。

在一般情况下，联合核空间通过直和或张量积构造，允许在rkhs框架内对异质信号类型进行齐次处理。我们使用直和核来组合多单元脉冲串或多通道lfp的不同维度。对于脉冲序列，在不同的单元上使用求和核使在无法计算平均值的脉冲序列空间上的“平均”种群相似性成为可能。然后用张量积核将这两个核结合起来:一个是多单元脉冲串核，另一个是多通道lpf核;参见图1插图。对于spike train和lfp，可以根据它们的特性分别选择和指定核。

总之，复合内核是从那些基于内核的机器学习常用，例如，为支持向量机非常不同。事实上，这里一对窗穗列车和窗口是个LFP映射到联合RKHS特征函数。不同穗列车和LFP对被映射到在此RKHS不同的位置，如示于图1．由于它的通用性，本文采用了针对spike timing space和lfp定义的Schoenberg核，并在下面进行讨论。

2.1。斯派克火车仁

与传统的振幅数据不同，spike串的空间不存在自然的代数结构。分箱过程可以很容易地将点过程转换为离散振幅时间序列，广泛应用于spike序列分析，并允许将传统的基于振幅的核应用于spike序列[41以失去神经反应的时间分辨率为代价。这意味着在箱子内部和箱子之间的尖峰中的任何时间信息都被忽略，当尖峰计时精度可以在毫秒范围内时，这尤其令人担忧。虽然可以将箱子的大小设置得足够小以保持良好的时间分辨率，但它会使信号表示变得稀疏，增加伪迹的可变性，并在模型中造成高维，这需要大量的数据来进行适当的训练。

根据文献的说法，考虑尖峰列车是一个尖头过程的实现，这描述了尖峰的时间分布。一般来说，一个点过程可以完全以其条件强度函数为特征,在那里表示时间坐标和该过程的历史是否符合要求．最近的研究区[42那43]根据两个点过程的条件强度函数之间的内核，将峰值列车定义从尖峰列车到RKHS的注射映射[42］.在交叉强度(CI)核中，勋伯格核定义为 哪里是内核大小。本文选择勋伯格核是因为它的建模精度和对自由参数设置的鲁棒性[44]. 勋伯格核是定义在强度函数上的类高斯核，严格正定，对两个强度函数的非线性耦合敏感[42］.然后将映射到RKHS中的不同位置的不同尖峰列车。与在Binned Spike Trains上设计的核相比（例如，斯皮尼克雷尔[41])，勋伯格核的主要优点是更好地保持了尖峰事件定位的精度，并且避免了建模的稀疏性和高维性的限制，从而增强了鲁棒性并降低了计算复杂性，尤其是当应用程序需要良好的时间分辨率时[44］.

为了适用，该方法必须从实验数据中对感兴趣的数量(例如，核数)进行简单的估计。在我们的工作中使用的一个实际选择是使用核平滑方法估计条件强度函数[42那45它允许从单个实现估计强度函数，并非参数地将一个有窗的脉冲序列映射为一个连续函数。通过简单的卷积得到估计的强度函数用柔滑的内核，屈服 平滑功能的地方1.这里可以解释为强度函数的估计。矩形和指数函数[42那46都是常用的平滑核，它保证了从脉冲序列到估计强度函数的单射映射。为了降低核的计算复杂度，采用矩形函数（在我们的工作中，使用了行程间隔），其中是一个沉重的功能。该矩形函数近似于窗口中尖峰累计函数的累积密度函数并且损害了穗列车的地方;也就是说，映射更为重视早期的峰值比后来者。然而，我们的实验表明，这种妥协只会使在基于内核的回归性能的影响很小。

让表示为此样本尖峰单位。Multiunit Spike Kernel被视为各个单位上内核的未加权总和

2.2. LFPs的内核

与尖峰序列相比，LFP表现出较少的空间和时间选择性[15］.在时域，LFP特征可以通过在信号上滑动一个窗口得到，它描述了时域LFP结构。窗口的长度是根据对特定刺激的神经反应持续时间来选择的;持续时间的范围可以通过它的自相关函数来评估，这一点我们将在本节中讨论5.3.1．在频域，不同频带的频谱功率和相位也被认为是解码的信息特征，但这里我们只集中在时域分解。在时域上，我们可以简单地将单通道lfp视为一个时间序列，并将标准的勋伯格核应用于信号采样序列的时间。在连续空间中定义的Schoenberg核映射了LFP的相关时间结构进入rkhs的函数， 哪里．

让表示LFP波形样本个信道。类似于多单元穗粒，多通道LFP内核是由直和内核定义

2.3。离散时间抽样

假设具有期间的抽样率，让表示滑动得到的多通道LFP向量- 与步骤的长窗口. 让表示相应的多单元脉冲时序的窗口。lfp和峰值分析的窗长和采样率的时间尺度是非常重要的，需要由每个信号的特征来定义。张量积核允许lfp和spike列车分析的时间尺度被单独指定;即窗长Spike火车和LFP的抽样率可能不同。可以通过下面将说明的信号的自相关系数估计合适的时间尺度。

3.自适应神经译码模型

在神经解码应用中，建立了以多尺度神经活动为输入的回归模型来重建刺激。基于核的滤波器的吸引力在于利用RKHS的线性结构来实现完善的线性自适应算法，并在输入空间中获得非线性滤波器，使其具有普遍逼近能力而不存在局部极小问题。有几个候选的基于核的回归方法[32]，例如支持向量回归（SVR）[33]、核递归最小二乘(KRLS)和核最小均方(KLMS) [34］.这里推荐KLMS算法，因为它是一种计算复杂度低的在线方法。

在我们的工作中，我们选择了量化核最小均方（Q-KLMS）来减少滤波器的增长。算法1以简单的在线矢量量化（VQ）方法示出了Q-KLMS算法的伪代码，其中基于新输入和每个现有中心之间的距离来执行量化。在这项工作中，中心和输入之间的此距离由它们在RKHS中的距离定义，这对于所有的班次归一成的randized内核是. 如果the smallest distance is less than a prespecified quantization size，新系数调整最近中心的重量;否则添加了一个新的中心。与其他技术相比[47-50]为了抑制网络的增长，简单的在线矢量量化方法不是最优的，但非常有效。由于在我们的工作中，在对数据进行第一次迭代后，算法必须多次应用于相同的数据，以便收敛，因此我们选择，合并重复中心并享受与KLM相同的性能。

我们使用Q-KLMS框架，包含多单位穗核，多通道LFP核，以及使用LFP和穗列联合样本的张量积核。这与之前的自适应滤波工作非常不同，后者几乎完全使用实数时间序列的高斯核。

4.神经活动时空模式的自适应逆控制

作为名称表示，自适应逆控制的基本思想是将工厂的逆模型作为图中的控制器学习2（a），这样控制器和被控对象的级联就像一个幺正传递函数，即带有一定延迟的完美导线。目标设备的输出被用作控制器的命令输入。在控制过程中，通过更新控制器参数，使目标输出与被控对象输出的不相似性最小化，从而使控制器能够跟踪被控对象的变化，消除系统噪声。过滤-LMS自适应逆控制图[51]如图所示2（a）表示已筛选的-找到的方法. 如果the ideal inverse controller是实际的逆控制器，是整个系统误差的均方将最小化。目标是制造尽可能接近理想．的输出之间的差值和因此，都是由命令输入驱动的错误信号．由于目标刺激是未知的，而不是，一个过滤错误，通过过滤整个系统误差获得通过逆植物模型，用于自适应，以代替．

如果该植物具有长的响应时间，建模延迟是有利的，以捕获反应，这是由被用来获得逆控制器输入滑动窗口长度决定的早期阶段。有从延迟不影响性能只要输入到经历同样的延迟。逆模型的参数最初在整个系统操作期间脱机和更新，允许增量地识别逆系统，从而使方法．此外，适应使跟踪在工厂的变化。因此，最小化从所获得的过滤器的错误使控制器跟随系统变化。

4.1. 与神经解码的关系

在这个控制方案中，只有两个模型，和，在控制过程中调整，共享相同的输入（神经活动）和输出类型（连续刺激波形）。因此，这两个模型的性能类似于神经解码器，可以使用我们在上一节介绍的Q-KLMS方法实现。由于该控制方案中的所有数学模型都是基于核的模型，因此整个控制方案可以映射到RKHS空间中，这具有以下优点。信号类型没有限制。只要内核可以将植物活动映射到RKHS，可以用该方案控制植物。植物都是逆，和控制器在RKHS中具有线性结构，这避免会聚到局部最小值的危险。

具体地，控制器和植物逆分别用张量积核建模，我们在第2，并用Q-KLMS更新模型系数。该结构如图所示2（b）．模型系数和表示的权矩阵和分别由Q-KLMS得到。由于这是一个多输入多输出模型，和是滤波器权重为每个刺激通道的串联。

变量那那和表示加窗目标spike序列的级联和lfp分别作为控制器的命令输入、估计的激励和被控对象的输出。是与电厂输出一致的延迟目标信号．表示来自输入空间的映射函数到与Tensor-Product内核相关联的RKH。

总体系统误差定义为，这意味着控制器的参数适应旨在最大限度地减少目标尖峰列车/ LFP之间的RKHS中的距离以及植物逆的输出．以这种方式，自逆模型以来在RKHS中具有线性结构，刺激信道的滤波误差是

控制器模型有一个单一的输入，对应于spike train和lfp的级联，有声道输出，对应于微刺激。使用Q-KLMS进行建模和输入样本。目标尖峰序列在不同的试验中重复，这意味着重复的样本将通过量化合并到第一次通过数据的同一核心中心，因此逆控制器的网络大小是固定的(中心)。只有系数矩阵已更新过滤错误在整个控制操作期间。输出可以计算 哪里是th中心和是分配给的系数Th仁中心输出渠道。

5.感官刺激实验

5.1。实验动机和框架

我们将这些方法应用于神经假体中将触摸信息转换为电刺激的问题。体感信息来源于外周神经系统，通过丘脑腹后外侧核(VPL)上升到初级体感皮层(S1)。由于大部分的皮肤和本体感受信息都是通过该核传递的，我们希望通过设计合适的电极阵列来选择性地刺激局部组的VPL神经元，从而将类似的信息传递给皮层。电生理实验(52建议大鼠VPL核的振荡部分携带大量的预知信息，而内侧和尾部的部分代码主要用于皮肤刺激。由于VPL丘脑和S1的主体图是已知的并且相当一致，因此可以在两个区域的躯体重叠区域中植入电极阵列。

我们应用所提出的控制方法在VPL中产生多通道电刺激，从而在S1中唤起一个自然的神经轨迹。数字3.显示了我们的实验的示意图，其在大鼠中进行。在VPL和S1中植入阵列之后，在S1中记录了由电动梭子输送的自然刺激的响应。然后，我们在记录S1中的响应时在VPL中随机图案化的微刺激应用。使用这些响应，我们培训了我们的控制器以输出最精确地再现自然触摸的微刺激模式，以在S1中自然触摸。为了解决这个控制问题，我们首先调查了两种类型的刺激，自然触摸和电微压刺激。

5.2。数据采集

所有动物手术均由纽约州立大学下州医学中心IACUC批准，并符合美国国立卫生研究院的指导方针。在麻醉下，单个雌性Long-Evans大鼠(Hilltop, Scottsdale, PA)被植入了两个微阵列。异氟醚诱导后，用聚氨酯维持麻醉深度。VPL中的数组是a70%铂30%铱75网格 m直径微电极（Micropobes Inc.），带500 M在行和250行之间米极间的行间距内。的microelectrodes had a 25 : 1 taper on the distal 5 mm with a tip diameter of 3 m。导电尖端的近似几何表面积为1250 ．柄长度是定制的设计，以适应大鼠VPL的轮廓[52］.两行相同，每行从内侧到外侧的轴长为 嗯。VPL阵列的长轴沿大鼠的中外侧轴定向。

皮质电极阵列（黑微）是一个32通道犹他州阵列。该电极被布置在一个网格不包括4个角，每个电极长1.5毫米。在S1指区立体定位坐标周围1mm区域(侧位4.0 mm, bregma前0.5 mm)，使用单一微电极(FHC)进行几次探查插入后，对两个阵列的皮质插入位点进行了单次开颅暴露。[53那54]，使用气动活塞插入犹他阵列。电极覆盖S1皮质和丘脑VPL核的体感区[52］.神经记录使用多通道采集系统（塔克 - 戴维斯）制成。

在麻醉状态下采集大鼠的Spike和field potential数据。电极电压以1000增益预放大，以0.7 Hz和8.8 kHz截止滤波，并以25 kHz数字化。lfp使用三阶巴特沃斯滤波器从1到300hz进一步滤波。Spike排序是通过使用- 在检测到的波形的前2个主组件的群集。

实验涉及将微刺激与VPL和触觉刺激相同，在单独的部分中对大鼠的手指进行触觉。微刺激在丘脑阵列的相邻对（双极配置）上施用。刺激波形是单个对称双相矩形电流脉冲;每个矩形脉冲为200 S长，振幅为10A、 二十 ,或30A.刺激间隔呈指数分布，平均间隔100ms。刺激隔离使用一个定制的开关舞台。双极微刺激脉冲在丘脑传递。微刺激有24种模式:8个不同的位点，每个位点3个不同的振幅水平，如图所示4.. 每种图案交付125次。

实验过程还包括使用手持探针对老鼠的手指进行30-40个100毫秒的短触觉接触(对数字垫1-4重复)。在记录期间，大鼠保持麻醉状态。当探针尖端接触到老鼠身体时，用连接在探针上的杠杆压在薄膜电阻力传感器(Trossen Robotics)上测量施加的力。电阻变化通过桥接电路转换为电压，并以上述相同的方式进行滤波和数字化。数字化波形通过使用三阶巴特沃斯滤波器在1到60赫兹之间的通频带进行滤波。将该信号的一阶导数作为所需的刺激信号，如图所示5.．

5.3。解码的结果

现在，我们提出了使用Q-KLMS操作张量积核的触觉刺激波形和微刺激的解码结果。采用多尺度神经活动(包括脉冲串和lfp)的译码器的性能与采用单一类型神经活动的译码器进行了比较。这说明了张量-积-核框架在利用多尺度神经活动的互补信息方面的有效性。

5.3.1。时间尺度的估计

张量积核允许lfp和spike列车分析的时间尺度根据它们自己的性质分别指定。为了找到合理的时间尺度，我们估计了lfp和spike序列的自相关系数，它反映了刺激诱导的响应时间。为此目的，spike列车被装箱，装箱大小为1毫秒。lfp也以1000hz的采样率进行重采样。计算信道上每个信号平均的自相关系数 的自相关系数有效零的假设的置信范围大致估计,在那里 LFP和尖峰序列的平均置信限为和， 分别。LFP的自相关系数落入20毫秒后的置信区间，而钉列车的自相关系数在9毫秒后消失，如图所示6.．因此，通过滑动大小为的窗口来获得解码器输入spike trains和联赛的女士。此外，刺激的时间离散化为5毫秒。

每个解码器的学习速率由扫描参数后的最佳交叉验证结果确定。内核大小和由每对训练样本在RKHS中的平均距离确定。估计刺激之间的归一化均方误差(NMSE))以及所需的刺激(）用作准确性标准。

5.3.2。解码触觉刺激的结果

通过8个试验数据集获得触觉刺激的NMSEs。对于每一次试验，我们使用20秒的数据来训练解码器，并在剩余的数据上计算一个独立的测试误差年代数据。结果如表所示1，其中我们可以观察到LFP和尖峰解码器的性能显著优于LFP解码器和具有值< 0.05。

为了说明解码性能的细节，第一次试验的一部分测试结果如图所示7.．可以观察到，由于spike序列的稀疏性和可变性，spike解码器的输出波动并错过一些脉冲(例如，大约0.65 s)。相比之下，LFP译码器估计的输出比spike译码器更平滑、更鲁棒，但译码信号低于最大力偏转。通过合并来自脉冲序列的精确脉冲时序信息，LFP和spike解码器比LFP解码器表现得更好。

5.3.3。微电刺激解码结果

我们还实现了一种解码器来重建微氧化模式。首先，我们将8个不同的刺激配置映射到8个通道。我们驳回了每个刺激的形状，因为刺激宽度的时间尺度仅为200 s。每个通道的所需刺激图案由刺激幅度的稀疏时间序列表示。

以十个子程解码结果获得NMSES。我们使用了120个数据来培训解码器并计算剩余的独立测试错误 s数据。spike和LFP解码器的性能也优于LFP解码器和spike解码器。结果对比如图所示8.，这表明spike和LFP译码器能够在各种刺激信道中获得最佳的性能，特别是对于通道2、4、6和7。可以观察到通道4、5、6、7和8上的刺激根本无法从LFP解码器解码，因为在LFP中平均出了精细时间信息。对于脉冲串译码器，刺激信道没有很好的识别。而spike train和lfp的结合丰富了刺激信息，有助于更好地识别通道间的刺激模式，并使模型能够捕获精确的刺激时机。

5.4. 开环自适应逆控制结果

实施躯体感觉假体的挑战是精确控制神经反应，以模仿天然刺激诱导的神经应答。如所讨论的，应用基于内核的自适应逆控制图，其中包含了张于产品内核来解决这个问题。自适应逆控制模型基于解码器，其将S1中的神经活动映射到在VPL中传送的微刺激。我们继续展示自适应逆控制模型如何使用优化的微刺激模拟自适应逆控制模型对“自然触摸”的神经响应。

在相同的记录时，通过优化丘脑（VPL）microstimulations开环自适应逆控制被实现。首先，逆控制器通过记录随机模式的丘脑微刺激反应生成的300秒数据进行训练。然后，在每个触点的触觉刺激中记录的前60秒的神经反应被用作目标模式和控制输入。当整个神经反应序列离线馈给控制器时，它会产生相应的多通道微刺激振幅序列。

然而，产生的微阳性序列需要进一步的处理以满足双极微氧化刺激的限制，在施加到VPL之前。限制和处理是以下内容。（1）通过实验设置提出了两个刺激10ms之间的最小间隔。平均移位算法[55]用于定位每个单一通道的刺激序列(10毫秒)的局部最大值。用最大振幅和相应的时间来设置刺激的振幅和时间。（2）在任何给定的时间点，只能刺激所有通道的单个脉冲。因此，在每个时间点，只选择跨通道的最大值进行刺激。其他通道的值被设置为零。（3）最大/最小刺激幅度设置在范围内[8 30A]，这在以前的实验中被认为是有效和安全的振幅范围。

在该处理之后，所产生的多通道微刺激序列（60s持续时间）准备好在计算之后立即施加到微刺激器上。

记录对微刺激的神经反应，并与目标自然反应进行比较。理想情况下，这两个神经反应序列应该是时间锁定的，并且非常相似。特别是，窗口中与自然触摸相对应的受控响应部分应匹配。因为这对应于虚拟触摸通过优化的微刺激，我们定义了虚拟触摸这一术语，指的是微刺激模式的序列，控制器的输出对应于特定的目标自然触摸。

对于自然和虚拟触摸的部分神经反应如图所示9.．这些回复是按照相同的时间尺度排列的，即使它们不是同时记录的。很明显，在受控微刺激期间记录的多单元神经反应与目标集具有相似的时空模式。每一次虚拟触摸都是通过一系列微刺激脉冲来实现的，这些微刺激脉冲会在神经元间唤起同步的爆发力。此外，微刺激脉冲在触控时间之间传递，以模拟与触控时间无关的种群峰值。

为了评估性能，我们专注于虚拟触摸的两个方面。

(我)接触时间．对虚拟触摸的神经响应是否能够捕获实际目标触摸的定时信息。

（二）接触部位．研究了实际目标触摸站点信息是否可以通过通过微循环控制的神经活动来判别歧视。

为了触摸时间，我们估计了虚拟触摸响应和相应的目标自然触摸响应之间的相关系数(CC)随时间的变化。为了简化脉冲序列相关估计，我们使用5ms bin对数据进行分类。计算了spike列车和lfp的相关系数。数字10显示6个试验的相关系数(CC)箱线图，每个试验对应一个特定的自然接触点，一个前爪数字或垫(d1, d2, d4, p3, p1，或mp)。可以观察到，最大相关系数在每一次试验的滞后零，这意味着虚拟触摸响应是正确的时间锁定。为每一个联系网站，在以下两种情况下，我们估计自然触摸响应和虚拟触摸响应之间的相似性。

（i） 匹配虚拟. 配对包括虚拟触摸试验和对应于同一触摸位置的自然触摸试验。

（ii）无与伦比的虚拟。对包含虚拟触摸试验和对应于不同触摸站点的自然触控试验。

我们提取了300个样本中的所有神经反应 触摸开始后的ms窗口，并计算每对试验中自然触摸反应和虚拟触摸反应之间的相关系数。采用单尾Kolmogorov-Smirnov检验（KS）来检验另一种假设，即匹配的虚拟的分布比无与伦比的虚拟案例（无效假设是分布相同）。相关系数和spike train和lfp的KS检验值如表所示2和3.．自然触摸响应与虚拟触摸响应之间的相似性无与伦比的虚拟发现病例显著低于对照组匹配的虚拟大多数触摸网站的情况（值<0.05）除触摸网站除外。没有心理物理测试，目前尚不清楚微刺激在产生真正的感官感觉中有效。尽管如此，这些是利用多尺度神经解码方法的控制器的有效性。

6。结论

这项工作提出了一种新的张量 - 产品 - 内核的机器学习框架，其提供了一种解码来自多尺度神经活动的时空模式（例如，尖峰列车和LFP）的刺激信息。已经假设Spike Trains和LFP包含可以增强神经数据解码的互补信息。然而，在单个信号处理框架中，这两个不同的神经反应结合的系统方法仍然难以捉摸。积极明确的内核的组合，可以在尖峰列车空间和LFP空间中定义，似乎是实现目标的一种非常有效的方法。我们基本上使用了两种类型的组合核来实现多尺度组合：将内核与不同尖峰通道的“平均值”，以及跨LFP频道，该频道将证据组合在每种方式中的神经事件，以及跨秒的产品内核和LFP模态强调在多尺度模型中表示的事件。结果表明，该方法提高了神经解码和控制的准确性和鲁棒性。然而，本文应解释为漫长过程中优化钉火车和LFP中所含的联合信息的第一步。第一个问题是理解为什么这种总和和产品内核的组合工作。我们的分析表明，总和内核（特别是Spike Trains）为神经事件带来稳定性，因为它会降低对刺激的尖峰响应的可变性。 On the other hand, the product kernel requires that the neural event presents at both scales to be useful for decoding, which improves specificity. If we look carefully at Figure6.，我们可以理解使用乘积核进行解码的效果。请注意，尖峰和LFP的相关时间非常不同（LFP的相关时间更长）。此外，复合内核定义可以自然地配置到不同的大脑区域，甚至具有不同放电模式的神经元类型。每种模式都会产生不同的相关曲线，这些曲线会立即调整大脑区域和神经群体中内核的特性。如果只使用LFP，我们可以预期解码器的响应时间将非常长，并且会错过一些事件。产品内核实际上将LFP内核的持续时间限制为spike内核的持续时间，并为spike内核带来稳定性。这正好解释了解码结果。因此，结果表明，所提出的张量积核框架能够有效地将来自尖峰和LFP的信息集成到同一个模型中，提高了神经解码的鲁棒性和准确性。

此外，我们在更复杂的BMI场景应用的张量积内核架构：如何模拟“自然之触”与微刺激。我们的初步结果表明，采用张量积内核架构基于内核的自适应逆控制方案也实现了微刺激比单独尖峰个LFP和更好地优化（结果未显示）。这个结果可以预料的，因为逆控制器基本上是一个解码器。但是，我们必须认识到，并非所有感兴趣的任务来降低神经解码，而我们甚至不知道是否神经控制可以通过不同的内核设计来进一步提高。这是进一步的研究是必要的优化联合内核。例如，我们可以既加权频道信息和多尺度信息使用度量学习[最大限度地执行任务40］.

总的来说，本研究中提出的基于张量积核的框架提供了一个通用和实用的框架，用于在解码和控制场景中利用异构神经活动，这不仅限于尖峰序列和LFPs应用。

利益冲突

作者声明本文的发表不存在利益冲突。

致谢

笔者想感谢赖恩·伯校对纸张。这项工作是由美国国家科学基金会伙伴关系创新计划0650161和DARPA项目N66001-10-C-2008的部分资助。

参考文献

1. J. K. Chapin, K. a . Moxon, R. S. Markowitz，和M. a . L. Nicolelis，“利用运动皮层中同时记录的神经元实时控制机器人手臂”，自然神经科学，第2卷，第2期7，页664 - 670,1999。浏览：出版商网站|谷歌学者
2. M. Velliste, S. Perel, M. C. Spalding, a . S. Whitford, a . B. Schwartz，《用于自我喂食的假肢手臂的皮质控制》，本性，卷。453，没有。7198，PP。1098-1101,2008。浏览：出版商网站|谷歌学者
3. D. M.泰勒，S. H. I. Tillery和A. B.施瓦茨，“3D神经假设备的直接控制皮质，”科学，第296卷，第5574号，第1829-18322002页。浏览：出版商网站|谷歌学者
4. MD塞鲁亚，N。G哈索普洛斯，L。帕宁斯基，M。R费罗斯和J。PDonoghue，“运动信号的即时神经控制，”本性，卷。416，没有。6877，pp.141-142,2002。浏览：出版商网站|谷歌学者
5. J. M. Carmena, M. a . Lebedev, R. E. Crist et al，“灵长类动物学习控制大脑-机器接口来抓取和接触，”PLoS生物学，第一卷，第二期，第193-208页，2003年。浏览：出版商网站|谷歌学者
6. J. Digiovanna，B.Mahmoudi，J.Fortes，J.C. Principe和J. C. Sanchez，“通过加固学习共有脑机接口”，“生物医学工程学报第56期1，pp。54-64,2009。浏览：出版商网站|谷歌学者
7. A. Belitski, S. Panzeri, C. Magri, N. K. Logothetis，和C. Kayser，“来自视觉和听觉皮层的局部场电位和峰值的感觉信息:时间尺度和频带，”计算神经科学杂志，第29卷，第2期3，页533-545,2010。浏览：出版商网站|谷歌学者
8. J. R. Huxter, T. J. Senior, K. Allen，和J. Csicsvari，“θ波的相位特定编码用于海马体的二维位置、轨迹和方向，”自然神经科学，第11卷，第5期。5，页587 - 594,2008。浏览：出版商网站|谷歌学者
9. M. J.拉什，A.格雷顿，Y.村山富市，W.马斯和N. K. Logothetis“从局部场电位推断穗列车，”神经生理学杂志，卷。99，没有。3，pp。1461-1476，2008。浏览：出版商网站|谷歌学者
10. G. Buzsáki和A. Draguhn，《皮层网络中的神经元振荡》，科学，卷。304，不。5679，PP。1926-1929,2004。浏览：出版商网站|谷歌学者
11. DL斯奈德和M。我米勒，时空中的随机点过程，斯普林格，1991年。
12. R. E. Kass，V.Ventura和E. N.Brown，“神经元数据分析中的统计问题”神经生理学杂志，第94卷，第94期第1页，第8-25页，2005。浏览：出版商网站|谷歌学者
13. R. D. Flint，E. W. Lindberg，L. R.Jordan，L. E. Miller，以及M. W.Slutzky，“W. Slutzky”的准确解读了在没有尖峰的情况下从现场潜力达到运动“。神经工程杂志，卷。9，没有。4，文章ID 046006，2012。浏览：出版商网站|谷歌学者
14. R. C. Kelly, M. A. Smith, R. E. Kass，和T. S. Lee，“局部场电位表明网络状态并解释神经元反应的变化”，计算神经科学杂志，第29卷，第2期3，页567-579,2010。浏览：出版商网站|谷歌学者
15. J. Liu和W. T.纽瑟姆，“在皮层区MT局部场电位：刺激调整和行为相关，”神经科学杂志》上，卷。26，不。30，第7779-7790，2006年。浏览：出版商网站|谷歌学者
16. P.贝伦斯，G. Keliris，A.埃克，N. Logothetis，和A. Tolias，“在灵长类初级视觉皮层的局部场电位的伽马带的特征选择性，”神经科学前沿，第2卷，文章编号199207，2008年。浏览：谷歌学者
17. D.邢，C.-I.YEH和R. M. Shppley，“视野潜力的空间传播及其在视觉皮层中的层状变化”，神经科学杂志》上，第29卷，第2期37, pp. 11540-11549, 2009。浏览：出版商网站|谷歌学者
18. B. Schölkopf和A. J. Smola，使用内核学习：支持向量机，正规化，优化及超越Ser。自适应计算和机器学习，麻省理工学院新闻，2002年。
19. L. Li，I. M. Park，A.Brockmeier等，“具有再现内核希尔伯特空间（RKHS）框架的神经时空尖峰图案的”自适应逆控制“，神经系统和康复工程上的IEEE交易第21卷第2期4，第532-543页，2013。浏览：谷歌学者
20. S. Monaco, G. Króliczak, D. J. Quinlan等人，“视觉和本体感受信息对达到动作精度的贡献”，实验性脑研究号，第202卷。1, pp. 15-32, 2010。浏览：出版商网站|谷歌学者
21. Rs约翰逊和G。Westling，“无毛皮肤受体和感觉运动记忆在提升粗糙或较光滑物体时精确抓地力自动控制中的作用，”实验性脑研究第56期3, 1984年。浏览：谷歌学者
22. JE奥多尔蒂，M。A.列别捷夫，P。JIfft等人，“使用脑-机-脑界面进行主动触觉探索，”本性，卷。479，没有。7372，第228-231，2011。浏览：出版商网站|谷歌学者
23. J. E. O'Doherty，M.A.Lebedev，T.Hanson，N.A.Fitzsimmons和M. A. Nicolelis，“由直接的肠道内微刺激指示的脑机界面”，“综合神经科学前沿，卷。2009年3月3日。浏览：出版商网站|谷歌学者
24. N. A. Fitzsimmons, W. Drake, T. L. Hanson, M. A. Lebedev，和M. A. L. Nicolelis，“灵长类动物通过多通道时空皮层微刺激来达到目标”，神经科学杂志第27卷第2期21, pp. 5593-5602, 2007。浏览：出版商网站|谷歌学者
25. X-J。冯，B。格林沃尔德，H。拉比兹，E。Shea Brown和R。Kosut，“帕金森病脑深部刺激的闭环优化：计算模型的概念和教训，”神经工程杂志，第4卷，第4期。2，页L14-L21, 2007。浏览：出版商网站|谷歌学者
26. J. Liu, H. K. Khalil，和K. G. Oweiss，“基于模型的分析和控制正常和帕金森状态下基底神经节神经元的神经网络”，神经工程杂志，第8卷，第4期，文章ID 045002，2011年。浏览：出版商网站|谷歌学者
27. A. J.Brockmeier，J.S.Choi，M. M. M. Distasio，J.T. Francis和J.C.Príncipe，“使用加强学习框架优化Microstimulation”第33届医学和生物学学会IEEE工程国际会议的会议记录（embs'11），PP。1069-1072，2011年9月。浏览：出版商网站|谷歌学者
28. A.布罗克梅尔，J。崔，M。埃米，L。李，J。弗朗西斯和J。Principe，“大鼠体感皮层中丘脑微刺激与触觉诱发电位的子空间匹配”，年IEEE医学与生物学工程学会国际年会论文集(EMBC’12)，pp。2957-2960,2012。浏览：出版商网站|谷歌学者
29. Y. Ahmadian，A. M. Packer，R. Yuste和L. Paninski，“设计最佳刺激来控制神经元尖峰时序”神经生理学杂志，卷。106，没有。2，pp。1038-1053，2011。浏览：出版商网站|谷歌学者
30. J莫利斯，E。Shea Brown和H。Rabitz，“尖峰神经元相位模型的最佳输入，”计算与非线性动力学杂志，卷。1，不。4，pp。358-367，2006。浏览：出版商网站|谷歌学者
31. D.布鲁格，S. Butovas，M.波格丹，和C.施瓦茨，“实时自适应微刺激增加电诱发皮层电位的可靠性，”生物医学工程学报，第58卷，第5期，第1483-1491页，2011年。浏览：出版商网站|谷歌学者
32. N克里斯蒂亚尼尼和J。肖威·泰勒，支持向量机和其他基于核的学习方法简介，剑桥大学出版社，2000年。
33. A. J. Smola和B.Schölkopf，“支持向量回归的教程”，统计和计算，第14卷，第3期，第199-222页，2004年。浏览：出版商网站|谷歌学者
34. W刘，J。C普林西佩和S。海金，内核自适应滤波，由S. Haykin，John Wiley＆Sons编辑编辑。
35. B. Schlkopf和A. J.斯莫拉岛，核学习：支持向量机、正则化、优化等麻省理工学院出版社，2001年。
36. G. R. G. Lanckriet, N. Cristianini, P. Bartlett, L. El Ghaoui, M. I. Jordan，“用半定规划学习核矩阵”，机器学习研究杂志，卷。5，pp。27-72,2004。浏览：谷歌学者
37. C.科尔特斯，M.虽然在去和A. Rostamizadeh，“算法基于中心校准学习仁，”机器学习研究杂志， vol. 13, pp. 795-828, 2012。浏览：谷歌学者
38. M. Yamada, W. Jitkrittum, L. Sigal, E. P. Xing, M. Sugiyama，“基于特征核化套索的高维特征选择”，神经计算，卷。26，不。1，pp。185-207，2013。浏览：谷歌学者
39. R. A.喇叭，“在无限可分矩阵，内核和功能，”Zeitschriftfürwahrscheinlichkeitstheorieund Verwandte Gebiete，第8卷，第2期3，页219 - 230,1967。浏览：谷歌学者
40. A. J. Brockmeier, J. S. Choi, E. G. Kriminger, J. T. Francis, J. C. Principe，《基于核的度量学习的神经解码》，神经计算，第26卷，第6期，2014年。浏览：谷歌学者
41. L. Shpigelman, Y. Singer, R. Paz和E. Vaadia，Spikernels:内积空间中嵌入spike神经元，卷。15的神经信息处理系统研究进展，麻省理工学院新闻，2003年。
42. A. R. C. Paiva, I. Park, and J. C. Príncipe，“spike串信号处理的再现核希尔伯特空间框架”，神经计算第21卷第2期2，pp。424-449，2009。浏览：谷歌学者
43. I. M. Park, S. Seth, M. Rao，和J. C. Principe，“点过程发散的严格正定脉冲列核”，神经计算，卷。24，不。8，pp。2223-2250,2012。浏览：出版商网站|谷歌学者
44. l .李基于核的神经解码机器学习框架[j]。论文)，佛罗里达大学，2012。
45. H. Ramlau汉森“由内核功能的装置平滑的计数处理的强度，”统计年鉴，第11卷，第5期。2，第453-466页，1983。浏览：谷歌学者
46. P大雁和L。F雅培，理论神经科学：神经系统的计算与数学建模麻省理工学院出版社，2001年。
47. J.Platt，“用于功能插值的资源分配网络”神经计算，卷。3，不。2，pp。213-225,1991。浏览：谷歌学者
48. L. CSATO和M. Opper，“稀疏在线高斯过程”，神经计算第14卷第2期3，页641-668,2002。浏览：出版商网站|谷歌学者
49. Y. Engel, S. Mannor, R. Meir，《核递归最小二乘算法》，IEEE信号处理汇刊号，第52卷。8，页2275 - 2285,2004。浏览：出版商网站|谷歌学者
50. Liu W.， I. Park, j.c. Príncipe，“一种设计稀疏核自适应滤波器的信息理论方法，”神经网络学报，卷。20，没有。12，PP。1950-1961,2009。浏览：出版商网站|谷歌学者
51. B. Widrow和E. Walach，自适应逆控制，由E. Cliff编辑，Prentice-Hall，1995年。
52. J.T. Francis，S. Xu和J. K. Chapin，“大鼠腹侧丘脑的鼠腹膜皮肤和皮肤陈述”，神经生理学杂志，卷。99，没有。5，第2291年至2304年，2008年。浏览：出版商网站|谷歌学者
53. G. Paxinos和C. Watson，立体坐标的大鼠大脑，学术出版社，第6版，2006年。
54. G. Foffani，J. K.蔡平，和K. A.莫克森，“大感受域的在初级躯体感觉皮层计算的作用，”神经生理学杂志号，第100卷。1，页268 - 280,2008。浏览：出版商网站|谷歌学者
55. K. Fukunaga和L. D. Hostetler，“估计密度函数的梯度，在模式识别中的应用，”IEEE信息理论汇刊，第21卷，第1期，第32-40页，1975年。浏览：谷歌学者

版权

版权所有©2014林丽等。这是一篇发布在知识共享署名许可协议，允许在任何媒介中不受限制地使用、分发和复制，前提是原作被正确引用。