Google DeepMind 与 Google Research 联合推出的 Perch 2.0，，，，， ，进一步将生物声学钻研面向新高度 。。。。相较于前代，，，，， ，Perch 2.0 以物种分类为中心训练使命，，，，， ，不但纳入了更多非鸟类类群的训练数据，，，，， ，还选用了全新的数据增强战略与训练目的，，，，， ，在 BirdSET 和 BEANS 两项威望生物声学基准考试中均改写其时 SOTA 。。。。
生物声学作为衔接生物学与生态学的主要工具，，，，， ，在生物多样性维护与监测中饰演着要害人物 。。。。前期钻研多依赖模板匹配等古板信号处置惩罚手法，，，，， ，在杂乱自然声学情形与大妄想数据眼前，，，，， ，逐步露出功率低下、准确性缺乏的限制 。。。。
近年来，，，，， ，人工智能手艺的爆发式开展推进深度学习等步伐取代古板手法，，，，， ，成为生物声学事情检测与分类的中心工具 。。。。例如，，，，， ，凭证大妄想带标签鸟类声学数据训练的 BirdNET 模子，，，，， ，在鸟类声纹识别中体现优异：不但能精准区别差别物种的鸣叫，，，，， ，还能在肯定水平上完成个体识别 。。。。别的，，，，， ，Perch 1.0 等模子经由一连优化迭代，，，，， ，在生物声学领域积累了丰富作用，，，，， ，为生物多样性监测与维护供应了坚实的手艺支持 。。。。
日前，，，，， ，Google DeepMind 与 Google Research 联合推出的 Perch 2.0，，，，， ，进一步将生物声学钻研面向新高度 。。。。相较于前代，，，，， ，Perch 2.0 以物种分类为中心训练使命，，，，， ，不但纳入了更多非鸟类类群的训练数据，，，，， ，还选用了全新的数据增强战略与训练目的 。。。。该模子在 BirdSET 和 BEANS 两项威望生物声学基准考试中均改写其时 SOTA，，，，， ，彰显出强壮的功效潜力与宽阔的运用远景 。。。。
相关钻研作用以「Perch 2.0: The Bittern Lesson for Bioacoustics」为题，，，，， ，宣布预印本于 arXiv 。。。。
论文地点：https://arxiv.org/abs/2508.04665
数据集：训练数据构建与评价基准
该钻研为模子训练整合了 4 个带标签音频数据集——Xeno-Canto、iNaturalist、Tierstimmenarchiv 和 FSD50K，，，，， ，一起组成模子学习的根底数据支持 。。。。其间，，，，， ，如下表所示，，，，， ，Xeno-Canto 与 iNaturalist 是大型公民科学库：前者经由揭破 API 获取，，，，， ，后者源自 GBIF 渠道标记为钻研级的音频，，，，， ，二者均包括许多鸟类及其他生物的声学录音；；；；Tierstimmenarchiv 作为柏林自然历史博物馆的动物声响档案，，，，， ，相同群集生物声学领域；；；；而 FSD50K 则填补了多种非鸟类声响 。。。。
这四类数据共包括 14,795 个种别，，，，， ，其间 14,597 个为物种，，，，， ，其他 198 个为非物种声响事情 。。。。丰富的种别掩饰既包管了对生物声学信号的深度学习，，，，， ，又经由非鸟类声响数据拓宽了模子的适用妄想 。。。。不过，，，，， ，由于前三个数据集选用差别的物种分类系统，，，，， ，钻研团队人工映射一致了种别称呼，，，，， ，并除掉了无法用选定频谱图参数标明的蝙蝠录音，，，，， ，以此包管数据的一致性与适用性 。。。。
数据集摘要
思量到差别数据源的录音时长差别极大（从缺乏 1 秒到逾越 1 小时，，，，， ，大都在 5–150 秒），，，，， ，而模子牢靠以 5 秒片断为输入，，，，， ，钻研团队妄想了两种窗口选取战略：随机窗口战略在选中某条录音时随机截取 5 秒，，，，， ，虽或许包括目的物种未发声的片断，，，，， ，带来肯定标签噪声，，，，， ，但全体处于可接受妄想；；；；能量峰值战略则沿袭 Perch 1.0 的思绪，，，，， ，经由小波替换选出录音中能量最强的 6 秒区域，，，，， ，再从中随机选取 5 秒，，，，， ，凭证「高能量区域更或许包括目的物种声响」的假定提高样本有用性——这一步伐与 BirdNET 等模子的检测器妄想逻辑相通，，，，， ，能更精准捕获有用声学信号 。。。。
为进一步提高模子对杂乱声学情形的顺应才华，，，，， ，钻研团队选用了 mixup 的数据增强变体，，，，， ，经由混淆多条音频窗口天生复合信号：先从 Beta-二项散布采样确认混淆的音频条数，，，，， ，再经由对称 Dirichlet 散布采样权重，，，，， ，对选中的多条信号举行加权求和并标准化增益 。。。。
与原始 mixup 差别，，，，， ，该步伐选用多热目的向量而非 one-hot 向量的加权匀称，，，，， ，包管窗口内一切发声（不管响度高低）都能被高置信度识别；；；；相关参数作为超参数调优，，，，， ，可增强模子对堆叠声响的分谈锋气，，，，， ，提高分类准确性 。。。。
模子评价则依托 BirdSet 与 BEANS 两大威望基准翻开 。。。。生姜红糖全文无删&#后续无删减原版阅读20943;8686;姐粤语无删减BirdSet 包括来自美国本乡、夏威夷、秘鲁、哥伦比亚的 6 个全标示声景数据集，，，，， ，评价时不举行微调，，，，， ，直接选用原型学习分类器的输出；；；；BEANS 包括 12 项跨类群考试使命（触及鸟类、陆生与海洋哺乳动物、无尾目及昆虫），，，，， ，仅用其训练集训练线性与原型探针，，，，， ，相同不调解嵌入网络 。。。。
Perch 2.0：一种高功效的生物声学预训练模子
Perch 2.0 的模子架构由前端（frontend）、嵌入网络（embedding model）和一组输出面（output heads）一起组成，，，，， ，各部分协同完成从音频信号到物种识别的完好流程 。。。。
其间，，，，， ，前端担当将原始音频转换为模子可处置惩罚的特征要领，，，，， ，其接纳 32kHz 采样的单声道音频，，，，， ，针对 5 秒长的片断（含 160,000 个采样点），，，，， ，经由 20ms 窗长、10ms 跳长的处置惩罚，，，，， ，天生包括 500 帧、每帧 128 个 mel 频带的 log-mel 频谱图，，，，， ，掩饰 60Hz 到 16kHz 的频率妄想，，，，， ，为后续剖析供应根底特征 。。。。
嵌入网络选用 EfficientNet-B3 架构——这是一款包括 1.2 亿参数的卷积残差网络，，，，， ，凭仗深度可划分卷积妄想最大化参数功率 。。。。相比上一版别 Perch 运用的 7,800 万参数 EfficientNet-B1，，，，， ，它的妄想更大，，，，， ，以匹配训练数据量的添加 。。。。
经由嵌入网络处置惩罚后，，，，， ，会获得形状为（5, 3, 1536）的空间嵌入（维度划分对应时刻、频率和特征通道），，，，， ，对空间维度取均值后，，，，， ，可获得 1536 维的阵势嵌入，，，，， ，作为后续分类的中心特征 。。。。
输出面则肩负着详细的推测与学习使命，，，，， ，包括 3 个部分：线性分类器将阵势嵌入投影到 14,795 维的种别空间，，，，， ，经由训练增进差别物种的嵌入线性可分，，，，， ，提高后续适配新使命时的线性勘探作用；；；；原型学习分类器以空间嵌入为输入，，，，， ，为每个种别学习 4 个原型，，，，， ，取原型最大激活举行推测，，，，， ，这一妄想源自生物声学领域的 AudioProtoPNet；；；；泉源推测头是一个线性分类器，，，，， ，凭证阵势嵌入推测音频片断的原始录音泉源，，，，， ，由于训练集包括 150 余万条泉源录音，，，，， ，它经由秩为 512 的低秩投影完成高效核算，，，，， ，效劳于自监视泉源推测丧失的学习 。。。。
Perch 2.0 模子系统结构
模子训练经由 3 个自力目的完成端到端优化：
* 物种分类穿插熵针对线性分类器，，，，， ，选用 softmax 激活和穿插熵丧失，，，，， ，对目的种别付与匀称权重；；；；
* 自蒸馏机制中，，，，， ，原型学习分类器作为「teacher」，，，，， ，其推测效果向导「student」线性分类器，，，，， ，一起经由正交丧失最大化原型差别，，，，， ，且梯度不回传至嵌入网络；；；；
* 泉源推测作为自监视目的，，，，， ，将原始录音视为自力种别训练，，，，， ，推进模子捕获显着特征 。。。。
训练分两阶段：第一阶段专心训练原型学习分类器（不发动自蒸馏，，，，， ，最多 300,000 步）；；；；第二阶段发动自蒸馏（最多 400,000 步），，，，， ，均运用 Adam 优化器 。。。。
超参数挑� 。。。。℉yperparameter selection）依托 Vizier 算法，，，，， ，第一阶段查找学习率、dropout 率等，，，，， ，经两轮挑选确认最优模子；；；；第二阶段添加自蒸馏丧失权重一连查找，，，，， ，两种窗口采样要领贯串一直 。。。。
效果展现，，，，， ，第一阶段偏好混淆 2-5 条信号，，，，， ，泉源推测丧失权重 0.1-0.9；；；；自蒸馏阶段倾向小学习率、少用 mixup，，，，， ，付与自蒸馏丧失 1.5-4.5 的高权重，，，，， ，这些参数支持了模子功效 。。。。
Perch 2.0 的泛化才华评价：基准体现与适用价值
Perch 2.0 的评价群集泛化才华，，，，， ，既视察其在鸟类声景（与训练录音差别显着）、非物种识别使命（如啼声类型识别）中的体现，，，，， ，也考试向蝙蝠、海洋哺乳动物等非鸟类类群的搬家才华 。。。�？Ｋ剂康酱右嫡叱Ｐ璐χ贸头Ｉ偈蛭薇昵┦�，，，，， ，评价中心原则是验证「冻住嵌入网络」的有用性，，，，， ，即经由一次性提取特征，，，，， ，快速适配聚类、小样本后续无删减原版阅读生姜红糖全文无删减8686;姐粤语无删减学习等新使命 。。。。
模子挑选阶段从 3 方面验证适用性：
* 预训练分类器功效，，，，， ，在全标示鸟类数据集上用 ROC-AUC 评价「开箱即用」的物种推测才华；；；；
* 一次样本检索，，，，， ，以余弦距离权衡聚类与查找体现；；；；
* 线性搬家，，，，， ，模拟小样本场景考试适配才华 。。。。
这些使命经由几许均值核算得分，，，，， ，终究 19 个子数据集的效果反应了模子着实可用性 。。。。
依托 BirdSet 与 BEANS 两大基准，，，，， ，该钻研的评价效果如下表所示，，，，， ，Perch 2.0 在多项目的上体现优异，，，，， ，特殊 ROC-AUC 达其时最佳，，，，， ，且无需微调；；；；其随机窗口与能量峰值窗口训练战略功效靠拢，，，，， ，估测因自蒸馏缓解了标签噪声影响 。。。。
基准考试效果
整体而言，，，，， ，Perch 2.0 以监视学习为中心，，，，， ，与生物声学特征亲近相关 。。。。Perch 2.0的突破标明，，，，， ，高质量搬家学习无需依赖超大模子，，，，， ，细密调优的监视模子连系数据增强与帮手目的即可体现优异 。。。。其牢靠嵌入妄想（无需重复微调）降低了大妄想数据处置惩罚资源，，，，， ，为迅速建模供应或许 。。。。未来，，，，， ，构建贴合实践的评价基准、使用元数据开发新使命、探讨半监视学习，，，，， ，将是该领域的主要偏向 。。。。
生物声学与人工智能的交汇
在生物声学与人工智能穿插领域，，，，， ，跨类群搬家学习、自监视目的妄想、牢靠嵌入网络优化等钻研偏向已引发全球学术界与企业界的普遍探讨 。。。。
剑桥大学团队开发的余弦距离虚拟对立训练（CD-VAT）手艺，，，，， ，经由一致性正则化提高声学嵌入的区别性，，，，， ，在大妄想语言者验证使掷中康复了 32.5% 的等过失率改善，，，，， ，为语音识别中的半监视学习供应了新范式 。。。。
麻省理工学院与 CETI 协作的抹香鲸声纹钻研，，，，， ，经由机械学习划分出包括节奏、韵律、震颤和装饰音的「发音字母表」，，，，， ，提醒其相同系统的杂乱性远超预期——仅东加勒比抹香鲸部族就保存至少 143 种可区别的发声组合，，，，， ，其信息承载才华以致逾越人类言语的根底结构 。。。。
苏黎世联邦理工学院研制的光声成像手艺，，，，， ，经由负载氧化铁纳米颗粒的微胶囊突破声学衍射极限，，，，， ，完成深层安排微血管的超辩白率成像（辩白率达 20 微米），，，，， ，在脑科学与肿瘤钻研中展现出多参数动态监测的潜力 。。。。
一起，，，，， ，开源项目 BirdNET 凭仗全球 1.5 亿条录音的积累，，，，， ，已成为生态监测的标杆工具，，，，， ，其轻量级版别 BirdNET-Lite 可在树莓派等边际装备上实时运转，，，，， ，支持逾越 6,000 种鸟类的识别，，，，， ，为生物多样性钻研供应了低资源解决妄想 。。。。
日本 Hylable 公司在日比谷公园安排的 AI 鸟鸣识别系统，，，，， ，经由多麦克风阵列与 DNN 连系，，，，， ，完成声源定位与品种识别的同步输出，，，，， ，准确率达 95% 以上，，，，， ，其手艺结构已扩展至都会绿地生态评价与无障碍装备制作领域 。。。。
值得重视的是，，，，， ，谷歌 DeepMind 的 Project Zoonomia 项目正经由整合 240 种哺乳动物的基因组与声学数据，，，，， ，探讨跨物种声学共性的进化机制 。。。。钻研发明，，，，， ，犬类愉悦吠叫的谐波能量散布（3-5 次谐波能量比 0.78±0.12）与海豚外交哨声（0.81±0.09）高度同源，，，，， ，这种分子生物学层面的相关不但为跨物种模子搬家供应了凭证，，，，， ，更启发了“生物学启发式AI”的全新建模途径——将进化树信息融入嵌入网络训练，，，，， ，然后突破古板生物声学模子的限制性 。。。。
这些探讨正在让生物声学与人工智能的连系变得更有温度 。。。。当学术探讨的深度遇上工业运用的广度，，，，， ，那些曾藏在雨林树冠、深海暗礁里的生命信号，，，，， ，正被更明晰地捕获、解读，，，，， ，终究化作维护濒危物种的行动指南，，，，， ，或是都会与自然协调共生的才智妄想 。。。。
参阅链接：
1.https://mp.weixin.qq.com/s/ZWBg8zAQq0nSRapqDeETsQ
2.https://mp.weixin.qq.com/s/UdGi6iSW-j_kcAaSsGW3-A
3.https://mp.weixin.qq.com/s/57sXpOs7vRhmopPubXTSXQ
本文来自微信公共号“HyperAI超神经”，，，，， ，作者：田小幺，，，，， ，36氪经授权宣布 。。。。
荆州市都会治理执法委员会
