海外new things|「Flower lands」pre-seed轮融资360万美元,利用联邦学习方法训练大语言模型

2023-08-09 18:20:19 来源:36氪

作者:子渝 编辑:王与桐

据外媒Techruch报道,初创人工智能公司「Flower lands」近期宣布完成360万美元的pre-seed轮融资,由深度科技风险投资公司First Spark Ventures、Factorial Capital、Betaworks和Pioneer Fund等投资。该轮融资将用于扩大Flower的研发核心团队、加速开源软件的开发,为Flower的框架和生态系统提供动力。公司旨在解决AI模型训练工程中对公共数据(主要是网络数据)的依赖,并在近期推出训练大语言模型(LLM)的联邦学习方法——FedGPT。


(资料图)

Flower lands的创始人——剑桥大学(University of Cambridge)的科技企业家兼科研工作者丹尼尔·贝特尔(Daniel Beutel)提出观点:人工智能模型训练过程对公共数据(主要是网络数据)的依赖阻碍了人工智能领域的发展。他在电子邮件采访中告诉TechCrunch说:“公共的、集中的数据只是世界上所有数据的一小部分。相比之下,分布式数据存储在手机、可穿戴设备和物联网设备上的分布式数据和存储在企业内部业务部门等组织孤岛上的数据要大得多,也要全面得多,但今天的人工智能还无法触及。”

由此,Beutel于2020年与剑桥同事Taner Topal、三星剑桥人工智能中心前负责人Nicholas Lane共同创建了Flower,旨在通过一个平台进行“去中心化”的人工智能训练过程。该平台允许开发人员根据分布在不同地点、不同设备中的数据训练模型;同时,依靠联邦学习(Federated Learning)技术,Flower不提供对数据的直接访问,能够满足用户隐私保护、数据安全、数据保密和政府法规的要求。

联邦学习技术在2016年首次被学术界提出,其旨在解决联合存在于多个终端(例如移动手机)中的数据进行中心化模型训练的问题,即利用分布式数据训练AI模型。如今,DynamoFL、DataFleets和Sherpa等初创公司和谷歌等大型科技公司正在采用某种形式的联邦学习训练人工智能模型。

Flower认为,基于分布式数据的基本优势,一旦分布式数据变得可访问和易访问,这种人工智能方法不仅将成为主流,而且将成为人工智能训练的规范。Beutel说:“有了Flower,在模型训练期间,数据不需要离开源设备或位置(例如,公司设施)。相反,训练过程将在数据所在的每个位置进行部分训练,最终只有每部分的训练结果(而非数据)被传输与合并。”

Flower最近还推出了训练大语言模型(LLM)的联邦学习方法——FedGPT,可与OpenAI的ChatGPT和GPT-4相媲美。FedGPT目前还处于预览阶段,允许公司针对分布在世界各地不同设备(包括数据中心和工作站)上的数据对大语言模型进行训练。

对于FedGPT,Beutel说:“FedGPT很重要,因为它允许组织使用内部敏感数据构建大语言模型,而无需与大语言模型提供商共享数据。公司的数据也经常分布在世界各地或组织的不同部分,且无法进行转移,但是FedGPT允许在训练大语言模型时利用这些数据,同时仍然保证用户隐私保护、数据安全,并遵守相应法律法规。”

Flower还与开源网络浏览器Brave合作,推出了一个名为Dandelion的项目。Beutel说,该项目旨在建立一个开源的联邦学习系统,覆盖目前5000多万Brave浏览器客户端。

对此,Beutel说:“人工智能正在进入一个监管越来越严格、十分关注数据来源的时代。客户可以在保证数据安全的情况下使用Flower构建人工智能系统,如此能够利用比以往更多的数据. . . .在Flower上,利用联邦学习原则,人工智能系统可以在不同的约束条件下成功部署和训练。”

据Beutel称,Flower在过去几个月的发展令人印象深刻,其开发者社区增长到2300多人。他声称,许多财富500强企业和学术机构都是Flower的用户,包括保时捷、博世、三星、银行圈、诺基亚、斯坦福、牛津、麻省理工学院和哈佛大学等。

针对开头提到的人工智能对公共数据的依赖,Beutel说:“人工智能正面临的危机会周而复始,对于联邦学习来说,这种危机甚至更为严重。由于缺乏对分布式数据的广泛训练,我们缺乏能够普适、主流的开源软件训练方法来面对危机。通过公司每个人的共同努力,我们的目标是在Flower上为公众提供世界上最大的开源联邦技术集。”

标签

郴州安仁文旅项目集中开工 总投资1000万元

3月16日,安仁县举行文旅项目集中开工活动,县委书记王洪灿在开工仪式上宣布:湘南起义旧址群——朱毛井...

2022-03-20 15:40:46

2022年郴州计划重点推进文旅项目101个 总投资354亿元

3月16日,我市举行全市文旅项目和城市大提质大融城项目集中开工仪式,市委书记吴巨培宣布项目开工。郴州...

2022-03-20 15:39:41

宿州泗县深入推进文旅融合发展 擦亮城市品牌

近年来,泗县以争创安徽省文化旅游名县为目标,深入推进文旅融合发展,努力擦亮水韵泗州 运河名城城市...

2022-03-20 15:38:59

汽车零部件产业“领头羊” 锦州力争一季度“开门红”

3月16日,记者从锦州汽车零部件产业的领头羊——锦州万得集团获悉,今年前两个月,企业订单充足,正铆足...

2022-03-20 15:37:41

油价或有望冲击“九元”大关 宁波新能源汽车市场如何

新一轮国内成品油调价窗口于3月17日24时开启,油价或有望冲击九元大关。前一天晚上11点,鄞州区不少加油...

2022-03-20 15:34:38

从水塘到“云”端 全国最大高邮鸭养殖基地实现智慧养殖

随着新一代数字技术的蓬勃发展,以新兴技术推动现代化新农村建设正成为助力乡村振兴的重要手段。1个人能...

2022-03-20 15:33:17

淡季不忘引流 京郊民宿市场有望迎来回暖

旅游淡季中的京郊民宿有望成为市场中最先复苏的板块。3月17日,北京商报记者调查发现,虽然正值旅游淡季...

2022-03-20 15:32:01

镇江乡村一二三产业融合发展 闯出“镇江之路”

从烹饪江鲜河豚的个体小饭店到规模化的江岛乡村旅游产业集群,从白兔草莓丁庄葡萄的单个农户种植到茅山...

2022-03-20 15:31:11

总投资30亿元 盐城东台8个重大产业项目相继开工

总投资30亿元的精密电子元器件项目、同益电子项目,总投资10亿元的金利美精密组件项目、天永智能设备项...

2022-03-20 15:30:13

去年南京规上信息软件业企业实现营收7577.28亿元 同比增长10.3%

市统计局最新统计数据显示,2021年,我市规模以上信息软件业企业共1662家,较上年同期增加321家,实现营...

2022-03-20 15:28:57
x 广告
x 广告

Copyright  2015-2022 全球粮油网版权所有  备案号:豫ICP备20009784号-11   联系邮箱:85 18 07 48 3@qq.com