不完整收录:2021年字节自研的8项“黑科技” 字节技术年货
祝全天下的开发者朋友,新年职业发展虎啸风生,新年工资增速如虎添翼,新年爱情运势虎跃龙骧,新年代码事故下虎口逃生,虎!虎!虎!
软件工程圣经《人月神话》一书中曾提到“软件开发没有银弹”,事实也正是如此,复杂的软件工程问题无法靠简单的答案来解决。在字节跳动,海量数据、复杂业务场景、快速发展的业务规模,都对业界成熟的开源技术方案带来了或多或少的挑战。字节跳动各技术团队在充分调研了业界成熟方案后,从业务实际出发,自研了多套取得了卓越成效的方案与工具 ,其中部分已开源,部分已集成到火山引擎服务中,更多方案在内部打磨成熟后也将开放给业界使用。
以下内容为过去一年中,字节跳动技术团队公众号所发布的自研 技术方案集合,以飨读者。
字节工程师自研基于 IntelliJ 的终极文档套件
众所周知,程序员最讨厌的四件事:写注释、写文档、别人不写注释、别人不写文档。因此,想办法降低文档的编写和维护成本是很有必要的。为解决写文档原始模式的诸多痛点,字节工程师自研的基于 IntelliJ 的终极文档套件方案可以做到完全脱离浏览器 / 文档编辑器,线上页面的同步完全交给定时触发的自动化部署。
字节工程师自研基于 IntelliJ 的终极文档套件
字节自研 Android 虚拟机内存管理优化黑科技 mSponge
字节自研的 Android 虚拟机内存管理工具 mSponge,从应用侧视角对 Android 虚拟机内存管理进行改造,优化了虚拟机对 LargeObjectSpace 的内存管理策略,间接增加其它内存空间使用上限。改造后的方案,32 位运行环境 LargeObjectSpace 的内存使用上限可达到 2G 甚至更多(64 位环境使用上限理论上会趋于无限大)。通过本方案可以最大程度上从系统侧解决诸多应用都会遇到的内存瓶颈和 OOM 问题,一键接入,安全可靠。
拯救OOM!字节自研 Android 虚拟机内存管理优化黑科技 mSponge
自研推荐系统大规模 Training & Serving 方案 Monolith
Monolith 是字节跳动火山引擎智能推荐平台中的大规模 Training 和 Serving 方案,包括了 Training/Serving/Parameter Sync 等,是一套完整的系统方案。与业界其它系统相比,Monolith 成功应对了多方面的挑战,具备以下特色:解决了 TensorFlow PS 通信瓶颈、全方位容错、分布式 Serving、性能优化等,目前,Monolith 已通过推荐平台,成功应用在电商、社区、视频等多个行业的场景上,效果、稳定性、性能均得到了充足的验证。未来,我们也将继续保持高速迭代,不断优化用户体验和平台功能。
为君作磐石——人人都能搭建大规模推荐系统
字节优化版性能检测工具 atop
atop 是一款开源的单机性能监测工具,支持实时观测的同时、也支持读取历史文件排查问题。另外一个优点是除提供 CPU、MEM、DISK 等全局指标外,还提供进程、线程级别的各项指标监控数据。字节跳动基于社区的 atop 进行优化,目前已迭代 3 个版本,稳定运行接近三年,新增包括 NUMA 聚合、JSON 格式输出、交互界面改进、日志相关改进及其他特性优化。
深入字节版atop: 线上系统的性能监控实践
自研 OpenBMC 方案
OpenBMC 是 Linux Foundation 组织里的一个项目,也是目前开源 BMC 里方案最成熟、社区最活跃的项目。字节跳动系统部 STE 团队自研的 OpenBMC,已在内部成功上线,并稳定运行了四个多月。这也是字节跳动首次正式上线并初步产品化的 OpenBMC 方案。同时,STE 团队的工程师们,也在 OpenBMC 开源社区里提交了涉及新 feature 及 bug fix 的诸多 commits,目前已经成为了 OpenBMC Technical Oversight Forum (TOF) 的一员。
字节跳动自研 OpenBMC 方案成功上线,STE 团队工程师都做了哪些事?
自研同传系统「火山同传」
2021 北京智源大会上,火山翻译推出的产品 「火山同传」 为会议现场和线上直播提供 「低延时、高质量」 的同传字幕,助力大会顺利召开。字节跳动 AI-LAB 智能语音团队对 RNN-T 模型做了较多尝试和探索,通过数据的不断积累、算法的持续优化,基于 RNN-T 模型的自研端到端语音识别系统获得了显著优于 CTC 模型的性能,被应用到了会议转录、同传等多个业务中,都取得了较好的反馈。
亮相智源大会,字节跳动自研同传系统的技术实现
自研智能化测试系统 Fastbot
Fastbot 是由字节自研的客户端智能测试工具,主要适用客户端稳定性/兼容性/压力测试。目前 Fastbot 已支持多平台:Android,iOS,Web,PC 等。目前,Fastbot 已广泛应用于字节客户端类产品的稳定性测试与兼容性测试。每日启动任务数超过 1 万次,每月平均发现 5 万个以上的崩溃。借助 Fastbot 的能力,我们在发版前就可以修复大部分的 crash,确保线上用户的使用体验。同时,Fastbot 在整个 DevOps 流程扮演重要的基础服务角色。其中 iOS、Android 版本均以开源。
Fastbot:行进中的智能 Monkey
自研端智能一体化方案 Pitaya
Pitaya 是字节跳动移动平台团队与 MLX 团队深度合作共建的一套从端(云端)到端(终端)的全链路动态部署方案。Pitaya 是专门为移动端打造的端智能一体化方案,与传统方案相比,具备以下优势:降低了端智能使用成本,方便业务快速集成,拿到业务收益;;完善的动态化能力,支持模型的快速迭代与效果验证;提升多方协作的效率,让算法工程师深入参与客户端场景中;算法、模型高度复用,可以快速推广已经验证的方案。目前,字节跳动内已经有抖音、头条、西瓜等众多产品线基于 Pitaya 开始了端智能的实践和探索,后续还将规划特征工程、模型自衍化、通用 AI 能力建设等新功能。
轻松玩转移动AI,一键集成的端智能框架Pitaya
下期字节技术年货预告:实践篇
系留无人机、飞行汽车、全自主巡检系统……空中“黑科技”飞入寻常百姓家
来源:科技日报
在前不久闭幕的2024世界智能产业博览会上,低空经济相关创新成果备受关注。
可用于医疗运输、农业植保、消防灭火的超大载荷空地协同系留无人机,为灾区提供通信照明的应急无人机……这些让人惊叹的空中“黑科技”正飞入寻常百姓家。
系留无人机:解决高层建筑灭火难题
高层建筑一旦起火,救援难度非常大。在2024世界智能产业博览会新兴际华集团有限公司展区上展出的一款超大载荷空地协同系留无人机,可以有效解决这一难题。其最主要的特点是能够长时间滞空悬停。
“这款无人机主要为高层建筑灭火救援研发。”新兴际华集团有限公司技术员赵厚琦介绍,与同类无人机相比,这款无人机可以配合地面消防车,实现空地协同灭火。除此之外,无人机还拥有较长续航时间,可以完成不少于6小时的高空悬停和不间断灭火作业。
据了解,研制人员突破了高压输配电、大功率电调控制、高可靠余度导航飞控等关键技术,使这款无人机具备箱体一键展开、悬停喷射灭火及自主降落等功能。
未来,超大载荷空地协同系留无人机将在天津市和贵州省举行消防演练。“如果一切顺利,产品将很快投入使用。”赵厚琦说。
“除了系留无人机,公司还对非系留无人机进行迭代,研发了电动多旋翼应急救援无人机。它采取电池驱动,可以实现远程物资运输,并能在空中进行应急侦检及物资投送。” 赵厚琦说,“我们的产品还可以应用于医疗运输、海岛运输、农业植保、森林消防等领域。”
飞行汽车:满足低空短途出行需求
会飞的“汽车”不再是抽象的概念。在2024世界智能产业博览会上,广东汇天航空航天科技有限公司展出的“旅航者X2”让飞行汽车有了具体的形象。
从外观上看,“旅航者X2”像一架有座舱的大号无人机。它能容纳两位乘客,以锂电池为动力源,可满足未来城市低空短途出行需求。
“旅航者X2”可应用于日常通勤、野外救援和医疗运输等场景。它有自动和手动两种飞行模式。在自动飞行模式下,它可根据设定的飞行高度、速度、时间,沿着规划航线自动飞行。乘客只需简单操作,就可完成启动、返航和降落。
广东汇天航空航天科技有限公司品牌运营经理张永久介绍,“旅航者X2”主要由全碳纤维材料制成,最长续航时间约25分钟,最大飞行高度为1000米,最快飞行速度可达130公里/时。
前不久,“旅航者X2”在北京大兴国际机场临空经济区成功首飞。
应急通信、照明无人机:为抢险救灾争分夺秒
自然灾害发生后,通信中断给救援增加了难度。修复受损的通信设施通常需要一段时间,这十分影响救援效率。
在2024世界智能产业博览会上,新兴际华集团有限公司展出了两款针对灾区救援的无人机。“它们分别是J150中型复合翼应急通信侦测无人机和X40系留多旋翼应急通信照明无人机。二者在通信和侦测的基础上,还分别具有测距和照明功能。”新兴际华集团有限公司技术员邢霄海介绍。
J150中型复合翼应急通信侦测无人机主要应用于航空应急救援场景,飞行时间可以超过4个小时,能在断电、断网情况下,为灾区提供应急通信。除此之外,它可以实时观察灾区情况,为救援提供依据。
X40系留多旋翼应急通信照明无人机不仅可以保障灾区应急通信,还能够提供应急照明。它既可以单独使用,也能够与地面车辆协同应用。
全自主无人机巡检系统:参与城市综合治理
在2024世界智能产业博览会上,一个会“开花”的“宝莲灯”全自动机场吸引了许多观众。
工作人员只需在虎视四维全息管控平台下达任务,“宝莲灯”全自动机场便会启动,无人机在机场里自动加载电池和传感器,然后从展开的“花瓣”中起飞,自主规划航线并完成智能巡检。
天津云圣智能科技有限责任公司副总裁马辉介绍,公司研制的“宝莲灯”全自动机场,占地面积仅0.25平方米,本体重量90公斤,只需52秒就能够实现无人机电池与吊舱的全自动更换。
“宝莲灯”全自动机场是云圣智能全自主无人机巡检系统的重要组成部分。除全自动机场外,系统还包括工业无人机和虎视四维全息管控平台。
每套云圣智能全自主无人机巡检系统都可化身为一个空中网格员“云小圣”,帮助城市实现精细化治理。每个“云小圣”都能对自己所处的服务网格进行自主巡检,快速记录城市“生命体征”数据,并据此生成厘米级三维实景模型。结合天津云圣智能科技有限责任公司研发的四维时空管理系统,“云小圣”可以全面掌握所处区域的情况,实现对城市的全生命周期监管。
马辉介绍:“除此之外,‘云小圣’还有‘十八般武艺’,其无人机搭载的全画幅吊舱能够实现大师级航拍,可以满足直播、跟拍等需求;挂载喊话器吊舱能被应用于交通指挥、工地监管等场景;挂载气体传感器可进行有害气体检测。”
相关问答
苹果最新的IOS11系统,有什么黑科技?
ios11oniPad才是这次最大的亮点之一。1、Dock栏,我好像在用Mac。以前iPad几乎就是iPhone的放大版,宽宽的屏幕底下留了四个固定的图标,使用起来相当不便...
省电黑科技真的有用吗?
网上很多宣传的这些广告,什么省电黑科技大部分都是一些噱头,都是一些比较简单的,这个设备却被她夸大其词,什么黑科技?实际上都是骗人的,根本无法实现他说的...
不小心删掉了系统自带的许多黑科技软件,请问怎么找回-ZOL问答
4条回答:【推荐答案】若之前将手机中第三方软件删除需要恢复,建议重新下载安装。自带的软件本身无法删除,如果是通过第三方软件更改手机权限卸载的,如需恢复...
又一黑科技比亚迪DiPilot即将上线,未来这种智驾系统是否会比副驾驶上的TA更懂你?
现在的汽车的确是越来越智能了,不仅是出行便捷,也越来越安全了,现在很多驾驶辅助系统的确很好用,起码让我再用回以前的版本我肯定是不习惯的。我是比较希望在...
iqoo11的10个隐藏功能?
1、智能唤醒:不喜欢戴手表的小伙伴日常喜欢用手机来看时间。如果还要按一下锁屏键,或者滑一下屏幕,这就太麻烦了。其实可以启用智能亮屏。设置操作:在“设置...
据说新奔驰GLC配备了盲点辅助系统,奥迪Q5L有这样的黑科技吗?
这个必须有,这个也不算什么黑科技的,很普通的配置,奥迪Q5L全系标配预安全系统才是厉害的地方,全系带主动刹车。高配还有预安全系统前后版。而且奥迪的安全系...
求《系统的黑科技网吧》作者的另一部小说介绍?
该作者是逆水之叶,他写的都是些科幻类型的小说,挺有技术含量的。我就给大家介绍一本他的小说《穿越之主角系统》。《穿越之主角系统》是一部现代小说,屌丝宅...
阿里黑科技双十一亿级并发下电商秒杀系统高并发如何防止库存超卖?
具体的技术细节很难三言两语讲清楚,不过刚巧阿里巴巴CEO逍遥子在清华大学做分享,提到了双11遇到的最大一次挑战。逍遥子称当时是午夜惊魂。因为库存系统出现了...
以技术赋能驾控,2021款逍客的黑科技究竟有多厉害?是否值得...
[最佳回答]是否值得购买?在第三次科技革命的潮流中,汽车智能化建设“快速行驶”。特别是在智能驾驶辅助领域,发展速度之快令人惊讶。近年来,许多车企的智能...
求一本小说的名字:主角因为解开数学猜想成为最年轻的大学教授,女朋友好像是女明星?
有俩,妖孽学霸,主角破解数学千年难题,女朋友是漫画家。学霸的黑科技系统,主角陆舟,破解数学千年难题,成为普林斯顿大学教授有俩,妖孽学霸,主角破解数学千年难...
