旧时王谢堂前燕,飞入寻常百姓家--记AI的落地
经过六年的开发,2023年 4 月 6 日,谷歌 Chrome 团队正式发布 WebGPU引擎,用于在网络上进行高性能 3D 图形与数据并行计算。WebGPU 是一种新型 Web API,能够公开现代硬件功能并允许在 GPU 上执行渲染与计算操作WebGPU 的首个版本可在支持 Vulkan 的 ChromeOS 设备、支持 Direct3D 12 的 Windows 设备和 macOS 的 Chrome 113 中使用
2024年3月,微软旗下的 ONNX Runtime Web 添加整合了 WebGPU,从而提高复杂机器学习模型在网络浏览器中的运行性能。ONNXRuntime是微软推出的一款推理框架,用户可以非常便利的用其运行一个onnx模型。
ONNXRuntime是一款非常优秀的推理框架Transformer.js使用ONNX Runtime来在浏览器中运行模型。
ONNX Runtime是一个深度学习推理引擎,用于在不同硬件和软件平台上运行深度学习模型。Transformer.js借助ONNX Runtime的功能,能够在浏览器环境中加载、运行和推断Transformer模型,从而将最先进的机器学习技术引入到Web中,而无需依赖服务器端的计算资源。
Transformer是一种用于自然语言处理(NLP)任务的深度学习模型,最初由Vaswani等人在2017年提出。它在机器翻译任务中取得了重大的突破,并在NLP领域广泛应用于各种任务,如文本生成、情感分析、问答系统等。
"transformer.js"是指一个JavaScript库或框架,它是为了在Web应用程序中实现Transformer模型而设计的。这样的库或框架可以提供在浏览器环境中加载、运行和推断Transformer模型的功能,从而使开发人员能够在前端应用程序中进行自然语言处理任务。
Transformers.js将最先进的机器学习技术引入到Web中,消除了对服务器的需求。受Hugging Face的transformers Python库的启发,Transformers.js由Xenova开发。它利用ONNX Runtime在浏览器中运行模型。
综上所诉:以后只要符合ONNXRuntime标准的模型,可以以插件的形式直接部署到浏览器中运行,并且可以被加速(如果有支持dx12标准的硬件,虽然dx12效率只有CUDA的40%~50%左右,但它具有通用性)。相信随着上述条件的成熟,AI应用会在未来半年大规模铺开吧。
2024/7/9
经过六年的开发,2023年 4 月 6 日,谷歌 Chrome 团队正式发布 WebGPU引擎,用于在网络上进行高性能 3D 图形与数据并行计算。WebGPU 是一种新型 Web API,能够公开现代硬件功能并允许在 GPU 上执行渲染与计算操作WebGPU 的首个版本可在支持 Vulkan 的 ChromeOS 设备、支持 Direct3D 12 的 Windows 设备和 macOS 的 Chrome 113 中使用
2024年3月,微软旗下的 ONNX Runtime Web 添加整合了 WebGPU,从而提高复杂机器学习模型在网络浏览器中的运行性能。ONNXRuntime是微软推出的一款推理框架,用户可以非常便利的用其运行一个onnx模型。
ONNXRuntime是一款非常优秀的推理框架Transformer.js使用ONNX Runtime来在浏览器中运行模型。
ONNX Runtime是一个深度学习推理引擎,用于在不同硬件和软件平台上运行深度学习模型。Transformer.js借助ONNX Runtime的功能,能够在浏览器环境中加载、运行和推断Transformer模型,从而将最先进的机器学习技术引入到Web中,而无需依赖服务器端的计算资源。
Transformer是一种用于自然语言处理(NLP)任务的深度学习模型,最初由Vaswani等人在2017年提出。它在机器翻译任务中取得了重大的突破,并在NLP领域广泛应用于各种任务,如文本生成、情感分析、问答系统等。
"transformer.js"是指一个JavaScript库或框架,它是为了在Web应用程序中实现Transformer模型而设计的。这样的库或框架可以提供在浏览器环境中加载、运行和推断Transformer模型的功能,从而使开发人员能够在前端应用程序中进行自然语言处理任务。
Transformers.js将最先进的机器学习技术引入到Web中,消除了对服务器的需求。受Hugging Face的transformers Python库的启发,Transformers.js由Xenova开发。它利用ONNX Runtime在浏览器中运行模型。
综上所诉:以后只要符合ONNXRuntime标准的模型,可以以插件的形式直接部署到浏览器中运行,并且可以被加速(如果有支持dx12标准的硬件,虽然dx12效率只有CUDA的40%~50%左右,但它具有通用性)。相信随着上述条件的成熟,AI应用会在未来半年大规模铺开吧。
2024/7/9