旧时王谢堂前燕，飞入寻常百姓家--记AI的落地
经过六年的开发，2023年 4 月 6 日，谷歌 Chrome 团队正式发布 WebGPU引擎，用于在网络上进行高性能 3D 图形与数据并行计算。WebGPU 是一种新型 Web API，能够公开现代硬件功能并允许在 GPU 上执行渲染与计算操作WebGPU 的首个版本可在支持 Vulkan 的 ChromeOS 设备、支持 Direct3D 12 的 Windows 设备和 macOS 的 Chrome 113 中使用
2024年3月，微软旗下的 ONNX Runtime Web 添加整合了 WebGPU，从而提高复杂机器学习模型在网络浏览器中的运行性能。ONNXRuntime是微软推出的一款推理框架，用户可以非常便利的用其运行一个onnx模型。
ONNXRuntime是一款非常优秀的推理框架Transformer.js使用ONNX Runtime来在浏览器中运行模型。
ONNX Runtime是一个深度学习推理引擎，用于在不同硬件和软件平台上运行深度学习模型。Transformer.js借助ONNX Runtime的功能，能够在浏览器环境中加载、运行和推断Transformer模型，从而将最先进的机器学习技术引入到Web中，而无需依赖服务器端的计算资源。
Transformer是一种用于自然语言处理（NLP）任务的深度学习模型，最初由Vaswani等人在2017年提出。它在机器翻译任务中取得了重大的突破，并在NLP领域广泛应用于各种任务，如文本生成、情感分析、问答系统等。
"transformer.js"是指一个JavaScript库或框架，它是为了在Web应用程序中实现Transformer模型而设计的。这样的库或框架可以提供在浏览器环境中加载、运行和推断Transformer模型的功能，从而使开发人员能够在前端应用程序中进行自然语言处理任务。
Transformers.js将最先进的机器学习技术引入到Web中，消除了对服务器的需求。受Hugging Face的transformers Python库的启发，Transformers.js由Xenova开发。它利用ONNX Runtime在浏览器中运行模型。
综上所诉：以后只要符合ONNXRuntime标准的模型，可以以插件的形式直接部署到浏览器中运行，并且可以被加速（如果有支持dx12标准的硬件，虽然dx12效率只有CUDA的40%~50%左右，但它具有通用性）。相信随着上述条件的成熟，AI应用会在未来半年大规模铺开吧。
2024/7/9
经过六年的开发，2023年 4 月 6 日，谷歌 Chrome 团队正式发布 WebGPU引擎，用于在网络上进行高性能 3D 图形与数据并行计算。WebGPU 是一种新型 Web API，能够公开现代硬件功能并允许在 GPU 上执行渲染与计算操作WebGPU 的首个版本可在支持 Vulkan 的 ChromeOS 设备、支持 Direct3D 12 的 Windows 设备和 macOS 的 Chrome 113 中使用
2024年3月，微软旗下的 ONNX Runtime Web 添加整合了 WebGPU，从而提高复杂机器学习模型在网络浏览器中的运行性能。ONNXRuntime是微软推出的一款推理框架，用户可以非常便利的用其运行一个onnx模型。
ONNXRuntime是一款非常优秀的推理框架Transformer.js使用ONNX Runtime来在浏览器中运行模型。
ONNX Runtime是一个深度学习推理引擎，用于在不同硬件和软件平台上运行深度学习模型。Transformer.js借助ONNX Runtime的功能，能够在浏览器环境中加载、运行和推断Transformer模型，从而将最先进的机器学习技术引入到Web中，而无需依赖服务器端的计算资源。
Transformer是一种用于自然语言处理（NLP）任务的深度学习模型，最初由Vaswani等人在2017年提出。它在机器翻译任务中取得了重大的突破，并在NLP领域广泛应用于各种任务，如文本生成、情感分析、问答系统等。
"transformer.js"是指一个JavaScript库或框架，它是为了在Web应用程序中实现Transformer模型而设计的。这样的库或框架可以提供在浏览器环境中加载、运行和推断Transformer模型的功能，从而使开发人员能够在前端应用程序中进行自然语言处理任务。
Transformers.js将最先进的机器学习技术引入到Web中，消除了对服务器的需求。受Hugging Face的transformers Python库的启发，Transformers.js由Xenova开发。它利用ONNX Runtime在浏览器中运行模型。
综上所诉：以后只要符合ONNXRuntime标准的模型，可以以插件的形式直接部署到浏览器中运行，并且可以被加速（如果有支持dx12标准的硬件，虽然dx12效率只有CUDA的40%~50%左右，但它具有通用性）。相信随着上述条件的成熟，AI应用会在未来半年大规模铺开吧。
2024/7/9
