清华大学与腾讯携手发布Oryx：开源多模态框架力挺超长视频处理新时代

近日消息，在当今AI技术飞速跃进的时代，ORYX这一创新多模态大规模语言模型正逐步重塑我们对人工智能解析视觉信息界限的理解。这项由清华大学、腾讯公司与南洋理工大学携手研究的前沿成果，被视作视觉认知技术领域中的“全能智者”，其独特设计正引领我们步入AI视觉理解的新纪元。

ORYX，全称Oryx Multi-Modal Large Language Models，是一个专门设计用于处理图像、视频和3D场景时空理解的AI模型。它的核心优势在于能够像人类一样，不仅理解视觉内容，还能洞察内容之间的关联和背后的故事。

这个AI系统的一大亮点是其处理任意分辨率视觉输入的能力。无论是模糊的老照片还是高清视频，ORYX都能轻松应对。这得益于其预训练模型OryxViT，它能将不同分辨率的图像转换为AI可理解的统一格式。

更令人惊叹的是ORYX的动态压缩能力。面对长时间的视频输入，它能够智能地压缩信息，保留关键内容而不失真。这就像是将一本厚重的书精炼成一张内容丰富的便签卡，既保留了核心信息，又大大提高了处理效率。

ORYX的工作原理主要依赖于两个核心组件:视觉编码器OryxViT和动态压缩模块。前者负责处理多样化的视觉输入，后者则确保长时间视频等大容量数据能够被高效处理。

在实际应用中，ORYX展现出了惊人的潜力。它不仅能深入理解视频内容，包括对象、情节和动作，还能准确把握3D空间中物体的位置和关系。这种全方位的视觉理解能力，为未来的人机交互、智能监控、自动驾驶等领域带来了无限可能。

值得一提的是，ORYX在多个视觉-语言基准测试中表现卓越，尤其在图像、视频和多视图3D数据的空间和时间理解方面，展现出了领先优势。

ORYX的创新之处不仅在于其强大的处理能力，更在于它为AI视觉理解开辟了新的范式。它能够以原生分辨率处理视觉输入，同时通过动态压缩技术高效处理长视频，这种灵活性和效率是其他AI模型难以企及的。

随着技术的不断进步，ORYX有望在未来的AI领域扮演更加重要的角色。它不仅将帮助机器更好地理解我们的视觉世界，还可能为人类认知过程的模拟提供新的思路。

清华大学引领代码生成新纪元：CodeGeeX4-ALL-9B开源发布，多语言支持展现卓越实力

近日，在编程与人工智能融合的前沿探索中，清华大学知识工程组（KEG）与数据挖掘实验室携手迈出里程碑式的步伐，共同揭幕了他们倾力打造的最新科技成果——CodeGeeX4-ALL-9B模型。

作为CodeGeeX家族的璀璨新星，这一模型傲立于多语言代码自动生成技术的最高峰，重新定义了编程自动化领域的性能基准与效率极限。

CodeGeeX4-ALL-9B模型是在GLM-4-9B框架上进行广泛训练的产物，显著提高了其代码生成能力。该模型拥有9.4亿个参数，在其类别中是最强大的之一，甚至超过了更大的通用模型。它在推理速度和整体性能方面表现出色，使其成为各种软件开发任务的多功能工具。

CodeGeeX4-ALL-9B的一个显著特点是其能够无缝处理各种功能。该模型涵盖了软件开发的所有关键方面，从代码补全和生成到代码解释和网络搜索。它提供了仓库级别的代码问答功能，使开发人员能够更直观、更高效地与他们的代码库交互。这种全面的功能使CodeGeeX4-ALL-9B成为不同编程环境中开发人员的宝贵资产。

性能基准测试在公共基准测试如BigCodeBench和NaturalCodeBench上展示了卓越的结果。这些基准测试评估了代码生成模型的各个方面，CodeGeeX4-ALL-9B的性能表明了其在现实世界应用中的健壮性和可靠性。它取得了顶级结果，超越了许多更大的模型，并确立了自己作为少于100亿参数的领先模型的地位。

CodeGeeX4-ALL-9B的用户友好设计确保了开发人员可以快速将其集成到他们的工作流程中。用户可以轻松地启动并使用指定版本的transformers库来为他们的项目使用该模型。该模型支持GPU和CPU，确保在不同的计算环境中具有灵活性。这种可访问性对于促进广泛采用和最大化模型在整个软件开发社区中的影响至关重要。

为了说明其实际应用，模型的推理过程涉及根据用户输入生成输出。结果被解码以提供清晰且可操作的代码，简化了开发过程。这种能力对于需要精确和高效代码生成的任务非常有益，例如开发复杂算法或自动化重复的编码任务。

总之，清华大学知识工程组和数据挖掘团队发布的CodeGeeX4-ALL-9B标志着代码生成模型发展的一个里程碑。其无与伦比的性能、全面的功能和用户友好的集成将彻底改变开发人员处理编码任务的方式，推动软件开发的效率和创新。