20240411 每日AI必读资讯

🤖OpenAI 发布了GPT-4-Turbo 正式版！

- GPT-4-Turbo正式版全面开放，可通过“gpt-4-turbo”来使用此模型，最新版本为“gpt-4-turbo-2024-04-09”。

- 带有视觉能力，上下文 128k。

- 价格不变，输入$10.00/100万tokens，输出$30.00/100万tokens，读图：最低 $0.00085/ 图

🔗接口信息：https://platform.openai.com/docs/models/continuous-model-upgrades

🔗价格信息：https://openai.com/pricing

🔗相关限制：https://platform.openai.com/docs/guides/rate-limits/usage-tiers?context=tier-five

🔗 https://blink.csdn.net/details/1678287

💻 Google 宣布 Gemini 1.5 Pro 开放API

- Gemini1.5Pro引入了原生音频理解能力，不需先转换为文本。

- Gemini1.5Pro扩展了输入模态范围，支持视频内容处理。

- Gemini API改进，加入系统指令引导模型响应和JSON模式。

🔗详情点此查看：https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html

🔗音频理解能力：https://github.com/google-gemini/cookbook/blob/main/quickstarts/Audio.ipynb

🔗 https://blink.csdn.net/details/1678284

🌐英特尔发布新一代人工智能芯片：Gaudi 3！性能远超英伟达H100

- Gaudi 3的能效是英伟达芯片的两倍多。

- 运行AI模型的速度是英伟达H100 GPU芯片的1.5倍。

- Gaudi 3采用5nm工艺，配备最高128GB的HBM2e内存，峰值带宽达3.7TB/s。

🔗详细：https://intel.com/content/www/us/en/newsroom/news/vision-2024-gaudi-3-ai-accelerator.html#gs.7q3dlc

🍏苹果发布多模态模型 Ferret-UI，部分手机 UI 任务超越 GPT-4V

- Ferret-UI是专为移动UI屏幕设计的MLLLM，具备引用、定位和推理能力。

- 采用“任何分辨率”技术，提高模型对小型对象的理解精度。

- Ferret-UI通过对话能力在详细描述、交互对话和功能推断等任务中表现突出。

🔗论文地址：https://arxiv.org/pdf/2404.05719.pdf

🎨DreamWalk：在图像生成中实现对风格和内容的精细控制

- 可以决定哪部分更加强烈地体现某种风格，哪部分则保持原样或采用另一种风格。

- 支持在不同风格之间进行平滑过渡、遵循DreamBooth主题或文本提示的细节。

- 可以将现有的真实世界图像转换为特定风格的艺术作品。

🔗项目及演示：https://mshu1.github.io/dreamwalk.github.io/…

🔗论文：https://arxiv.org/abs/2404.03145

🎬MagicTime：是一个专注于生成变形时间延迟视频的模型

- 集成DiT-based架构。

- 解决了现有文本到视频（T2V）生成模型未能充分编码现实世界物理知识的问题。

- 通过引入变形时间延迟视频的概念，旨在克服这些限制，提高视频生成的质量和动态性。

🔗项目及演示：https://github.com/PKU-YuanGroup/MagicTime…

🔗论文：https://arxiv.org/abs/2404.05014

🔗GitHub：https://github.com/PKU-YuanGroup/MagicTime/tree/main

🔗 https://blink.csdn.net/details/1678308

🎙️ Google将推全新AI视频工具：Google Vids

- Google Vids集多种功能于一体，帮助用户轻松创作故事板。

- AI技术协助编辑内容，选择适合的场景、图片和音乐。

- 用户可为视频加上配音，提升视频个性化和专业度。

 🔗 https://blink.csdn.net/details/1678285

🚀Mistral AI最新磁力链放出！8x22B MoE模型，281GB解禁

- Mistral AI再次发布磁力链，解禁281GB的8x22B MoE模型。

- Mistral AI靠一条磁力链掀起AI社区热潮。

- 新的MoE模型支持多语言、性能强大，旗舰版直接对标GPT-4。

- 仅次于 xAI 此前推出的 Grok-1（参数量为 3140 亿），成为迄今为止第二大开源模型。