example: multi model example is not running

[lanyanhua]

我的URL没有问题 用的是官方样例的URL
new Media(
MimeTypeUtils.IMAGE_PNG,
new URI("https://dashscope.oss-cn-beijing.aliyuncs.com/images/dog_and_girl.jpeg").toURL()
)
实际的报错原因是：正确使用多模态模型：qwen-vl-max-latest。且开启multi-model: true。感觉配置有点多余。而且这报错和实际错误相差太远了
ai: # 阿里灵积 dash-scope: api-key: *** chat: options: model: qwen-vl-max-latest multi-model: true

[yuluo-yx]

https://github.com/springaialibaba/spring-ai-alibaba-examples/tree/main/spring-ai-alibaba-multi-model-example/dashscope-multi-model

you can refer this repo.

[yangwenliang123]

https://github.com/springaialibaba/spring-ai-alibaba-examples/tree/main/spring-ai-alibaba-multi-model-example/dashscope-multi-model

您可以参考这个 repo。
我试了一下多模态目前调用仅支持文本，图片+文本。不支持音频+文本，视频+文本

[yuluo-yx]

https://github.com/springaialibaba/spring-ai-alibaba-examples/tree/main/spring-ai-alibaba-multi-model-example/dashscope-multi-model
您可以参考这个 repo。
我试了一下多模态目前调用仅支持文本，图片+文本。不支持音频+文本，视频+文本

得看模型那边支不支持这样，如果模型支持，框架是可以实现得，组装一个 userMessage 塞到 prompt 里面去就行

[yuluo-yx]

https://github.com/springaialibaba/spring-ai-alibaba-examples/tree/main/spring-ai-alibaba-multi-model-example/dashscope-multi-model
您可以参考这个 repo。
我试了一下多模态目前调用仅支持文本，图片+文本。不支持音频+文本，视频+文本

刚确认了下，模型是支持的，上面那样用就行

[yangwenliang123]

https://github.com/springaialibaba/spring-ai-alibaba-examples/tree/main/spring-ai-alibaba-multi-model-example/dashscope-multi-model
您可以参考这个repo。
我试了一下多模态目前调用仅支持文本，图片+文本。不支持音频+文本，视频+文本

刚确认了下，模型是支持的，上面那样就行

以下是我的代码和错误信息：
@GetMapping("audio")
public Flux audio(@RequestParam(value = "prompt", required = false, defaultValue = "语音聊天") String prompt) {
Media media = new Media(MimeTypeUtils.parseMimeType("audio/mp3"), new ClassPathResource("/111.mp3"));
UserMessage userMessage = new UserMessage(prompt, media);
return chatClient.prompt(new Prompt(userMessage, DashScopeChatOptions.builder().withModel("qwen-omni-turbo").withMultiModel(true).build()))
.stream()
.content();
}

@GetMapping("/video")
public Flux<String> video(@RequestParam(value = "prompt", required = false, defaultValue = "请描述此视频中的内容。") String prompt) {
    List<Media> mediaList = List.of(new Media(Media.Format.VIDEO_MP4, new ClassPathResource("/222.mp4")));
    UserMessage message = new UserMessage(prompt, mediaList);
    return chatClient.prompt(new Prompt(message, DashScopeChatOptions.builder().withModel("qwen-omni-turbo").withMultiModel(true).build()))
            .stream()
            .content();
}

java.lang.NullPointerException: Cannot invoke "com.alibaba.cloud.ai.dashscope.api.DashScopeApi$ChatCompletionOutput.choices()" because the return value of "com.alibaba.cloud.ai.dashscope.api.DashScopeApi$ChatCompletionChunk.output()" is null