異種モデル間の蒸留を可能にする新フレームワーク「Any-OPD」発表

要点：異なるアーキテクチャを持つ流マッチングモデル間で、効率的な同策略蒸留を実現するフレームワーク「Any-OPD」が提案されました。DINOv2を活用して教師モデルと学生モデルを橋渡しすることで、パラメータ数を抑えつつ生成品質を大幅に向上させることが可能です。