検索エンジンOSS勉強会 3を開催した

2024-06-06 に 検索エンジンOSS勉強会 第3回を開催しました。

勉強会の一言説明

OSSの検索エンジン(コードが読めて学べる、貢献できる)なら、題材は何でもありです。例えば、Rust, Python, Goなどどんな言語の検索エンジンでもお選びください

この勉強会に興味ある人は、検索エンジンOSS勉強会 ガイドライン - Google ドキュメント から参加できます!

発表資料

• @amatsu さん
  • 発表資料: 自作全文検索エンジン
    • AND検索の工夫など面白かった。あと自前検索エンジンはやはりロマンですね!
    • 自分で手を動かして学ぶってのはやはり崇高ですし、素晴らしい。
• 自分
  • Python x SQLite3 x sqlite-vec で近似近傍探索をやろうと思ったが…
  • オチはタイトルから匂わせてみましたが、興味のある人は読んでくれると嬉しい。
  • 近似近傍探索ではなく、フルスキャンによる近傍探索(全探索)でも、状況によっては問題なく十分なこともあるので、SQLite3 のみで完結する近傍探索って全然アリやな思えてきますね。ローカルLLMが当たり前になれば、汎用的なベクトル化もお手軽にできて当たり前の世界になるので、推論用に別途Pythonサーバーを必要とせず、真の意味ですべての処理がアプリで完結する世界も夢ではない。
    • と思ったら、 @secon さんからも同じようなフィードバックがあり、すごく嬉しくなりました。自分が書いた記事に対して反応があるのは嬉しいですね。
    • k 近傍法を探索して Spanner で類似度ベクトル検索を行う  |  Google Cloud Spanner でも近傍探索がBetaだし、これからはすべてのDBが近傍探索機能をプラグインなりなんなりで提供するのが当たり前の世界になるんだろうなと思える。そう考えると ANNを主目的としたDB(Qdrant, milvus)は、追従できないレベルの機能差を維持しないと従来のDBでいいやとなりそう。
      • このSpanner のドキュメント見てて誤解を招くなぁと思うのは、全探索なのか近似近傍探索なのか書いてくれとは思う。

余談

• 発表のフィードバックで、ベクトル化をGoで完結させたいなら、Goで使える LLMパッケージありますよと教えていただき、良い機会だからローカルLLMを回してみるかと Ollama で試してみたが、Llama3おもすぎワロタ。いや、マシンスペックが不十分なんだろうな。インストールは成功したけどレスポンスが返ってこない。Ollama の簡単さには感動した。これで手を出すまいとしていた禁忌の趣味自作PCにも興味が湧いてきてしまった…

発表してくれた @amatsu さん、反応をくれた参加者の皆様に感謝です!