具体的な構造が今ひとつ見えないので何とも言えませんが、商品レコードが２０００でカテゴリが50種類、最終生成物のファイルが2000個ではなくて5万というのがどういう計算なのか。というのも、5万個もファイルを書き出すスクリプトが1時間で終わるなら、一つ７２ｍｓ平均なので、いまのファイルメーカーの性能ではその程度のものじゃないかと思います。

これが、一つのアイテムをなにか編集するたびに1時間かかるのがお困りということでしたら、変更物だけ書き出すというロジックにすべきと思います。ただ、一カ所の変更が全部に及ぶような構造であれば、ある程度の時間が必要だと思います。

目標とする言語が、口語だったり、この場合のように現代用語でない場合、mecabを使うと上手に切れない、あるいは専門用語の辞書登録が必要になると思います。なので、まずアノテーションのインタフェースをお造りになって、重要と思われる単語について、ある程度辞書を整備されたらいかがでしょうか。この場合、「、。」などの記号や句読点でまず切断。その後私の場合は次のカスタム関数で文字種類で切断をしています。

Let(c=Code(chr);
If(Position("０１２３４５６７８９．．％ー＆＋＠！＄";chr;1;1)>0;2 ;//数値
  Case(c ≥ 65313 and c ≤ 65370 ;3 ;//アルファベット
          c ≥ 12353 and c ≤ 12435 ;5 ;//ひらがな
    c ≥ 12449 and c ≤ 12534 ;7 ;//カタカナ
          9//その他
   )
))

また他にも
"¶< （）＃、,，。：；【】［］○●□■｛｝〈〉『』〔〕「」・→／|＋＆    ＠＜＞＝±①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯⑰⑱⑲⑳"
を切断用記号として弁別しております。

用途によって異なると思いますが、例えばよく使われる（というかアノテーション時に重要と思われる単語の接頭語として過剰に切断されると困るもの）を区別して処理しています。
"右¶左¶慢性¶急性¶陳旧性¶術後¶両側¶秒¶分¶～¶本日¶明日¶昨日¶多発¶本日¶"
同様に接尾語として
"疑¶症¶障害¶低下¶上昇¶異常¶継続¶陽性¶陰性¶後¶？¶急性増悪¶術後¶持続¶穿孔¶形成¶処方¶合併¶出現¶行¶腫張¶"
などを登録してスクリプト内で処理をわけています。

これには単位を知っていた方がいい場合など、いろいろな処理を加えるなど工夫をしてください。
"CP¶mg/dl¶RA¶"

それと、事前処理辞書を用意するとなおいいと思います。単純にsubstituteで事前に置き換えていきます。このとき、原則として文字種類で単純に切断されるとを考慮して辞書を整備されることお勧めします。

こうして文字を一旦、大きな塊で切断していただき辞書を作成していきます。できれば例題は5000文程度あるといいと思います。
私の場合は、全処理用ルール辞書を600程度、専門用語辞書を5万、検査用語1万に加えて、アノテーションから追加した専用辞書を8000ほど登録して処理しています。

この処理系を通して一旦文章を文字群で切断し、同じ意味群を一つのコードに集約し、改行コードを加えてindexに羅列していただきます。
この時にアノテーション作成時に重要語句として重み付けをしていただき、index結合時に重み付けでソートしていき、上位を採択していけばある程度長い文節もインデックスができるのではないでしょうか。

同じエンジンで、検索語もインデックス化して、上位インデックスをグローバルフィールドに順番にいれていき、重み付けてでリレーション先を評価し、ポイント付して順位で並べてみたらいかがでしょうか。ただ、これだと短い文章のヒット率が下がる可能性があるので、点数付けのヒット率の調整が必要だと思います。

文節による仮定、否定語、文章全体の書き方による肯定、否定フレーズの抽出などを使って、文章の添削をおこない文章を短くしてしまい特徴点を減らしているのと、文章自体の記載者の属性DBによる処理、アノテーションから略語に重点をおくという処理や、文脈類推を併用しており、インデックス作成はには標準コードをつかうなどしておりますので、そのままでは参考にならないと思いますが、基本おやりになりたいことをするには、アノテーションのUIを作るところから始めることをおすすめします。

１９にアップしなくてもできると思います。