トークン費用なしのOfficeローカル抽出

Word、Excel、PowerPointを、AIのトークンを使わずにインデックス化

AisDriveは、docx、xlsx、pptxを自社のサーバーで開き、その場でテキストを取り出します。モデルの呼び出しはゼロ、消費トークンもゼロ。AIのビジョンが必要なのは、PDFと画像だけです。

AIを備えたファイル管理ツールの多くは、アップロードした書類を1つずつ読み取るためにモデルの料金を払っています。中身がプレーンテキストのWord文書でもです。AisDriveは違います。ローカルで読み取れるものは、ローカルで読み取ります。

AisDriveは、インデックス化に送られた各ファイルを、何かに触れる前に、3つの抽出ルートに分類します。テキストとマークアップの形式(txt、md、csv、tsv、json、xml、html、htm、svg)は、そのままUTF-8としてデコードされ、必要に応じてマークアップが除去されます。OOXML形式のオフィス文書(docx、xlsx、pptx)は、実際にそうであるzipとして開かれ、ローカルのライブラリでテキストが取り出されます。そして3つ目のルート、PDFと画像(pdf、jpg、jpeg、png、webp、gif)だけが、マルチモーダルモデルを通ります。ここには読み取るテキストがなく、見るべきページがあるからです。

オフィス文書のルートの処理を行うのは、AIではなくインデックス化のワーカーです。.docxはmammothで処理され、XMLのかたまりを返す代わりに、段落、リスト、表が保たれます。.pptxはスライドごとに、本当の数値順(2を10より前)で処理され、それぞれがテキストの中で目印を付けられるので、回答がどのスライドから来たかが後から分かります。.xlsxは、ブックの共有文字列と各シートのセルを突き合わせて読み取るため、数値のリテラルとして入っている金額や日付が途中で失われません。各行は、値を並べた1行として出力されます。

これにより、ドライブをインデックス化しておくためのコストの計算が変わります。テキストとOfficeの形式では、抽出にかかる入力トークンと出力トークンがどちらも0と記録されます。これらのファイルをインデックス化したときに残る唯一の消費は、embeddingです。これは意味検索とチャットを可能にするベクトルです。一方、PDFやスクリーンショットでは、ビジョンによる抽出の分も支払います。仕事用の書類をフォルダごとアップロードするなら、請求書の1枚ごとに差が現れます。

また、抽出できないものはキューに入りません。AisDriveは、クォータやトークンを消費する前に拡張子を確認し、失敗が決まっているインデックス化を残す代わりに、明確な通知とともにそのファイルを拒否します。1ファイルあたりの上限は20MBです。AisDriveはAIsToHireプラットフォームのミニアプリです。この機能については、https://aistohire.com/ja/fairu-kanri-manager-116/f/office-text-chushutsu-token-nashi で説明しています。

トークン費用なしのOfficeローカル抽出のメリット

Officeファイルはコストゼロ

docx、xlsx、pptxはサーバー内で抽出され、抽出にかかる入力トークンと出力トークンは、どちらも0と記録されます。

テキストとマークアップも無料

txt、md、csv、tsv、json、xml、html、htm、svgはローカルでデコードされ、マークアップがある場合は除去されます。

Wordの書式を維持

.docxはmammothで処理されるため、すべてを平坦にせず、段落、リスト、表が保たれます。

Excelの数値も欠けません

.xlsxは、ブックの共有文字列と各シートのセルを組み合わせて読み取るため、数値や日付のリテラルもインデックスに入ります。

PowerPointはスライド単位で

.pptxは実際の数値順に処理され、抽出されたテキストの中で各スライドが識別できます。

AIが必要なところだけ

ビジョンモデルは、読み取れるテキストがない唯一のケースであるPDFと画像にのみ使われます。

ローカル処理では外部呼び出しなし

Office文書は、第三者のモデルに読み取られるために、自社のインフラの外へ出ることはありません。

失敗が決まっているキューはなし

拡張子が抽出に対応していなければ、AisDriveはすぐにそう伝え、クォータもトークンも消費しません。

Sophie Blake

Office文書をアップロードして、読み取りに料金を払うのをやめましょう

ドライブを作成し、Word、Excel、プレゼンテーションをインデックス化に送って、消費量を確認してみてください。消費されるのはembeddingだけです。

AIトークンなしでWord・Excel・PowerPointのテキストを抽出 | AisDrive