# tokenpos

возвращает положение лексем в символьной строке

## Последовательность вызова

    kdf = tokenpos(str [,delimiter])

## Аргументы

str

  символьная строка. Строка в которой ищутся лексемы.

delimiter

  (необязательный) символ или вектор символов. Разделители лексем.

kdf

  матрица из двух столбцов; первый столбец даёт индекс начала лексемы, второй даёт индекс последнего символа лексемы.

## Описание

`kdf = tokenpos(str [,delimiter])` ищет лексемы, содержащиеся в строке `str`. Значение разделителя `delimiter` по умолчанию `[" ",<Tab>]`, где `<Tab>` стоит вместо `ascii(9)`. Эта функция возвращает индексы первого и последнего символов каждой найденной лексемы.

## Примеры

    str = 'Это символьная строка.';
    kdf = tokenpos(str)
    first = part(str, kdf(1,1):kdf(1,2))

## Смотрите также

- strindex
- tokens