# tokens

возвращает лексемы символьной строки

## Последовательность вызова

    T = tokens(str [,delimiter])

## Аргументы

str

  символьная строка. Строка в которой ищутся лексемы.

delimiter

  (необязательный) символ или вектор символов. Разделители лексем.

T

  вектор-столбец найденных лексем.

## Описание

`T = tokens(str [,delimiter])` ищет лексемы, содержащиеся в строке `str`. Значение разделителя `delimiter` по умолчанию `[" ",<Tab>]`, где `<Tab>` стоит вместо `ascii(9)`.

## Примеры

    tokens('Это символьная строка.')
    tokens('SCI/demos/scicos','/')
    tokens('y=a+b*2',['=','+','*'])

## Смотрите также

- strindex
- tokenpos