Вопросы с тегом 'precision'

Количество результатов: 52

-3 голоса
2 ответа
Неточное среднее значение во время выполнения

Я пытаюсь решить проблему, и я столкнулся с небольшой проблемой.Я должен найти скользящее среднее из ряда чисел.Пример: input 4 2 7 output 4 3 4.3333 Теперь вот пр...

0 голосов
1 ответ
Улей цифры после десятичной

Ниже улей ответ на запрос: выберите 0.04376134693382716 * 29; Результат: 1.2690790610809877 Над оракулом ниже ответ: выберите 0.04376134693382716 * 29 из двойного; Ре...

1 голос
2 ответа
Как изменить точность отображения только для одной панели данных

Я хотел бы отредактировать точность отображения для конкретного кадра данных. Теперь я видел людей, заявляющих, что вы можете использовать что-то вроде этого: pd.set...

0 голосов
0 ответов
сохранение точного значения с плавающей точкой в ​​mongodb, который приходит из JSONObject с весенней загрузкой

я посылаю значение типа float или double из Postman в формате json. Но значение, которое хранится в монго, не совсем то же самое. Я хочу сохранить точное значение в мо...

0 голосов
2 ответа
Достаточно ли преобразовать double в BigDecimal непосредственно перед сложением, чтобы сохранить исходную точность?

Мы решаем ошибку, связанную с числовой точностью. Наша система собирает некоторые числа и выплевывает их сумму. Проблема в том, что система не сохраняет числовую точно...

1 голос
1 ответ
Точность оценки шкалы ARCore

В соответствии с этот вопрос ARCore работает в метре. Но, поскольку одну камеру нельзя использовать для угадывания размера просматриваемого объекта - это известное явл...

-1 голос
1 ответ
Потеря точности в операциях с плавающей точкой из-за различий в показателях?

У меня есть программа, в которой я представляю длины (в см) и углы (в радианах) как поплавки. Мои длины обычно имеют значения от 10 до 100, в то время как мои углы обы...

0 голосов
2 ответа
США в метрику: конвертировать сумму или конвертировать по отдельности?

Я работаю над программой, которая позволит пользователям вводить измерения в метрических или американских единицах измерения и сохранять их в базе данных. Позже польз...

-2 голоса
1 ответ
Модель Keras возвращает разные значения

Чтобы поиграть с данными, я обучил линейную регрессию с помощью Keras + TensorFlow и сравнил первое предсказание, рассчитанное тремя различными способами: Я получил ...

0 голосов
2 ответа
SAS десятичная точность и запись в базу данных

Добрый день, У меня была проблема, когда я записывал в базу данных несколько чисел, которые должны были 0.1 в SAS, но по какой-то странной причине появился как 0.09 ...

1 голос
2 ответа
почему нет потери точности для этого числа с плавающей запятой, назначенного sqrt()?

Я хочу понять, как C справляется с потерей точности для числа с плавающей запятой. Вот мой простой код: #include <stdio.h> #include <math.h> int main ()...

1 голос
2 ответа
Минимальная и максимальная точность денормализованного двойника?

Какова максимальная и минимальная точность денормализованного 64-битного числа с плавающей запятой после IEEE 754-2008? То есть, какова точность двойного при 2 ^ -1022...

-1 голос
1 ответ
printf double с максимальной точностью в доступной ширине

Мне нужно печатать двойные буквы C, шириной 20, но с максимальной точностью, которая может быть напечатана в 20 символов Например: -123.123456789123456789 должен ...

-3 голоса
1 ответ
Как умножить на 12 знаков после запятой в C?

Я пытаюсь иметь точность 12 десятичных знаков в C. Я не знаю, есть ли более простое решение. Но, по крайней мере, этот код работает. Сейчас я просто пытаюсь сохранить ...

1 голос
3 ответа
Как вычесть 50e-12 из 50.5e-12 в C++, используя двойной тип данных?

У меня есть код следующим образом: double a = 50e-12; double b = 50.5e-12; double c = b - a; std::cout<<"value of a,b and c is : "<<a<<" " <<...

0 голосов
2 ответа
Преобразование из строки в число числовых значений (научная запись)

Я использую Python для чтения файла и преобразования числового значения, записанного в виде строки, для плавания. Я наблюдаю странное обращение: a="-5.970471694E+02...

1 голос
2 ответа
Точность математических операций в PHP 5, PHP 7

Разрабатывая калькулятор на PHP 5+, может ли программист получать результаты, не думая об ошибках округления и неточном представлении десятичных чисел? Я имею в виду ...

2 голоса
1 ответ
Точность выдачи функции интегрирования в R

При использовании integrate() функция в R, некоторые вопросы точности меня путают. Например, я хочу интегрировать эту функцию: p <- function(x)exp(-x^2) Я выбира...

2 голоса
3 ответа
Можно ли сохранить исходные конечные нули из десятичного типа C# при сохранении в SQL Server?

Я хотел бы найти простой способ сохранить конечные нули из десятичного типа C# при сохранении в SQL Server. Пример: 5.3 и сохраните, система должна отобразить 5.3 по...

0 голосов
3 ответа
Как контролировать количество знаков после запятой, напечатанных в плавающей запятой?

Я хочу контролировать, сколько цифр будет напечатано после десятичной точки при печати с плавающей точкой. Функция примет n в качестве входа. Например, если у меня е...

2 голоса
1 ответ
Заставить Mathematica выполнять численные вычисления с конечной точностью

Я хотел бы проанализировать числовую устойчивость аналитических выражений в Mathematica. С этой целью я хочу заставить Mathematica численно оценить выражение с конечно...

4 голоса
3 ответа
Генерация случайного числа с низкой точностью MATLAB

Я хочу сгенерировать большое количество случайных чисел (равномерно распределенных на интервале [0,1]). В настоящее время генерация этих случайных чисел приводит к том...

4 голоса
2 ответа
Десятичная точность при умножении

Дано 2 значения вроде так: decimal a = 0.15m; decimal b = 0.85m; куда a + b всегда будет 1.0m, оба значения указываются только с двумя десятичными разрядами, и оба ...

0 голосов
1 ответ
Как напечатать значение с плавающей запятой с точностью до 6 цифр в C++?

По умолчанию я получаю 4-значную точность, и когда я использую setprecision(6) последние цифры переменной приходят случайным образом, как 1/3=0.333369.

0 голосов
1 ответ
выведите число X после десятичной точки, используя cout

У меня есть этот код: double a = 7.456789; cout.unsetf(ios::floatfield); cout.precision(5); cout << a; а также этот: double a = 798456.6; cout.unsetf(ios::f...

1 голос
3 ответа
Сумма SQL Cap из 3 чисел на 100

Передо мной стояла интересная проблема. По сути, я должен вычислить 3 разных процента: SELECT @LowPercent = CAST(ROUND((@LowCount / @ValidCount) * 100.0, 0) AS INT) S...

2 голоса
3 ответа
Точные квадратные корни на Яве

Каков наилучший способ хранения иррациональных чисел, таких как квадратные корни в Java? Мне нужна большая точность (более 100 цифр), поэтому float и double не будут х...

-2 голоса
2 ответа
Поплавок двойной? Ошибка в расчетах с использованием двойной

Очень интересная вещь Простейший исходный код для нахождения результата уравнения: ax + b = 0. Мне было интересно, когда double x = -13/12 = -1.000000; а также двойной...

3 голоса
1 ответ
Ошибка точности Rails

Когда я запускаю это в моем приложении Rails: my_envelope.transactions.sum(:amount) Этот SQL показан в файлах журнала: SQL (0.3ms) SELECT SUM("transactions"."amou...

8 голосов
4 ответа
Почему Math.sqrt (i * i) .floor == i?

Мне интересно, если это правда: когда я беру квадратный корень из целого числа в квадрате, как в f = Math.sqrt(123*123) Я получу число с плавающей запятой очень бли...

1 голос
3 ответа
Точность типа данных SQL Server - Нео, что реально?

SQL Server 2000 документация: Является ли число с плавающей запятой данными с   следующие допустимые значения: –3.40E +   От 38 до -1,18E - 38,0 и 1,18E -   От 38 ...

2 голоса
1 ответ
Влияет ли научная запись на точность Perl?

Я столкнулся со странным поведением в Perl. Следующее вычитание должно дать ноль в качестве результата (что он делает в Python): print 7.6178E-01 - 0.76178 -1.1102230...

0 голосов
1 ответ
Spring queryForLong - потеря точности

У меня есть приложение Spring, работающее с базой данных MySql. У меня есть таблица продаж, как: +-------------------+------------------------------+------+-----+----...

0 голосов
3 ответа
Сохранять и возвращать десятичные дроби с точностью, указанной пользователем в SQL Server

Есть ли SQL Server decimal тип данных хранится фактическое количество цифр после десятичного знака для каждого значения в столбце? Например UPDATE [Mixes] SET [Conc...

6 голосов
1 ответ
Почему присвоение double для int не вызывает gcc предупреждений?

int i = 3.1 / 2 не вызывает никаких предупреждений, даже с параметром -Wall. Иногда мне хотелось бы знать, где теряется точность. Почему gcc не поддерживает это пред...

2 голоса
16 ответов
Выполняется ли (1 + sqrt (2)) ^ 2 = 3 + 2 * sqrt (2) в арифметике с плавающей точкой?

В математике тождество (1 + sqrt(2))^2 = 3 + 2*sqrt(2) справедливо. Но в вычислениях с плавающей запятой (IEEE 754, использующих одинарную точность, то есть 32 бита) э...

1 голос
6 ответов
Использование серии Тейлор, чтобы избежать потери точности

Я пытаюсь использовать ряд Тейлора для разработки числового алгоритма решения функции. Я занимался этим довольно давно, но пока не повезло. Я не уверен, что я делаю не...

0 голосов
4 ответа
Использование целых чисел и требование умножения против использования десятичных чисел в качестве типа данных - что вы думаете?

Что вы думаете об этом? Я работаю над интеграцией некоторых новых данных в текстовом формате с разделителями табуляции, и все десятичные столбцы хранятся в виде целых ...

11 голосов
10 ответов
PI и точность числа с плавающей точкой

Точное представление числа Пи с одинарной/двойной/расширенной точностью с точностью до десятичных знаков?

7 голосов
7 ответов
JavaScript 64-битная числовая точность

Есть ли способ представить число с точностью выше 53 бит в JavaScript? Другими словами, есть ли способ представить число с 64-битной точностью? Я пытаюсь реализовать ...

1 2 right